Poco dopo la pubblicazione del nostro articolo sul Journal of Scientific Exploration, il Dr. Eltjo Haselhoff, uno degli autori degli articoli da noi criticati, ha scritto una breve replica, giusto una "reazione rapida", come l'ha definita. Ha aggiunto:



Ciò è esattamente quanto sembra aver deciso, dato che è passato un anno e Haselhoff ha recentemente confermato di non aver ancora scritto alcuna replica formale. La attendevamo per poter poi replicare, ma adesso ci sembra di aver atteso abbastanza. Quest'articolo esamina tutti i punti sollevati da Haselhoff nella sua replica. Essendo passato parecchio tempo, può essere utile riportare la maggior parte del testo di Haselhoff.



Confermiamo che è un argomento molto insolito, ma la ragione per cui abbiamo dovuto includerlo nell'articolo è mostrata chiaramente nella citazione precedente: per evitare "lecite assunzioni" come quella di Haselhoff circa l'appropriatezza del nostro articolo. Confidiamo anche che Haselhoff abbia avuto tempo a sufficienza per indagare in maniera approfondita sulle nostre affermazioni.



Questo è un forte travisamento delle nostre critiche. Il nostro articolo solleva molti più punti dei quattro menzionati da Haselhoff. Giusto per elencarne alcuni: la formazione di Beckhampton non è stata analizzata e non si adatta al modello, l'assunto sull'espansione termica dell'acqua è fisicamente incoerente, il meccanismo termico poteva e doveva essere testato e non lo è stato, il criterio per l'inclusione dei campioni nel gruppo di controllo non è definito, i ciuffi centrali sono stati esclusi, l'assunto circa l'allungamento "normale" dei nodi è contraddetto dal cerchio di origine umana di Nieuwerkerk... non avrebbe scopo riassumere qui l'intero articolo. (Molti di questi problemi sono già presenti negli articoli di Levengood e Talbott da cui si sviluppa quello di Haselhoff, ma ciò non toglie che anche quest'ultimo ne sia altrettanto affetto, come abbiamo indicato nel nostro articolo.) Ovviamente Haselhoff è libero di non commentare questi punti, ma non dovrebbe negarne l'esistenza nel nostro articolo, né nasconderli dietro la parola "fondamentalmente".

Poi Haselhoff cerca di respingere i "quattro" punti che secondo lui avremmo sollevato.



Una buona parte della nostra analisi è una critica a quel lavoro, quindi è solo ovvio che quella parte sia basata su di esso.



In effetti è successo molto più di questo (vedere dopo).



Siamo lieti di sapere che non si è offeso. Abbiamo evitato di ringraziarlo, come sarebbe stato normale in circostanze diverse, perché la nostra critica non era lieve. Ci sono culture, come quella italiana, dove ringraziare qualcuno per aver contribuito a un'analisi che annienta le sue stesse conclusioni non suonerebbe cortese, ma ironico, forse perfino offensivo. Non volevamo davvero niente del genere.





I commenti dovrebbero essere mirati e concisi perché dovrebbero essere realmente solo commenti al lavoro di altre persone. Questo è il motivo per cui di solito non sono neppure referati. Il "commento" di Haselhoff è molto insolito: la prima parte commenta effettivamente un articolo del BLT, mettendo in evidenza un paio di errori nell'analisi dei dati; se solo il "commento" finisse lì, sarebbe perfetto. Ma poi continua con del lavoro originale: una nuova ipotesi con un nuovo modello (BOL), nuovi dati (Nieuwerkerk), nuovi calcoli, nuove conclusioni. Innanzi tutto, cose del genere non avrebbero mai dovuto essere scritte in forma di "commento". I commenti sono una preziosa risorsa per evidenziare e correggere rapidamente i difetti degli articoli scientifici; non sono da intendere come un modo per pubblicare rapidamente brevi articoli, eventualmente aggirando il processo di referaggio.
Avremmo potuto criticare l'uso improprio dei "commenti" da parte di Haselhoff nel nostro articolo sul JSE. Non l'abbiamo fatto, perché eravamo - e siamo - più interessati a ciò che ha scritto che a come l'ha pubblicato. Ma la scienza è scienza, e c'è solo un modo di farla: correttamente. Semplicemente non c'è posto nella scienza per affermazioni straordinarie basate su modelli inadeguati, dati insufficienti e calcoli impropri. Se Haselhoff pensa di aver trovato un simile posto nei "commenti", dovrebbe ripensare a cos'è la scienza.

In quanto a quell'"implicitamente affrontati nelle mie conclusioni", vedere il prossimo punto.





No, non abbiamo ripetuto le conclusioni di Haselhoff. Quando i risultati di un qualunque studio scientifico mancano di rilevanza statistica, l'esito dello studio è considerato "negativo". In altre parole, nel linguaggio scientifico, "i risultati mancano di rilevanza statistica" significa in effetti "non ci sono risultati". Haselhoff non ha mai concluso ciò, ovviamente. Al contrario, ha scritto: Quindi Haselhoff afferma di aver trovato qualcosa: caratteristiche statistiche, che suggeriscono un fenomeno fisico. Aggiunge anche: Di nuovo, scrive di caratteristiche trovate nei dati dalla sua analisi statistica e meritevoli di ulteriore studio. Di un'analisi statistica si può dire che ha trovato qualcosa solo quando il risultato è statisticamente significativo.

La citazione di Haselhoff dalle sue stesse conclusioni è troppo corta per apprezzare il significato della frase originale. La citazione completa è: Quindi Haselhoff afferma soltanto che i suoi risultati non sono così universali da poter essere usati come test di 'genuinità' per tutti i cerchi nel grano - almeno, non ancora. Pertanto, sebbene le conclusioni di Haselhoff siano effettivamente un po' vaghe e lascino un certo spazio alle interpretazioni, questo spazio non è illimitato. Non ha mai concluso di non aver identificato alcun elemento di prova a favore del'ipotesi BOL. Non ha mai concluso di non aver trovato nulla; nessuno lo fa mai. Se pensi di non aver trovato nulla, non scrivi un articolo, né un commento, né nient'altro, a meno che tu non voglia rendere noto che il risultato del tuo studio è stato negativo: hai cercato qualcosa che sembra non esistere e vuoi pubblicare questa prova negativa. In nessuna parte delle conclusioni di Haselhoff si può trovare una simile ammissione di un esito negativo.

Giusto come nota conclusiva, siamo sorpresi dal contrasto stridente tra la recente minimizzazione di Haselhoff del suo stesso lavoro (solo un commento, solo uno stimolo per ulteriori ricerche, mai inteso essere nulla di diverso) e il modo roboante in cui lo presenta nel suo libro (La natura complessa dei cerchi nel grano, vedere www.deepeningcomplexity.com ): (dall'edizione italiana, pg. 89-90; l'evidenziazione del testo è nostra).

Questa citazione può servire a cancellare qualunque ragionevole dubbio su ciò che Haselhoff intendesse nelle conclusioni del suo articolo, anche se adesso sembra aver cambiato idea. Accogliamo con piacere quest'evoluzione della sua posizione ufficiale, che consideriamo un effetto positivo del nostro lavoro, ma respingiamo qualunque ridefinizione della sua posizione precedente: il passato non si può riscrivere. Tra l'altro, in quella citazione Haselhoff considera l'eventualità che qualcuno possa dimostrare che la sua analisi fosse sbagliata: sembra molto aperto alla critica, come ogni ricercatore dovrebbe essere. Tuttavia, pensiamo di aver fornito la dimostrazione che aveva chiesto, ma ora Haselhoff sembra alquanto riluttante ad accettarla.



Curiosamente, la maggior parte dei dati che abbiamo richiesto è sempre stata non disponibile. Abbiamo chiesto a Haselhoff i dati di tutte le formazioni che aveva analizzato: Devizes, Chehalis, Sussex (campionati dal BLT), Nieuwerkerk e Hoeven (campionati da Haselhoff). Sebbene ci avesse assicurato che li avremmo ricevuti tutti, abbiamo ricevuto solo i dati di Nieuwerkerk. In tutti gli altri casi abbiamo dovuto lavorare con dati riletti dai grafici.



Siamo sorpresi che Haselhoff non colga il nostro punto. Abbiamo fornito tre tabelle di dati nel nostro articolo; tutte insieme, hanno riempito una pagina scarsa del Journal of Scientific Exploration, e avrebbero occupato meno di mezza pagina di Physiologia Plantarum, che ha pagine più dense. Ovviamente le tabelle contenevano solo le medie dei campioni, non i singoli valori, e anche se le medie dovrebbero essere sufficienti a riprodurre e verificare le regressioni, sono del tutto inadeguate a fornire informazioni circa l'incertezza sull'asse x; anche questa informazione avrebbe dovuto essere fornita negli articoli di Haselhoff e del BLT. Al contrario, non c'era nessuna tabella di dati.

Nella scienza la riproducibilità non può mai essere una preoccupazione secondaria: è la sua caratteristica chiave. Senza tabelle, chiunque voglia verificare l'analisi deve o ricavare i dati dai grafici a mano con riga e squadretta, lentamente, con precisione limitata, o chiedere i dati all'autore e aspettare e sperare. Entrambe le opzioni sono piuttosto lente e scomode e scoraggiano la verifica; non saremmo sorpresi se fossimo stati i primi a verificare l'analisi di Haselhoff. Non fornire le tabelle con i dati non è sempre una mancanza grave, ma è raramente una buona scelta quando le tabelle sono piccole; in un articolo che avanza ipotesi straordinarie sulla base di appena pochi campioni, è quanto meno una scelta incomprensibile e discutibile.

Inoltre, abbiamo messo in discussione la carenza di altri tipi di informazione. Per esempio, non sono state mostrate le forme dei cerchi.





Ovviamente non abbiamo mai accusato nessuno di frode; non riusciamo proprio a immaginare un ricercatore fraudolento che invia per e-mail la prova delle sue azioni a qualcuno che gliel'ha chiesta. Pensavamo che fosse ovvio. Abbiamo solo notato che qualcosa non andava dal punto di vista del metodo scientifico (nella vita di tutti i giorni uno può anche decidere di non utilizzare tutte le informazioni che ha a disposizione, ma nella scienza non ha una tale libertà), ma avevamo già notato altri esempi di quello stesso tipo di errore nel lavoro di Haselhoff, quindi eravamo preparati ad accettare quella sorpresa finale.



È interessante notare che abbiamo inviato quella e-mail. Questo è un breve riassunto degli eventi.

Quando abbiamo iniziato la nostra indagine, abbiamo letto non solo gli articoli del BLT e di Haselhoff, ma anche il famoso libro di Haselhoff.
L'articolo menzionava l'analisi di un cerchio fatto dall'uomo: "Nieuwerkerk, 1997".
Il libro menzionava l'analisi di un cerchio fatto dall'uomo: "Dreischor, 1997".
I grafici corrispondenti erano completamente diversi.
Tuttavia, una piccola indagine ha evidenziato che si trattava in effetti dello stesso cerchio. Lo sospettavamo, perché Haselhoff aveva già fatto qualcosa di simile con l'altra formazione che aveva esaminato, denominata "Hoeven" in una pagina web e "Noord-Badant" nel suo libro. Non discuteremo qui le possibili ragioni di questa strana e fuorviante abitudine.

A quel punto abbiamo pensato che ci fosse qualcosa di sbagliato nei grafici. Questa è una delle ragioni per cui abbiamo chiesto in privato a Haselhoff i dati di Dreischor-Nieuwerkerk. Questo è un breve passo (tradotto in italiano) tratto dalla prima e-mail di Grassi a Haselhoff:



Haselhoff ha risposto con una e-mail con un file di dati accluso. Il testo della e-mail citava (nel quoting) quel passo, perciò è lecito assumere che Haselhoff l'abbia letto, ma dopo la citazione ha risposto solo di guardare il file accluso. Che è ciò che abbiamo fatto.

Quando abbiamo visto che il file conteneva due set di dati distinti, è risultato evidente che Haselhoff aveva usato il set A nell'articolo e il set B nel libro. Un esame più dettagliato ha rivelato che aveva anche adottato due diversi valori per il livello dei controlli, nonostante avesse raccolto un solo gruppo di campioni di controllo; mentre l'articolo usava correttamente la media di tutti i campioni di controllo, il libro ne usava erroneamente solo una parte. Grazie a questa selezione dei dati, l'allungamento dei nodi mostrato nel grafico del libro è inferiore al dovuto, il che porta a sottostimare l'allungamento naturale dei nodi e a favorire l'ipotesi BOL: a uno dei campioni è attribuito addirittura un allungamento negativo. Quel campione solitario sotto il livello dello zero è solo una delle caratteristiche che rendono i due grafici facilmente distinguibili a colpo d'occhio.

Abbiamo semplicemente pensato di avere di fronte due selezioni di dati, un genere di errore scientifico che avevamo già riscontrato in altre parti dell'articolo di Haselhoff (ciuffi centrali, Beckhampton) e del suo rapporto su Hoeven (vedere più avanti). Niente di nuovo. Perché avremmo dovuto sospettare che il set B fosse rovinato, visto che Haselhoff l'aveva pubblicato nel suo libro?

Al contrario, la spiegazione di Haselhoff ci sorprende davvero. Uno sfortunato incidente può sempre succedere, su questo non abbiamo nulla da dire; ciò che troviamo stupefacente è la catena complessiva di eventi improbabili implicati da quella spiegazione:

1) Uno sfortunato incidente ha rimescolato i dati, rovinando il set B.

2) Haselhoff ha pubblicato per sbaglio il grafico del set B nel suo libro. Uno sbaglio è la giustificazione che ha fornito come risposta a una domanda nel newsgroup italiano it.discussioni.misteri: tinyurl.com/lesod . Sembra che intendesse pubblicare nel libro il set A, ma gli è capitato di pubblicare invece il set B.

3) Ha commesso un altro errore nello stesso grafico: ha in qualche modo sostituito il livello dei controlli originale con uno ricalcolato male.

4) Durante l'intero processo di preparare il grafico, posizionarlo nella pagina, aggiustare colori e dimensioni, controllare la qualità di stampa finale, prendersi cura di tante traduzioni ed edizioni del libro, non si è mai accorto che il grafico era completamente sbagliato. Non ha mai scorto il solitario campione sotto zero. Una semplice occhiata di sfuggita l'avrebbe probabimente localizzato.

5) Dopo aver impiegato un sacco di tempo e sforzi a raccogliere e analizzare i dati e dopo che un incidente ha rovinato metà del suo lavoro, ha semplicemente dimenticato di menzionare questo dettaglio quando ci ha inviato i dati. Questo è un altro sbaglio che la maggior parte della gente troverebbe assai difficile commettere.

6) Abbiamo indicato la discrepanza dei grafici nella nostra prima e-mail e Haselhoff l'ha inclusa nel quoting. Non ha intrapreso alcuna azione correttiva. Ha reagito alla domanda postagli su it.discussioni.ufo come se non gliene avessero mai parlato prima. Sembra che non abbia preso ciò che abbiamo scritto - e che aveva letto - nella benché minima considerazione: ancora un altro errore.

Lasciamo al lettore ogni giudizio su questa lunga catena.
A parte la combinazione stupefacente di sfortuna e trascuratezza che sarebbe necessaria per provocare quanto sopra, dovrebbe risultare fin troppo chiaro che se qualcuno ha commesso un errore non siamo davvero stati noi.

Haselhoff sembra pensare che questo "errore" invalidi le conclusioni del nostro articolo, ma chiunque accetti la sua spiegazione dovrebbe notare che la sua implicazione non è corretta: solo una piccola parte del nostro lavoro riguardava la formazione di origine umana di Nieuwerkerk, così piccola infatti che non ci siamo neanche curati di menzionarla esplicitamente nelle conclusioni. In particolare, la nostra frase "l'andamento 1/r² esiste solo in virtù di un'esclusione ingiustificata di dati indesiderati" si riferisce prevalentemente ad altre esclusioni di dati, che Haselhoff non ha commentato: i ciuffi centrali delle formazioni di Chehalis e del Sussex e l'intera formazione di Beckhampton.



Confermiamo che abbiamo studiato anche il caso di Hoeven.



È una visione molto riduttiva.

Aprile 2003: Grassi invia il suo primo messaggio, qualificandosi come ricercatore sui cerchi nel grano, chiarendo correttamente la sua intenzione di verificare le affermazioni di Haselhoff e chiedendo tutti i dati analizzati nell'articolo. Riceve solo una risposta automatica; Haselhoff è temporaneamente irraggiungibile.

Maggio 2003: Grassi prova ancora. Haselhoff manda i dati di Dreischor e aggiunge che manderà anche i dati di Devizes, Chehalis, Sussex e Hoeven, non appena riuscirà a recuperarli (!).

Novembre 2003: Grassi chiede di nuovo. Haselhoff non è ancora riuscito a recuperare i dati (!), ma assicura che tenterà.

Febbraio 2004: uno di noi (Russo), che si è interessato particolarmente al caso di Hoeven, decide di compiere un ultimo tentativo di ottenere i dati. La sua e-mail chiarisce che sta chiedendo i dati allo scopo di verificare l'analisi di Haselhoff. Non riceve alcuna risposta.



1 http://archiv.fgk.org/99/Berichte/Hoeven99/index.shtml

2 http://www.dcccs.org/sample.htm (attualmente non più on-line)

Non avremmo mai chiesto a Haselhoff i dati di Hoeven, né lui sarebbe stato incapace di mandarceli, se fossero stati già messi on-line. Ovviamente non lo erano; i dati di Hoeven sono suddivisi nei set A, B, C, D, E, F, G, Co (il rapporto¹ su Hoeven di Haselhoff contiene i loro grafici, senza valori numerici); un solo set grezzo è stato messo on-line² (molto più tardi), in una forma veramente grezza (immagini di steli, non lunghezze misurate di nodi). Un singolo set non ha valore per una corretta analisi. La pagina web di Haselhoff non specifica quale set abbia messo on-line, ma un rapido confronto con i grafici nel rapporto rivela che si tratta del set B.



Di tutti i set di dati di Hoeven, solo il B corrisponde bene al modello BOL ed è evidente che questa è la ragione per cui è stato scelto per la pubblicazione on-line. In realtà è profondamente scorretto isolare quel set dalla massa dei dati per un'analisi statistica: è solo un'altro errore di selezione dei dati. Abbiamo verificato l'analisi di Haselhoff della formazione di Hoeven; i risultati si possono vedere nell'articolo a questo link . In sintesi: l'analisi di Haselhoff è affetta da alcuni errori (perlopiù selezioni di dati); i risultati corretti non mostrano alcuna ragionevole prova a favore delle BOL.



Sarebbe stato il luogo sbagliato. Il rapporto su Hoeven non era mai stato pubblicato su rivista scientifica, quindi non c'era bisogno di criticarlo su rivista scientifica. Sentivamo che se l'avessimo fatto avremmo potuto attribuire implicitamente al rapporto una credenziale scientifica che non meritava. Inoltre, il nostro articolo era già piuttosto lungo. Quindi abbiamo pubblicato la nostra analisi del caso di Hoeven sulla rivista del CICAP, Scienza & Paranormale (S&P N. 63 - Anno XIII - Set/Ott 2005), e l'abbiamo anche messo online.



Abbiamo già commentato la recente posizione minimalista di Haselhoff, ma forse qui è opportuno un ulteriore commento. Haselhoff sembra pensare che non avremmo dovuto criticare il suo articolo perché è "un semplice commento". Nel gergo scientifico c'è una differenza precisa tra un articolo sottoposto a peer review e un semplice commento. Un commento è l'espressione dell'opinione (opinione, non scienza) di qualcuno circa il lavoro svolto da qualcun altro, con i limiti imposti dal solo comitato editoriale (e nessun controllo dal gruppo dei revisori). Inoltre, mentre un commento dovrebbe godere del vantaggio di non essere criticabile scientificamente, come espressione del libero pensiero di qualcuno, allo stesso tempo non dovrebbe pretendere di dimostrare scientificamente nient'altro che un pensiero personale e soggettivo.

Abbiamo già fatto notare che il "commento" di Haselhoff non è affatto un mero commento, dato che contiene nuove ipotesi, dati, calcoli e conclusioni, proprio come un articolo a pieno titolo, ed è quindi anche passibile di critiche sul piano tecnico come la nostra. Ma anche se accettassimo - e non la accettiamo - l'opinione di Haselhoff che il suo lavoro non debba affatto essere commentato perché non è - formalmente - un vero articolo, Haselhoff andrebbe incontro a un altro problema. Abbiamo appena criticato la sua asserzione che il suo rapporto su Hoeven fornisca le prove scientifiche che mancavano dall'articolo, ma, a prescindere da questa nostra critica, quel rapporto non è mai stato pubblicato su nessuna rivista scientifica, neppure in forma di commento. Coerentemente con la sua recente visione che niente di meno di un vero e proprio articolo formale e referato dovrebbe mai essere considerato come un tentativo di dimostrare scientificamente alcunché, Haselhoff non avrebbe mai dovuto neppure citare il rapporto su Hoeven come fonte di prove scientifiche.



Propaganda? Non siamo noi ad eseguire selezioni di dati. Analizziamo le informazioni disponibili e pubblichiamo i risultati. Ci interessano solo le affermazioni sul paranormale e i fatti che dovrebbero supportarle. Pertanto, non commenteremo lo stile di Haselhoff né trarremo alcuna conclusione circa le sue vere intenzioni (sebbene i lettori possano anche farlo): ciò va assolutamente al di là dei nostri interessi.

L'articolo-"commento" di Haselhoff porta alla luce un paio di errori molto seri nell'articolo del BLT a cui si riferisce, invalidando effettivamente le sue conclusioni. Questa è una critica seria, comunque sia presentata. Qualunque ricercatore ha il diritto scientifico di criticare il lavoro di chiunque altro. Ogni ricercatore serio conosce questa regola; la scienza non funzionerebbe altrimenti. La ragione principale per cui uno scienziato deve essere così scrupoloso nel suo lavoro è che sa fin troppo bene che, se commette errori, qualcun altro li troverà. Haselhoff era semplicemente nel suo diritto quando ha indicato gli errori del BLT; anche noi.

Inoltre, noi stessi abbiamo direttamente invitato Haselhoff, e Levengood & Talbott tramite Haselhoff, a scrivere una replica ufficiale e a presentarla al JSE. Non eravamo soddisfatti della "reazione rapida" pubblicata da Haselhoff sul sito del DCCCS, perché non era una vera critica scientifica ma una semplice opinione. Abbiamo atteso fino ad ora, aspettandoci una pubblicazione scientifica sia da Haselhoff che da Levengood & Talbott che criticasse il nostro articolo sul JSE in profondità e con critiche ben fondate.

Non siamo chiusi ad alcuna critica scientifica al nostro lavoro, che ovviamente è a disposizione di chiunque voglia esaminarlo. Finora non abbiamo avuto risposte.





Quest'argomento di Haselhoff avrebbe un certo valore se il nostro articolo fosse stato davvero solo una perdita di tempo, cioè se tutte le questioni che sollevava si fossero rivelate prive di fondamento. Al contrario, tutte le nostre conclusioni rimangono valide. Circa i dati di Nieuwerkerk: neppure l'ipotesi dell'incidente trasformerebbe in uno spreco di tempo il nostro lavoro su questo singolo punto. Come minimo, avrebbe portato a identificare un errore la cui esistenza non era mai stata riconosciuta in precedenza, ossia che il set di dati pubblicato nel libro di Haselhoff era del tutto sbagliato.

In effetti ci siamo presi il tempo di verificare la nostra analisi il più a fondo possibile. C'è una ragione se il nostro articolo porta tre firme: abbiamo discusso estesamente ogni singolo punto. Abbiamo anche chiesto l'opinione di parecchi altri esperti. Questo processo ha richiesto un sacco di tempo, ma è stato speso bene. Il solo spreco di tempo che abbiamo incontrato durante questo studio è stata la vana attesa della maggior parte dei dati che abbiamo chiesto a Haselhoff. Comunque, in due occasioni (Grassi, aprile 2003; Russo, febbraio 2004) abbiamo tentato di discutere con lui dei punti oscuri del suo lavoro, senza alcun risultato. Abbiamo semplicemente lasciato perdere.

Francesco Grassi Ingegnere, Gruppo sperimentazioni CICAP

Claudio Cocheo Centro di Ricerche Ambientali, Fondazione Salvatore Maugeri, CICAP Veneto

Paolo Russo Programmatore, CICAP Friuli Venezia Giulia

Tutti e tre fanno parte del Gruppo di Ricerca del CICAP sui Crop Circles