Statistiche e controlli

Come si progetta un esperimento astrologico?

Fino a non moltissimi anni fa, molti astrologi erano in attesa di risultati sperimentali che effettivamente confermassero le teorie astrologiche. Scriveva infatti nel 1925 un influente astrologo inglese:
La sperimentazione convincerà presto i più scettici che i corpi celesti del sistema solare indicano, se non effettivamente producono, cambiamenti in (1) le nostre menti. (2) Le nostre sensazioni ed emozioni. (3) Il nostro corpo materiale. (4) I nostri rapporti coll’esterno e le relazioni con il mondo in generale.
(Carter 1925, citato in Culver & Ianna 1988)


Ma la sperimentazione si fece attendere ancora per molti anni (e non portò poi, in realtà i risultati sperati); non è infatti semplice organizzare uno studio ben fatto e che metta al sicuro non solo da eventuali imbrogli (da ambo le parti), ma anche e soprattutto da eventuali effetti ingannevoli. La scienza ha sviluppato una “cassetta degli attrezzi” che permette di preparare esperimenti che siano ragionevolmente al sicuro da questi trabocchetti, che vengono (o dovrebbero essere…) comunemente applicati nel lavoro quotidiano degli scienziati e che possono essere usati anche nel caso dell’astrologia.

Difficoltà e soluzioni


Una prima difficoltà risiede nel fatto che molte leggi naturali (le “teorie”) hanno carattere probabilistico anziché deterministico, ossia non esprimono una certezza (come in “la molecola d’acqua è formata da due atomi di idrogeno e uno di ossigeno”) ma un certo grado di probabilità (“la presenza di un fronte freddo in queste condizioni ha il 75% di probabilità di causare precipitazioni temporalesche”). In diversi casi è perciò necessario l’uso di tecniche statistiche per studiare il fenomeno in questione. Questo avviene per tre ordini di ragioni:
  • Alcuni fenomeni sono molto complicati e non li so descrivere esattamente, a causa della difficoltà di osservare un numero estremamente grande di variabili: è il caso della meteorologia, come nell’esempio precedente, o, a maggior ragione, del comportamento umano.
  • Alcuni fenomeni sono intrinsecamente probabilistici. È il caso della meccanica quantistica, che qui non ci interessa, o dell'astrologia (“fata inclinant, non necessitant”).
  • L’effetto in esame è piccolo e devo vederlo contro uno “sfondo” (background) di altri fenomeni meno interessanti. Questo non è strettamente una caratteristica del fenomeno, ma una circostanza contingente che costringe all’uso di tecniche statistiche.


Per vedere come sia possibile disegnare un esperimento che possa, per usare le parole di Popper, “genuinamente controllare” (Popper 1969) l’astrologia, vediamo alcune caratteristiche che deve avere uno studio scientifico. Tali tecniche hanno come scopo il garantire la massima oggettività delle conclusioni tratte dallo studio, e la replicabilità dello studio stesso.

Metodologia statistica. L’astrologia, come molte altre discipline, ha a che fare con quelle che abbiamo chiamato “leggi probabilistiche”. Nessuno si aspetta che quando un astrologo dice “gli Scorpione sono persone vendicative” intenda che tutti i nati sotto tale segno siano implacabili e tenaci come Edmond Dantès. Quello che va inteso è che “le persone nate sotto il segno dello Scorpione, in media, sono più portate a vendicarsi di quelle nate sotto altri segni”, oppure che la probabilità che un nato nello Scorpione abbia un carattere vendicativo è più alta che per il resto della popolazione. Così, non sarà sufficiente esaminare il carattere di uno Scorpione, ma dovrò studiarne un gran numero per capire se, in media, siano vendicativi o meno (qualunque cosa significhi essere vendicativi “in media”…)

Presenza di un campione di controllo. In una coltura di batteri esposta ad un antibiotico, un certo numero di batteri morirà per effetto del farmaco; la misura dell’efficacia del trattamento non sarà però semplicemente il numero di batteri morti nel campione, ma la differenza tra il numero di batteri morti nel campione trattato con quelli morti (per così dire “di morte naturale”) in un campione di controllo non esposto. Per tornare all’esempio di poco sopra, non è sufficiente esaminare solo i nati nello Scorpione; dovrà anche essere esaminato un altro gruppo di persone, indipendentemente dal segno zodiacale, per vedere quale sia la percentuale di persone che sono vendicative per ragioni “non zodiacali”, come l’ambiente o l’educazione. Dire che “il 30% degli Scorpione è vendicativo” non insegna nulla se non è seguito da un’affermazione come “mentre solo il 15% lo è nel resto della popolazione”.

Protocollo cieco o doppio cieco. Si chiama “effetto sperimentatore” (è forse migliore il termine inglese Experimenter’s Bias, che potremmo tradurre con “pregiudizio dello sperimentatore”) l’involontaria preferenza che un ricercatore ha per un particolare valore del risultato della sua ricerca, ad esempio perché quel determinato valore dimostra una teoria a lui cara o conferma una precedente misura. La storia della scienza offre numerosi esempi di “scoperte” dimostratesi poi inconsistenti: per limitarsi alla storia della fisica, probabilmente il caso più famoso è quello dei raggi N di Blondlot nei primi anni del secolo scorso.

Il chimico inglese Irving Langmuir (premio Nobel nel 1926) racconta un aneddoto meno celebre ma forse anche più interessante (Langmuir 1968). Intorno al 1930 due scienziati della Columbia University, B. Davis ed A. Barnes, stavano eseguendo un esperimento in cui alcuni elettroni, emessi da un filamento incandescente ed opportunamente accelerati, viaggiano in un tubo a vuoto, raggiungendo poi uno schermo fluorescente su cui producevano un piccolo ma percettibile brillìo. Davis e Barnes contavano il numero di scintillii che si producevano sullo schermo nell’arco di due minuti, per diversi valori del campo elettrico che accelerava gli elettroni, che poteva essere spento od assumere valori a piacere (ulteriori dettagli, qui non indispensabili, possono essere nel testo del seminario di Langmuir, ripubblicato da Physics Today nel 1989). Gli scienziati osservavano che, per determinati valori della tensione (che corrispondevano a quelli calcolabili secondo una certa equazione), si avevano brusche diminuzioni del numero di elettroni che raggiungevano lo schermo fluorescente. La loro scoperta contraddiceva numerose convinzioni della fisica nucleare dell’epoca anche se era forse, come suggerito anche da eminenti teorici contemporanei, possibile trovare una spiegazione soddisfacente al fenomeno. In sostanza, un risultato sorprendente e che metteva in discussione molto, ma non completamente implausibile. Tuttavia, alcuni fatti insospettivano Langmuir, allora in visita alla Columbia. In primo luogo, i due minuti non erano sempre esattamente due minuti, come d’altronde ci si aspetta; le variazioni erano tuttavia sensibili. Niente di male se gli errori si fossero distribuiti uniformemente tra tutte le misure.

Le misure erano eseguite in una stanza parzialmente oscurata; un assistente regolava la tensione al valore richiesto da Barnes, quindi quest’ultimo iniziava a contare le scintillazioni. Cioè, Barnes sapeva se aspettarsi un numero alto oppure no di conteggi.

Langmuir suggerì di cambiare il modo di eseguire le misure: scrisse una sequenza di valori per la tensione, ordinati casualmente, e li passò all’assistente. Il fenomeno divenne meno evidente, senza tuttavia sparire del tutto.

C’era ancora una possibilità, che si rivelò quella corretta. Quando, di tanto in tanto, era richiesta una misura con la tensione spenta, l’assistente, che in tal caso non doveva regolare niente, si appoggiava allo schienale della sedia. Langmuir gli suggerì di far finta di regolare la tensione, in modo che chi osservava le scintillazioni non avesse alcun modo di distinguere. Da quel momento in poi, il numero di scintillazioni contate da Barnes divenne completamente indipendente dalla tensione applicata, come ci si aspettava in assenza dell’“effetto Barnes-Davis”.

È importante notare che l’onestà e la buona fede di Barnes non furono mai messe in discussione. L’adozione fin dal pricipio di accorgimenti come quelli suggeriti da Langmuir (l’adozione di un protocollo “cieco”, in cui cioè lo sperimentatore non ha modo di conoscere l’esito dell’esperimento previsto dalla teoria) avrebbe risparmiato una buona dose di imbarazzo a tutti gli interessati.

“Randomizzazione”. Un modo per garantire la “cecità” del protocollo è quello di introdurre nell’esperimento un certo grado di casualità, come fece Langmuir. Questo mette anche al sicuro da altri effetti “sistematici”.

Stabilire a priori il criterio di successo o fallimento dell’esperimento, ossia prima di saperne il risultato: dopo sarà difficile non farsi influenzare. Diamo nuovamente la parola a Langmuir. Ha appena discusso con Barnes il fallimento dell’esperimento condotto in condizioni controllate. Barnes replica:

‘Beh,’ disse, ‘c’era del gas nel tubo. La temperatura è cambiata e le piastre di nickel devono essersi deformate, così gli elettrodi non sono più allineati correttamente.’Immediatamente – senza neanche pensarci – ebbe pronta una scusa. Aveva una ragione pronta per non dare alcuna importanza a qualsiasi risultato errato. Non è in dubbio che fosse onesto; credeva a queste cose, assolutamente.” (traduzione mia)


Il ragionamento post hoc (la razionalizzazione) è estremamente pericoloso. È facile trovare giustificazioni o scuse a posteriori per il fallimento di un’esperimento. Ricordiamo il settimo punto del ragionamento di Popper: l’introduzione, ad hoc, di qualche assunzione ausiliare, o con la reinterpretazione ad hoc della teoria, che la sottragga alla confutazione distrugge, o almeno pregiudica il suo stato scientifico.

Pubblicità di metodi e risultati (anche negativi!) La pubblicità dei metodi, ossia la descrizione puntuale e dettagliata di come il lavoro è stato pianificato e svolto, è indispensabile per garantire la replicabilità dell’esperimento, di cui abbiamo visto l’importanza. La pubblicità dei risultati negativi serve, sul lungo periodo, ad evitare il cosiddetto publication bias. Non pubblicare risultati negativi (per ragioni di immagine, o per la riluttanza di alcune riviste scientifiche) porta ad una deformazione del quadro complessivo che uno studioso può farsi dell’argomento. Per uno studio che annuncia un risultato inaspettato, ce ne possono essere molti di più che non hanno potuto replicare il risultato e che non sono mai stati pubblicati.

Un semplice esperimento didattico


Seguendo le indicazioni date finora, proviamo a costruire una possibile verifica sperimentale dell’astrologia come teoria scientifica.

L’esperimento qui presentato non ha nessuna pretesa di reale validità scientifica, ma è semplicemente un “giocattolo” didattico per mostrare come gli accorgimenti fin qui descritti possano essere applicati all’astrologia. Lasciamo al lettore come esercizio il trovare i limiti ed i difetti di questo “giocattolo”…

L’esperimento presentato (Genzo 2000) per ragioni di semplicità riguarda l’astrologia “segnosolare”; va da sé che una seria verifica delle affermazioni astrologiche andrà eseguita su aspetti più rigorosi della pratica astrologica. Ad un gruppo di persone è presentato un foglio con riportate le previsioni astrologiche pubblicate da un autorevole quotidiano due giorni prima, per il giorno precedente. Ogni soggetto del test dovrà scegliere la predizione della giornata che meglio descrive quella che ha appena trascorso. Se il segno zodiacale associato alla previsione corrisponde a quello della persona, l’astrologo ha previsto correttamente, altrimenti no. Cominciamo coll’applicare i suggerimenti pratici elencati nella sezione precedente.

Useremo il metodo statistico, cercando di eseguire il test su quanti più soggetti possibile; per evitare che i soggetti abbiano già letto le previsioni dell’astrologo, causando il fenomeno della “profezia che si auto-avvera,” il giornale scelto sarà quello di una città il più possibile lontana da quella dove si svolge la prova.

Decideremo a priori, cioè prima di conoscere i risultati, che l’astrologia (almeno in questa forma) è confermata se il numero di associazioni corrette è ampiamente superiore con quello dovuto semplicemente al caso (che è, in un certo senso, il nostro campione di controllo). Qualche semplice conto (la distribuzione di probabilità è quella binomiale; non entro nei dettagli statistici, che chiunque può verificare con un testo elementare di calcolo delle probabilità) fornisce, per un’associazione puramente casuale, una frazione di associazioni corrette pari a

p = 1/12 = 8.3%

con una varianza (n è il numero di soggetti del test)

s2 = n p(1 – p)

cioè mi aspetto, se l’astrologia non è più efficace del caso, e supponendo 100 soggetti, un numero di previsioni azzeccate pari a 8.3 ± 2.7. Qualunque risultato sensibilmente migliore di questo è una buona evidenza della verità dell’astrologia, mentre un valore confrontabile con questo indica che essa non è più utile del caso nel costruire le previsioni.

L’esperimento sarà fatto con un protocollo cieco e “randomizzato”: non solo le previsioni non avranno accanto il segno zodiacale corrispondente ma solo una lettera identificativa, ma saranno anche mescolate e la “chiave” interpretativa sarà tenuta nascosta fino alla fine dell’esperimento.

Il risultato ottenuto dall’autore, che propone il test a 98 allievi di una scuola media di Trieste, è di una frequenza di associazione corretta dell’ 8.2%, compatibile con l’ipotesi casuale.

Bibliografia


  • Carter, C. E. O., Principles of Astrology London:TPH (1925)
  • Culver, R. B., Ianna, P. A., Astrology: true or false? Buffalo: Prometheus (1988).
  • Genzo, C., “Compito in classe sugli oroscopi”, Scienza & Paranormale 31:40 (2000).
  • Langmuir, I., “Pathological Science (notes transcribed and edited by R. N. Hall)”, General Electric Laboratories report No. 68-C-035 (1968). Ripubblicato in Physics Today 42:36 (1989). Il testo è anche disponibile sul web (link ).
  • Popper, K. R., “La scienza: congetture e confutazioni”, in Conjectures and refutations. London: Rutledge and Kegan Paul (1963). Tr. It. Congetture e Confutazioni, pp. 62-115. Bologna: Il Mulino (1969).
accessToken: '2206040148.1677ed0.0fda6df7e8ad4d22abe321c59edeb25f',