Nel primo numero di questa rubrica abbiamo parlato di cosa voglia dire “statisticamente significativo”, ossia come distinguere un vero fenomeno da una fluttuazione casuale. Per esempio: la probabilità di indovinare il risultato del lancio di una moneta è 1/2, quindi se la lancio dieci volte mi aspetto di azzeccare testa o croce circa cinque volte. Con un pochino di fortuna posso indovinarne sei o magari sette: è una fluttuazione casuale, se rifaccio la prova probabilmente non succederà più. La probabilità di azzeccarne nove o dieci tirando davvero a indovinare è molto bassa, quindi in questo caso la spiegazione più plausibile è una moneta truccata (o, naturalmente, un potere paranormale di qualche genere): si dice che questo risultato è “statisticamente significativo”.
Ma ci sono casi in cui la significatività statistica può essere ingannevole, a meno di non prendere le opportune precauzioni. 
Nel 2006 quattro epidemiologi canadesi hanno pubblicato sul Journal of Clinical Epidemiology un articolo sorprendente sull’associazione tra il segno zodiacale e la salute[1]. I ricercatori hanno esaminato i dati di tutti i dieci milioni di abitanti dell’Ontario che nel 2000 avevano un’età compresa tra i 18 e i 100 anni, cercando di trovare correlazioni statisticamente significative tra il segno di nascita e l’incidenza dei malanni che avevano causato un ricovero in ospedale, usando una tecnica statisticamente piuttosto solida. I dieci milioni di persone del campione sono dapprima stati divisi in due gruppi, assegnandone casualmente metà a uno e metà all’altro. Con i dati del primo gruppo (la “coorte di derivazione”) gli autori hanno cercato quali fossero le cause di ricovero maggiormente correlate a ciascun segno zodiacale, scegliendo per ognuno le due più significative. In questo modo hanno ottenuto 24 ipotesi di correlazione tra un malanno e un segno zodiacale: per esempio, la probabilità di essere ricoverati per una particolare forma di leucemia era dell’80% maggiore per i nati nello Scorpione che per tutti gli altri segni combinati, e così via.
A questo punto, gli autori hanno verificato le ipotesi controllando quali di queste correlazioni rimanessero statisticamente significative anche nel secondo gruppo (la “coorte di validazione”). Data l’implausibilità delle ipotesi di partenza, ci si sarebbe aspettati che le correlazioni sparissero, rivelandosi come fluttuazioni casuali. Il risultato è stato sorprendente: due delle correlazioni continuavano a esserci, con un risultato significativo al 95% (P < 0.05). I nati sotto il segno del Leone avevano una probabilità sensibilmente più elevata degli altri di essere ricoverati per emorragia gastrointestinale (P = 0.0447), mentre i Sagittario erano più soggetti alla frattura dell’omero (P = 0.0123) dei nati sotto tutti gli altri segni.
Ricordate cos’è il P-value, di cui avevamo parlato nel primo numero? Ci ritorniamo sopra ancora una volta perché è importante, e spesso frainteso. Il P-value è la probabilità di ottenere per caso proprio il risultato che ho ottenuto in un esperimento, nell’ipotesi che il fenomeno che sto cercando in realtà non ci sia. Attenzione, non è la probabilità che il risultato sia dovuto al caso tout court o, peggio ancora, che il risultato sia sbagliato. Torniamo alle monete. Supponiamo di fare dieci lanci e indovinarne nove. Qual è la probabilità che il risultato sia dovuto al caso? Non lo sappiamo, e non lo possiamo sapere, perché non sappiamo se la chiaroveggenza esista o no, né come funzioni. Quello che possiamo calcolare è la probabilità di indovinare nove volte se la chiaroveggenza non c’è, cioè per caso. Se questa probabilità è molto bassa, è plausibile che la causa del risultato ottenuto non sia la sorte, ma non possiamo calcolarne rigorosamente la probabilità.
Per scrivere correttamente il significato dei due numeri citati sopra: la probabilità di ottenere ciascuna delle due correlazioni per effetto di una fluttuazione casuale, in assenza di effetti astrologici, è minore dell’1.23% e del 4.47% rispettivamente.
Anche detto rigorosamente, il risultato non cambia: come interpretarlo? Davvero è stata dimostrata una correlazione tra il segno zodiacale e due particolari problemi di salute?
Come si può intuire dal titolo dell’articolo, che in italiano suona come “La verifica di ipotesi multiple genera correlazioni spurie: uno studio su segni zodiacali e salute”, l’intento degli autori non era certo dimostrare l’esistenza di misteriose influenze astrali.
Supponiamo che si trattasse davvero di verificare l’esistenza di una correlazione tra la nascita sotto il segno del Sagittario e la frattura dell’omero. I ricercatori avrebbero verificato quanti abitanti dell’Ontario fossero stati ricoverati con un omero fratturato, guardato quanti di questi fossero del Sagittario e stimato il P-value calcolando quanta probabilità ci fosse di produrre quel particolare risultato in modo casuale: 1.23%, risultato statisticamente significativo (P < 0.05), si pubblica.
Attenzione però: in realtà gli autori non hanno verificato solo la correlazione tra Sagittario e omero, ma hanno prima cercato qualunque correlazione tra qualunque segno zodiacale e qualunque malanno tra i 223 più comuni, per poi verificare simultaneamente tutte le 24 correlazioni più significative. È un po’ come andare a pesca usando una larga rete o una singola lenza: se non si specifica prima cosa si sta cercando, la probabilità di pescare una correlazione casuale è più alta e devo in qualche modo tenere conto di questo nel calcolare la significatività statistica (e quindi il P-value).
Un modo, suggerito dagli autori dell'articolo, è applicare la cosiddetta “correzione di Bonferroni” (matematicamente non molto robusta, ma con l’indubbio vantaggio di essere davvero semplice): se voglio un risultato sicuro al 95% (cioè P < 0.05) ma metto alla prova n = 24 correlazioni, devo chiedere che la singola correlazione trovata abbia un P-value minore di P/n = 0.05/24 = 0.0021. Ed ecco che la significatività della misteriosa correlazione tra Sagittario e frattura dell’omero sparisce, con buona pace degli astrologi.
L’epidemiologia o la ricerca in campo astrologico non sono naturalmente le uniche discipline in cui è necessario tenere conto di questo effetto; i fisici, per esempio, lo chiamano Look Elsewhere Effect, “effetto del guardare dalle altre parti”: è diverso, da un punto di vista statistico, cercare qualcosa in un posto preciso o andare a guardare un po’ dappertutto.
Ma ci sono casi in cui la significatività statistica può essere ingannevole, a meno di non prendere le opportune precauzioni.
©Statistics, by emily.ek. Deviantart
A questo punto, gli autori hanno verificato le ipotesi controllando quali di queste correlazioni rimanessero statisticamente significative anche nel secondo gruppo (la “coorte di validazione”). Data l’implausibilità delle ipotesi di partenza, ci si sarebbe aspettati che le correlazioni sparissero, rivelandosi come fluttuazioni casuali. Il risultato è stato sorprendente: due delle correlazioni continuavano a esserci, con un risultato significativo al 95% (P < 0.05). I nati sotto il segno del Leone avevano una probabilità sensibilmente più elevata degli altri di essere ricoverati per emorragia gastrointestinale (P = 0.0447), mentre i Sagittario erano più soggetti alla frattura dell’omero (P = 0.0123) dei nati sotto tutti gli altri segni.
Ricordate cos’è il P-value, di cui avevamo parlato nel primo numero? Ci ritorniamo sopra ancora una volta perché è importante, e spesso frainteso. Il P-value è la probabilità di ottenere per caso proprio il risultato che ho ottenuto in un esperimento, nell’ipotesi che il fenomeno che sto cercando in realtà non ci sia. Attenzione, non è la probabilità che il risultato sia dovuto al caso tout court o, peggio ancora, che il risultato sia sbagliato. Torniamo alle monete. Supponiamo di fare dieci lanci e indovinarne nove. Qual è la probabilità che il risultato sia dovuto al caso? Non lo sappiamo, e non lo possiamo sapere, perché non sappiamo se la chiaroveggenza esista o no, né come funzioni. Quello che possiamo calcolare è la probabilità di indovinare nove volte se la chiaroveggenza non c’è, cioè per caso. Se questa probabilità è molto bassa, è plausibile che la causa del risultato ottenuto non sia la sorte, ma non possiamo calcolarne rigorosamente la probabilità.
Per scrivere correttamente il significato dei due numeri citati sopra: la probabilità di ottenere ciascuna delle due correlazioni per effetto di una fluttuazione casuale, in assenza di effetti astrologici, è minore dell’1.23% e del 4.47% rispettivamente.
Anche detto rigorosamente, il risultato non cambia: come interpretarlo? Davvero è stata dimostrata una correlazione tra il segno zodiacale e due particolari problemi di salute?
Come si può intuire dal titolo dell’articolo, che in italiano suona come “La verifica di ipotesi multiple genera correlazioni spurie: uno studio su segni zodiacali e salute”, l’intento degli autori non era certo dimostrare l’esistenza di misteriose influenze astrali.
Supponiamo che si trattasse davvero di verificare l’esistenza di una correlazione tra la nascita sotto il segno del Sagittario e la frattura dell’omero. I ricercatori avrebbero verificato quanti abitanti dell’Ontario fossero stati ricoverati con un omero fratturato, guardato quanti di questi fossero del Sagittario e stimato il P-value calcolando quanta probabilità ci fosse di produrre quel particolare risultato in modo casuale: 1.23%, risultato statisticamente significativo (P < 0.05), si pubblica.
Attenzione però: in realtà gli autori non hanno verificato solo la correlazione tra Sagittario e omero, ma hanno prima cercato qualunque correlazione tra qualunque segno zodiacale e qualunque malanno tra i 223 più comuni, per poi verificare simultaneamente tutte le 24 correlazioni più significative. È un po’ come andare a pesca usando una larga rete o una singola lenza: se non si specifica prima cosa si sta cercando, la probabilità di pescare una correlazione casuale è più alta e devo in qualche modo tenere conto di questo nel calcolare la significatività statistica (e quindi il P-value).
Un modo, suggerito dagli autori dell'articolo, è applicare la cosiddetta “correzione di Bonferroni” (matematicamente non molto robusta, ma con l’indubbio vantaggio di essere davvero semplice): se voglio un risultato sicuro al 95% (cioè P < 0.05) ma metto alla prova n = 24 correlazioni, devo chiedere che la singola correlazione trovata abbia un P-value minore di P/n = 0.05/24 = 0.0021. Ed ecco che la significatività della misteriosa correlazione tra Sagittario e frattura dell’omero sparisce, con buona pace degli astrologi.
L’epidemiologia o la ricerca in campo astrologico non sono naturalmente le uniche discipline in cui è necessario tenere conto di questo effetto; i fisici, per esempio, lo chiamano Look Elsewhere Effect, “effetto del guardare dalle altre parti”: è diverso, da un punto di vista statistico, cercare qualcosa in un posto preciso o andare a guardare un po’ dappertutto.
Note
1) Peter C. Austin, Muhammad M. Mamdani, David N. Juurlinka, Janet E. Huxa, “Testing multiple statistical hypotheses resulted in spurious associations: a study of astrological signs and health” Journal of Clinical Epidemiology 59:964-969 (2006)
