Questa rubrica ha l’obiettivo di esercitare il senso critico anche verso noi stessi e sulle nostre convinzioni scettiche. Iniziamo con un articolo di Massimo Pigliucci, dove si discute uno dei principali criteri che permettono di identificare le pseudoscienze: la non cumulabilità dei risultati sperimentali. Mentre ad esempio in parapsicologia i rari risultati che sembrano statisticamente significativi non vengono confermati da studi successivi, nella scienza e soprattutto nelle scienze più quantitative come la fisica i risultati positivi si accumulano costantemente. Ma è proprio così semplice? Secondo Pigliucci questa visione è troppo ingenua e in realtà le cose sono più complesse.
Mentre stavo cercando materiale per il mio prossimo libro, ho trovato uno studio poco noto pubblicato nel 1987 da Larry Hedges, a quell’epoca al dipartimento di educazione dell’università di Chicago. Hedges stava verificando empiricamente la domanda che si pone normalmente a un filosofo della scienza: se è vero – come si dice spesso – che la fisica (la regina delle scienze dure) si comporta molto meglio della psicologia (presumibilmente la cenerentola delle scienze molli), si dovrebbe riuscire a dimostrare che i risultati degli esperimenti di fisica sono “migliori” dei risultati degli esperimenti di psicologia. Ma migliori in che senso?
Hedges pensava che la differenza tra le due scienze dovrebbe essere evidente nella “cumulabilità” dei loro risultati: la fisica dovrebbe progredire in modo più rapido e più costante della psicologia. Questo criterio è importante perché la mancanza di progressi è una delle caratteristiche essenziali delle pseudoscienze. Per esempio, l’idea del progetto intelligente nella biologia non ha fatto progressi da quando fu presentata seriamente per l’ultima volta da William Paley nel 1802. Confrontando questo dato con gli avanzamenti della biologia evoluzionistica dai tempi della pubblicazione dell’Origine delle specie di Darwin nel 1859, si ha un’idea della differenza tra scienze e pseudoscienze.
Come Hedges capì immediatamente, però, la cumulabilità nella scienza può significare due cose molto diverse, se mai legate fra loro: da una parte, si può esaminare la cumulabilità teorica, cioè l’avanzamento di un campo scientifico in termini di accuratezza nella descrizione del mondo. Per esempio, l’astronomia fece un balzo gigantesco quando abbandonò il sistema geocentrico tolemaico a favore del sistema eliocentrico copernicano, fino a collocare la nostra galassia come una sola dei miliardi esistenti nell’universo. Giudicare la cumulabilità teorica, però, non è semplice. La psicologia è una scienza relativamente nuova, e perciò sarebbe ingiusto confrontare i suoi avanzamenti teorici con quelli della fisica moderna o dell’astronomia, che hanno una storia molto più lunga.
E allora? Hedges optò per una misura più pratica del progresso di una scienza, concentrandosi sulla cumulabilità empirica. L’idea è che se la fisica, la psicologia o qualsiasi altra scienza ha davvero successo nel descrivere il mondo, allora come minimo i suoi risultati empirici dovrebbero essere coerenti tra una pubblicazione e l’altra. In sostanza, se la Terra è davvero rotonda con un diametro di circa 12.700 chilometri, i differenti metodi usati per stimare la sua forma e le sue dimensioni dovrebbero dare approssimativamente lo stesso risultato. Di nuovo, il confronto con le pseudoscienze è ovvio: alcuni creazionisti, per esempio, credono che la Terra abbia circa 6000 anni, mentre altri accettano la stima geologica di più o meno quattro miliardi di anni. Questa sconcertante discrepanza di cinque ordini di grandezza tradisce il fatto che i creazionisti non hanno in realtà la minima idea di quale sia l’età della Terra né di come misurarla; a sua volta, questo è l’ennesimo indizio che il creazionismo non è scienza.
Così Hedges continuò a setacciare la letteratura della fisica delle particelle così come una quantità di campi psicologici, compresi gli studi sulle differenze di genere, sulle valutazioni dell’insegnamento date dagli studenti, sugli effetti dei programmi contro la segregrazione razziale, eccetera. Usò tecniche statistiche standard per quantificare e confrontare i risultati di un gran numero di studi pubblicati nell’arco di parecchi anni in numerose riviste specializzate.
L’esito fu piuttosto sorprendente. A quanto risulta, la replicabilità dei risultati sperimentali in psicologia (e quindi, presumibilmente, la conseguente cumulabilità empirica di quella disciplina) non è peggiore (o migliore) della replicabilità dei risultati nella fisica delle particelle. Come scrive Hedges, «ciò che sorprende è che i risultati della ricerca nelle scienze fisiche non sono notevolmente più coerenti di quelli nelle scienze sociali. La convinzione che gli esperimenti di fisica producano risultati molto più coerenti semplicemente non è confermata dai dati».
Risulta anche che alcuni risultati in fisica sperimentale sono molto meno affidabili di quanto si sarebbe portati a credere. Per esempio, Hedges confrontò i dati ottenuti durante due serie di esperimenti mirate a stimare la massa di due particelle fondamentali, l’elettrone e il protone. Queste sono due delle particelle più conosciute e studiate, perciò ci si aspetterebbe un alto grado di congruenza tra i risultati di esperimenti diversi. Ahimè, non è così: esperimenti compiuti in un lungo intervallo di tempo mostrano chiaramente che le varie stime non erano coerenti tra di loro e spesso i rispettivi intervalli di confidenza non si sovrapponevano, da un punto di vista statistico i risultati erano significativamente diversi l’uno dall’altro.
Dati come questi, ovviamente, non dovrebbero far pensare che i fisici non abbiano idea di quali siano le masse dell’elettrone o del protone. Per cominciare, oggi abbiamo molti più esperimenti, e i loro risultati sono molto più coerenti. Inoltre, le stime riportate da Hedges non mostrano l’enorme variabilità che farebbe mettere in dubbio aspetti fondamentali della fisica nucleare. Ma rimane il punto che anche la regina delle scienze a volte prende cantonate anche per molti anni, e la psicologia mostra in realtà un notevole e sorprendente grado di coerenza nei suoi risultati. È qualcosa che potete citare ai vostri amici fisici la prossima volta che si vanteranno dei successi della loro disciplina.
Massimo Pigliucci
Articolo tratto da Skeptical Inquirer, Vol. 33, Issue 3, May/June 2009, si ringrazia l’editore per aver concesso il diritto di riproduzione.
Mentre stavo cercando materiale per il mio prossimo libro, ho trovato uno studio poco noto pubblicato nel 1987 da Larry Hedges, a quell’epoca al dipartimento di educazione dell’università di Chicago. Hedges stava verificando empiricamente la domanda che si pone normalmente a un filosofo della scienza: se è vero – come si dice spesso – che la fisica (la regina delle scienze dure) si comporta molto meglio della psicologia (presumibilmente la cenerentola delle scienze molli), si dovrebbe riuscire a dimostrare che i risultati degli esperimenti di fisica sono “migliori” dei risultati degli esperimenti di psicologia. Ma migliori in che senso?
Hedges pensava che la differenza tra le due scienze dovrebbe essere evidente nella “cumulabilità” dei loro risultati: la fisica dovrebbe progredire in modo più rapido e più costante della psicologia. Questo criterio è importante perché la mancanza di progressi è una delle caratteristiche essenziali delle pseudoscienze. Per esempio, l’idea del progetto intelligente nella biologia non ha fatto progressi da quando fu presentata seriamente per l’ultima volta da William Paley nel 1802. Confrontando questo dato con gli avanzamenti della biologia evoluzionistica dai tempi della pubblicazione dell’Origine delle specie di Darwin nel 1859, si ha un’idea della differenza tra scienze e pseudoscienze.
Come Hedges capì immediatamente, però, la cumulabilità nella scienza può significare due cose molto diverse, se mai legate fra loro: da una parte, si può esaminare la cumulabilità teorica, cioè l’avanzamento di un campo scientifico in termini di accuratezza nella descrizione del mondo. Per esempio, l’astronomia fece un balzo gigantesco quando abbandonò il sistema geocentrico tolemaico a favore del sistema eliocentrico copernicano, fino a collocare la nostra galassia come una sola dei miliardi esistenti nell’universo. Giudicare la cumulabilità teorica, però, non è semplice. La psicologia è una scienza relativamente nuova, e perciò sarebbe ingiusto confrontare i suoi avanzamenti teorici con quelli della fisica moderna o dell’astronomia, che hanno una storia molto più lunga.
E allora? Hedges optò per una misura più pratica del progresso di una scienza, concentrandosi sulla cumulabilità empirica. L’idea è che se la fisica, la psicologia o qualsiasi altra scienza ha davvero successo nel descrivere il mondo, allora come minimo i suoi risultati empirici dovrebbero essere coerenti tra una pubblicazione e l’altra. In sostanza, se la Terra è davvero rotonda con un diametro di circa 12.700 chilometri, i differenti metodi usati per stimare la sua forma e le sue dimensioni dovrebbero dare approssimativamente lo stesso risultato. Di nuovo, il confronto con le pseudoscienze è ovvio: alcuni creazionisti, per esempio, credono che la Terra abbia circa 6000 anni, mentre altri accettano la stima geologica di più o meno quattro miliardi di anni. Questa sconcertante discrepanza di cinque ordini di grandezza tradisce il fatto che i creazionisti non hanno in realtà la minima idea di quale sia l’età della Terra né di come misurarla; a sua volta, questo è l’ennesimo indizio che il creazionismo non è scienza.
Così Hedges continuò a setacciare la letteratura della fisica delle particelle così come una quantità di campi psicologici, compresi gli studi sulle differenze di genere, sulle valutazioni dell’insegnamento date dagli studenti, sugli effetti dei programmi contro la segregrazione razziale, eccetera. Usò tecniche statistiche standard per quantificare e confrontare i risultati di un gran numero di studi pubblicati nell’arco di parecchi anni in numerose riviste specializzate.
L’esito fu piuttosto sorprendente. A quanto risulta, la replicabilità dei risultati sperimentali in psicologia (e quindi, presumibilmente, la conseguente cumulabilità empirica di quella disciplina) non è peggiore (o migliore) della replicabilità dei risultati nella fisica delle particelle. Come scrive Hedges, «ciò che sorprende è che i risultati della ricerca nelle scienze fisiche non sono notevolmente più coerenti di quelli nelle scienze sociali. La convinzione che gli esperimenti di fisica producano risultati molto più coerenti semplicemente non è confermata dai dati».
Risulta anche che alcuni risultati in fisica sperimentale sono molto meno affidabili di quanto si sarebbe portati a credere. Per esempio, Hedges confrontò i dati ottenuti durante due serie di esperimenti mirate a stimare la massa di due particelle fondamentali, l’elettrone e il protone. Queste sono due delle particelle più conosciute e studiate, perciò ci si aspetterebbe un alto grado di congruenza tra i risultati di esperimenti diversi. Ahimè, non è così: esperimenti compiuti in un lungo intervallo di tempo mostrano chiaramente che le varie stime non erano coerenti tra di loro e spesso i rispettivi intervalli di confidenza non si sovrapponevano, da un punto di vista statistico i risultati erano significativamente diversi l’uno dall’altro.
Dati come questi, ovviamente, non dovrebbero far pensare che i fisici non abbiano idea di quali siano le masse dell’elettrone o del protone. Per cominciare, oggi abbiamo molti più esperimenti, e i loro risultati sono molto più coerenti. Inoltre, le stime riportate da Hedges non mostrano l’enorme variabilità che farebbe mettere in dubbio aspetti fondamentali della fisica nucleare. Ma rimane il punto che anche la regina delle scienze a volte prende cantonate anche per molti anni, e la psicologia mostra in realtà un notevole e sorprendente grado di coerenza nei suoi risultati. È qualcosa che potete citare ai vostri amici fisici la prossima volta che si vanteranno dei successi della loro disciplina.
Massimo Pigliucci
Articolo tratto da Skeptical Inquirer, Vol. 33, Issue 3, May/June 2009, si ringrazia l’editore per aver concesso il diritto di riproduzione.
