Nel numero scorso abbiamo cominciato a parlare del Publication Bias facendo un esempio molto specifico, che ci ha anche permesso di raccontare un divertente studio sulla correlazione tra la fase della luna e il ciclo del sonno.

In questo numero descriveremo più in generale il problema, cercando di capirne le cause, le implicazioni e i possibili rimedi.

Come accennavamo, chiamiamo Publication Bias la tendenza a pubblicare sistematicamente i risultati “positivi” e non pubblicare per niente quelli “negativi”, ossia quelli in cui il fenomeno cercato non è stato trovato. Apparentemente è una scelta quasi ragionevole: se faccio un esperimento e non scopro nulla, cosa c’è da pubblicare?

Succede anche nel campo del paranormale, ed è un parallelo un po’ imbarazzante per la scienza: astrologi e veggenti ogni tanto indovinano, e hanno cura di pubblicizzare al massimo la previsione azzeccata, sorvolando su tutte le altre. Per contrastare questo “publication bias” costruito ad arte, il CICAP pubblica alla fine di ogni anno una raccolta di previsioni sbagliate, che aiuta ad avere un quadro più realistico delle capacità dei paragnosti.

In realtà quindi anche il risultato nullo, come la previsione sbagliata, è importante. Abbiamo parlato più volte in questa rubrica degli errori associati a un esperimento: la conclusione importante è stata che il risultato di un esperimento non è “giusto” in assoluto, ma solo entro una certo valore arbitrario della significatività statistica. In più, l’errore sistematico sfuggente è sempre in agguato: pensate ai neutrini più veloci della luce di cui abbiamo parlato nel numero 11! Dunque possono sempre capitare “falsi negativi” (l’effetto cercato c`è, ma mi è sfuggito) o “falsi positivi” (quello che mi sembrava un effetto è in realtà una fluttuazione statistica o il risultato di un errore). È perciò inevitabile che nella letteratura scientifica vengano pubblicati, insieme con molti risultati corretti, anche alcuni falsi positivi, che naturalmente sono indistinguibili da quelli veri. Per raggiungere il consenso della comunità scientifica si dovranno valutare tutti gli studi pubblicati sull’argomento in esame, magari “pesarli” in base alla loro qualità e significatività statistica e decidere. Se però c’è una tendenza a non pubblicare i risultati negativi, veri o falsi che siano, si incappa in un problema: il quadro a disposizione non è completo perché manca una parte dei risultati negativi, e il consenso raggiunto non è corretto.

L’esistenza del publication bias in molti campi non è una possibilità teorica, ma è stata verificata diverse volte fin dagli anni Sessanta. È naturalmente difficile andare a scovare i risultati che non sono stati pubblicati, dato che spesso nessuno ne ha neanche mai sentito parlare. A volte, però, per qualche ragione gli studi sono stati elencati ancora prima di essere compiuti, e si può verificare quanti abbiano poi portato a una pubblicazione del risultato. Per quanto riguarda le scienze sociali lo hanno fatto, per esempio, tre ricercatori della Stanford University^[1], che hanno esaminato i 221 studi finanziati attraverso un particolare programma della National Science Foundation tra il 2002 e il 2012.

Dei 93 studi con un risultato solido, sette non sono stati pubblicati, mentre dei 49 con risultato nullo ben 38 non hanno avuto una pubblicazione, più del 77%. I lavori con un risultato statisticamente incerto hanno avuto una frequenza di pubblicazione intermedia (42 studi non pubblicati su 86).

Guardando più in dettaglio, si può fare un’altra interessante osservazione. Si potrebbe pensare che una causa della mancata pubblicazione sia stato il rifiuto da parte delle riviste di pubblicare articoli con risultato nullo, che avrebbero una storia meno interessante da raccontare; è più probabile che porti prestigio a una rivista la pubblicazione di un’importante scoperta piuttosto che una lunga serie di articoli che non trovano nulla.

Però, dei 38 articoli con risultato nullo che non hanno mai visto la luce, quelli per cui l’articolo è stato scritto (e, presumibilmente, rifiutato) sono solo sette: gli altri 13 non sono neanche stati scritti, meno che mai sottoposti a una rivista. Questo corrisponde con il risultato di altri studi, in cui si vede come in realtà i criteri editoriali delle riviste scientifiche sono solo una concausa del fenomeno, non il principale responsabile, per lo meno in alcune discipline.

È però possibile che i ricercatori abbiano una percezione sbagliata dei “gusti” delle riviste, e si lascino influenzare da questo pregiudizio: quindici degli autori interpellati dal gruppo di Stanford hanno dichiarato di aver abbandonato il progetto perché pensavano che i risultati negativi avessero poca probabilità di essere pubblicati.

Ci vorrebbe quindi un complicato cambio di mentalità da parte di scienziati, redattori delle riviste ed enti finanziatori. Nel frattempo, oltre a cercare di misurare il fenomeno, come si può fare?

Una prima possibilità è quella di cercare di stimare l’entità dell’effetto e tenerne conto nel definire il consenso. Non è facile, perché per definizione se uno studio non è pubblicato la comunità scientifica non ne è a conoscenza. Però qualche possibilità c’è: si può ricorrere a elenchi come quello usato dal gruppo di Stanford; si possono usare metodi statistici per cercare di capire quanti studi nulli ci si dovesse aspettare; si può andare a vedere se gli scienziati abbiano pubblicato risultati intermedi o informali in atti di congressi, tesi, note interne. Tutti questi approcci sono però limitati e rischiano di introdurre a loro volta dei bias.

Una seconda possibilità è obbligare, o quanto meno incoraggiare, i ricercatori a inserire il loro progetto di studio in un registro prima ancora di cominciare, in modo da tenere traccia anche di quelli che non saranno mai pubblicati. Ci sono numerose iniziative in tal senso; la più famosa è probabilmente AllTrials^[2], la petizione online promossa in Inghilterra e negli Stati Uniti da Sense About Science, dalla Cochrane Collaboration, dal British Medical Journal, dalla PLOS e altri.

Avrete notato come in questo articolo ci siamo volutamente tenuti alla larga dal campo biomedico, in cui il problema ha implicazioni etiche molto più profonde, come spiega anche Sergio Della Sala in questo stesso numero di Query. Come ha ampiamente documentato Ben Goldacre in Bad Pharma^[3], in questo caso l’influenza delle case farmaceutiche gioca un ruolo cruciale, e il problema è molto più complesso. Ne riparleremo.

Note