«La ricerca scientifica ha cambiato il mondo, adesso deve cambiare se stessa». Questo drastico giudizio introduce un lungo articolo a cui il numero del 19 ottobre 2013 dell’Economist dedica addirittura la copertina, intitolato «How science goes wrong» e tradotto interamente in italiano sul n. 1023 di Internazionale.

Il servizio dà grande visibilità ad alcuni problemi ben noti all’interno della comunità scientifica, principalmente legati al sistema delle riviste accademiche, che sono il principale mezzo di comunicazione dei risultati della ricerca. Vediamo molto in breve quali sono i principali.

1. Il mercato delle riviste scientifiche sta cambiando molto rapidamente. Da un lato la sua dimensione è esplosa: ogni anno vengono pubblicati milioni di nuovi articoli scientifici, in media uno ogni venti secondi. Il solo indice degli articoli pubblicati quest’anno, immaginando 140 articoli per pagina, sarebbe composto di quindici volumi di mille pagine (in un recente numero dedicato alla comunicazione nella scienza, la rivista Science ha commissionato un’infografica sull’argomento a Randall Munroe, l’autore del popolare webcomic XKCD).^[1]
Da un altro lato, il movimento dell’Open Access da una quindicina d’anni a questa parte ha rivoluzionato il modello commerciale. Molto spesso oggi a pagare non sono più i lettori (attraverso gli abbonamenti delle biblioteche accademiche) ma gli autori, che pagano per la pubblicazione di un articolo che sarà reso disponibile gratuitamente sul web. Gli editori, sia tradizionali che Open Access, sono aziende spesso multinazionali governate da meccanismi di mercato, con un giro d’affari complessivo valutato in centinaia di miliardi di dollari ogni anno. In un mercato che cambia, in cui alle tre grandi case editrici storiche che controllano il 40% del mercato (Elsevier, Spinger e Wiley) si stanno aggiungendo decine e forse centinaia di rampanti nuovi arrivati, bisogna fare attenzione ai potenziali imbrogli e alle scorciatoie indebite.
Ancora, la rapidità di una comunicazione sempre più calibrata sul web ha messo in crisi i tempi tradizionalmente lunghi della pubblicazione su rivista, e il meccanismo della peer review oltre che lento è di per sé imperfetto. È un sistema necessariamente conservatore, in cui le idee nuove possono far fatica a emergere: l’equilibrio tra la necessità di filtrare le cattive idee e quella di non penalizzare idee buone ma controverse è delicato. Pur con errori e distorsioni, ha finora garantito un livello minimo di qualità dei lavori pubblicati senza diventare una forma di censura, ma è ancora un sistema adeguato? La sempre più grande specializzazione della ricerca fa sì che la comunità scientifica si spezzetti in gruppi sempre più piccoli e autoreferenziali, per cui è difficile trovare un referee veramente anonimo e imparziale, oltre che competente, in un ambiente in cui tutti si conoscono e vanno agli stessi congressi. Per fare solo un esempio banale, chi ci garantisce che il referee non faccia parte di un gruppo in competizione e non ritardi volutamente una pubblicazione o, peggio, ci soffi l’idea? Magari non succede, ma non è impossibile.

2. Molti studi con risultati negativi (qualcosa come “L’olio di triceratopo non inibisce la crescita delle cellule cancerose”) non sono mai pubblicati da nessuna parte. Questo fenomeno, chiamato publication bias, fa sì che si possano trovare in letteratura prove a favore di pseudo-fenomeni in realtà inesistenti, solo perché magari l’unica ricerca pubblicata è proprio una che per un errore o per una sfortunata fluttuazione statistica aveva ottenuto un risultato positivo, plausibilmente sbagliato. Nelle scienze fondamentali il fenomeno è principalmente causato dalla scarsa disponibilità delle riviste a pubblicare risultati negativi, articoli poco eccitanti che difficilmente ne faranno crescere l’impact factor. Nella ricerca farmaceutica, come dimostra ampiamente Ben Goldacre in Bad Pharma,^[2] il fenomeno è ingigantito dal controllo che le case farmaceutiche spesso hanno sulla ricerca e sulla pubblicazione dei risultati. Quando un’industria farmaceutica o un gruppo di ricerca iniziano il trial clinico di un farmaco, nella pratica non hanno nessun obbligo di pubblicare il risultato: è difficile resistere alla tentazione di selezionare i risultati positivi. E l’effetto sulla salute è particolarmente grave: farmaci inefficaci, o meno efficaci di altri già disponibili, continuano a essere prescritti perché le prove della loro inutilità non sono mai state pubblicate.

3. È normale che ogni tanto un risultato pubblicato non possa essere riprodotto: gli errori e le fluttuazioni statistiche maligne sono sempre in agguato. Ma la frazione di replicazioni fallite è, in alcuni campi in particolare, inaspettatamente alta. In un articolo del 2005 rapidamente diventato celebre,^[3] l’epidemiologo di Stanford John P. A. Ioannidis sostiene che nella ricerca biomedica la maggior parte dei risultati pubblicati è probabilmente falsa, dato che il numero atteso di falsi positivi può spesso essere per varie ragioni molto sottostimato. Le argomentazioni di Ioannidis sono puramente statistiche, ma ne esiste in qualche modo anche la prova sperimentale: periodicamente qualche gruppo di ricerca tenta una sistematica replicazione di risultati ritenuti fondamentali in un determinato campo, con risultati sconfortanti. L’esempio più recente citato dall’Economist è un lavoro della Amgen, un’azienda biotech californiana, che ha potuto riprodurre il risultato di solo 6 studi sui 53 presi in esame.^[4] Le ragioni di questo problema sono molteplici: per esempio, molti ricercatori userebbero strumenti statistici moderni e sofisticati senza comprenderli del tutto; oppure, la pressione generata dalla competizione per i finanziamenti e dalla valutazione della ricerca, spesso fatta più sulla quantità che sulla qualità delle pubblicazioni, spingerebbe i ricercatori a pubblicare frettolosamente.
Un ulteriore aspetto è che in molti casi la replicazione non viene neanche tentata, perché costosa o considerata “lavoro derivato” più difficile da pubblicare su riviste prestigiose, un po’ come succede per i risultati negativi. Dunque davvero la scienza è in grave crisi? Forse no, o almeno non troppo, se anche solo si considera (come fa giustamente la giornalista Anna Meldolesi sul Corriere delle Sera) che «tutti i dati ripresi dall’Economist vengono da scienziati e riviste scientifiche. Persino le trappole usate per smascherare i punti deboli del sistema sono state piazzate dagli scienziati per allertare altri scienziati».^[5] I problemi descritti dall’Economist riguardano più il sistema delle pubblicazioni che la scienza nel suo complesso e, come accennavamo all’inizio, non sono una novità per gli addetti ai lavori; ma naturalmente non basta riconoscere i problemi, bisogna anche provare a risolverli. Mentre tutto sommato ci si può continuare a fidare della scienza nel suo complesso come sistema che si autocorregge, occorre usare un po’ di attenzione nel valutare criticamente i singoli risultati e gli annunci che vengono pubblicati, anche prescindendo dalla ulteriore complicazione generata quando si passa dalla comunicazione tra scienziati (attraverso la letteratura scientifica) a quella diretta al pubblico generale.

In questa rubrica abbiamo provato, un po’ alla volta, a descrivere come funziona il sistema delle pubblicazioni scientifiche, che è una parte fondamentale del processo di costruzione della conoscenza scientifica. Adesso, e per qualche numero, riprenderemo gli argomenti appena accennati sopra, provando ad affrontare con qualche dettaglio i tanti problemi posti. Per alcuni di questi, le cause sono note e sono stati proposti rimedi e soluzioni, che in altri casi sono meno chiari. È comunque importante conoscerli per valutare criticamente e per cercare di distinguere la scienza di buona qualità da quella cattiva o dalla pseudoscienza.

Note