In uno dei primi numeri di questa rubrica avevamo parlato di peer review, raccontando come un articolo scientifico (in gergo è a volte chiamato un “lavoro”) venga esaminato, prima della pubblicazione, da un piccolo gruppo di scienziati esperti della disciplina (i referee) che valutano se sia redatto secondo le regole della comunicazione scientifica e se sia adatto a essere pubblicato su quella particolare rivista. Avevamo poi brevemente accennato come esistano riviste più o meno selettive, e come a volte un articolo rifiutato da una rivista prestigiosa possa essere accettato e pubblicato da un’altra. Vediamo meglio come funziona questo meccanismo.
Una parte fondamentale di un articolo scientifico è la bibliografia, che ha varie funzioni. La prima è quella di giustificare alcune delle assunzioni che si fanno nell’articolo, dando modo al lettore di andare a verificare. Per esempio, se in un calcolo uso il valore di una quantità fisica particolare potrei voler mettere come riferimento bibliografico l’articolo in cui la misura di tale quantità è stata pubblicata (a meno naturalmente che non si tratti di una costante nota da decenni). Altre volte si tratta di collocare nel giusto contesto il lavoro presentato, dando agli effettivi autori il credito di una scoperta. Poco tempo fa ha suscitato molto clamore l’annuncio, da parte dei ricercatori dell’esperimento OPERA ai Laboratori Nazionali del Gran Sasso dell’INFN, di aver (forse) osservato neutrini che viaggiavano a una velocità superiore a quella della luce. Subito molti fisici hanno cominciato a presentare articoli in cui si tentava di dare una spiegazione teorica all’osservazione, cercando di ricondurla a teorie note o introducendo principi nuovi: ognuno di questi lavori riportava in bibliografia la pubblicazione originale di OPERA. In questo caso in realtà non si trattava di articoli veri e propri, ma di preprint, cioè articoli in attesa di essere sottoposti alla peer review, ma già messi a disposizione del pubblico per risparmiare tempo; il discorso comunque non cambia. Analogamente, un articolo in cui si annuncia la replicazione di un risultato sperimentale (o, perché no, la mancata replicazione: se ricordate, abbiamo già parlato di riproducibilità in questa rubrica) dovrà necessariamente citare in bibliografia l’articolo dell’esperimento originale. A partire dalle bibliografie possiamo inventarci un metodo un po’ grossolano ma molto semplice per valutare l’importanza di un articolo scientifico: andare a vedere quante volte è stato citato da altri articoli successivi. Una scoperta di grande importanza, magari inattesa, susciterà una moltitudine di articoli, con commenti, approfondimenti, critiche, tentativi di replicazione eccetera, mentre una misura secondaria, magari a suo modo utile, ma di cui importa poco alla comunità scientifica, non verrà citata da nessuno. Attenzione che un numero di citazioni elevato non significa che il risultato dell’articolo sia corretto: poche settimane dopo il preprint di OPERA, un secondo annuncio chiarì che la misura inattesa era in realtà molto probabilmente dovuta al malfunzionamento di una connessione in fibra ottica nel sistema di misura, abbastanza inesplicabilmente sfuggito ai controlli prima della conferenza stampa.
A questo punto possiamo fare un passo in più e calcolare la media del numero di citazioni che tutti gli articoli pubblicati in una determinata rivista ha ricevuto in un intervallo di tempo (di solito due anni). Questa quantità, nota come Impact Factor, viene calcolata annualmente dalla ISI Thomson Reuters a partire dai database bibliografici che la società gestisce, ed è spesso usata come indicazione del prestigio di una rivista. Un impact factor elevato indica che molti degli articoli pubblicati su quella particolare rivista sono stati discussi in lungo e in largo, hanno suscitato dibattito o tentativi di replicazione, insomma hanno avuto un impatto importante sulla comunità scientifica. Bisogna però fare attenzione a confrontare tra loro riviste di ambiti o tipi diversi; per esempio, per loro natura avranno un impact factor elevato le riviste Annual Review: sono riviste che escono una volta l’anno, raccogliendo articoli che fanno il punto di un determinato aspetto della disciplina, riassumendo in un certo senso il risultato di molti articoli. Capita che per semplicità nella bibliografia di un lavoro successivo che deve citare un risultato non si citino i lavori originali, ma l’articolo della Review che li riassume: è a questo punto evidente che le Review avranno un impact factor innaturalmente alto e non potranno facilmente essere confrontate con le altre riviste. Una differenza simile corre tra le (poche) riviste “generaliste” come le famose Nature e Science, che pubblicano articoli di tutte le discipline, e le (moltissime) riviste specializzate in un particolare campo, magari molto ristretto.
La misura dell’impact factor può però innescare pericolosi meccanismi. Una rivista scientifica vive degli articoli che pubblica, e naturalmente tutti preferirebbero pubblicare sulla celebre Nature che su qualche oscuro giornale specialistico. Questo fa sì che i redattori e i referee di Nature ricevano molti più articoli di quanti ne possano pubblicare, e possano permettersi di scegliere quelli che ritengono i migliori: Nature si vanta di accettare circa il 5 per cento degli articoli che riceve. Generalmente la scelta è oculata, e gli articoli pubblicati avranno un impact factor elevato, aumentando il prestigio di Nature... che così riceverà ancora più articoli. Ma i redattori non sempre indovinano: per esempio, nel 1985 il biochimico Kary Mullis aveva pronto l’articolo in cui descriveva la scoperta della reazione a catena della polimerasi (Polymerase Chain Reaction o PCR, un meccanismo chimico alla base di tutta la moderna tecnica dell’analisi del DNA). Se la vide rifiutare da Nature (impact factor 36 oggi) e dovette pubblicarla su Methods in Enzymology (l’impact factor è 1.9 adesso, ma allora era presumibilmente più basso ancora); poi, nel 1993, vinse il premio Nobel per la chimica proprio per la scoperta della PCR.
È lungo e complicato tenere traccia delle citazioni che un articolo ha avuto (oggi con i database online è più semplice, ma molti sono a pagamento: ISI indicizza più di 8.000 riviste), oppure l’articolo è uscito da poco e nessuno lo ha ancora citato. In mancanza di meglio, possiamo usare l’impact factor della rivista per stimare l’importanza di un singolo articolo scientifico, anche se evidentemente è poco più che chiedere un’opinione a un esperto: in pratica ci stiamo fidando del giudizio dei referee che hanno esaminato il lavoro. A volte, come appunto per un risultato nuovissimo, non si può fare diversamente, ma se si vuole davvero capire l’importanza di un lavoro è molto meglio perdere un po’ di tempo e cercare di ricostruire il dibattito che ha eventualmente suscitato sulle riviste scientifiche.