Nel febbraio del 2016, l’annuncio della prima osservazione di onde gravitazionali da parte dei ricercatori del progetto statunitense LIGO e dell’italiano VIRGO ha coinciso anche con una vastissima celebrazione della figura di Albert Einstein. L’osservazione confermava, infatti, quanto aveva teorizzato il grande scienziato in una delle più famose previsioni collegate alla relatività generale: come abbiamo infatti ricordato nell’introduzione a questo dossier, la predittività è una delle caratteristiche delle teorie scientifiche. Eppure c’è stato un momento in cui Einstein aveva perso fiducia nella sua stessa previsione e si era convinto che le onde gravitazionali non esistessero o, più precisamente, non potessero soddisfare le equazioni della relatività generale; nel 1936, ne aveva scritto, assieme al collega Nathan Rosen, in un articolo che aveva inviato per la pubblicazione alla Physical Review. Qui l’articolo era stato sottoposto a un processo che oggi caratterizza le pubblicazioni degli scienziati di tutto il mondo, ma nel quale Einstein non si era ancora mai imbattuto: la revisione dei pari (o paritaria; in inglese peer review), che prevede di sottoporre uno studio alla valutazione di altri scienziati. L’articolo era quindi stato esaminato da esperti, tra i quali, come si è appurato in seguito, Howard Percy Robertson, che ne aveva messo in rilievo con un dettagliato report i punti di debolezza.
Sappiamo che questo primo incontro di Einstein con la revisione paritaria fu tutt’altro che gradito: senza soffermarsi sui rilievi dell’anonimo revisore, Einstein scrisse alla rivista per manifestare l’intenzione propria e di Rosen di ritirare l’articolo per proporlo altrove, sottolineando, appunto, che non avevano dato l’autorizzazione a mostrarlo a specialisti del settore prima della pubblicazione.
Questa reazione è la prova del fatto che, nella prima metà del XX secolo, la pratica della revisione paritaria non era ancora una consuetudine condivisa né tanto meno data per scontata nell’ambito della ricerca scientifica. Le riviste tedesche sulle quali Einstein aveva pubblicato i suoi primi studi, infatti, non avevano mai sottoposto i suoi articoli a questo processo. Eppure Einstein avrebbe fatto bene a tenere da conto i rilievi ricevuti, che comunque Robertson fece in modo di fargli avere tramite colloqui con un suo collaboratore, Leopold Infeld. Infatti, quando l’articolo fu pubblicato, le conclusioni erano radicalmente diverse e le onde gravitazionali vi rientravano senza più problemi. La revisione paritaria, sebbene non entrata ancora in una prassi diffusa, dimostrava quindi sul campo la propria importanza.
In realtà, l’esigenza di un confronto proficuo con altri specialisti di un settore è sempre stata parte della pratica della scienza. Se ci riferiamo al concetto più ampio di revisione dei pari come discussione delle proprie conclusioni con altre persone dedite a studi analoghi, possiamo individuarne le radici nei dibattiti dei filosofi greci così come degli uomini di scienza di ogni epoca.
L’abitudine a condividere e discutere i propri risultati attraverso una fitta corrispondenza tra studiosi e uomini di scienza è sempre stata diffusissima, sia con lo scopo di ottenere un parere sulla validità di metodi e conclusioni sia per fare riferimento a specialisti di un determinato settore che rientrava in alcuni aspetti di uno studio. Lo stesso Einstein, per esempio, aveva intrattenuto una fitta corrispondenza con il grande matematico italiano Tullio Levi-Civita, che gli fornì un fondamentale apporto per la struttura matematica della teoria della relatività generale.
A questa abitudine al confronto si deve, per esempio, anche un celebre episodio della vita di Charles Darwin, purtroppo spesso citato in modo ideologicamente deformato dagli antievoluzionisti. Nel 1858 il naturalista Alfred Russel Wallace inviò a Darwin un proprio articolo accompagnato dalla richiesta di esaminarlo; leggendolo, Darwin poté riscontrare che il giovane studioso era giunto, del tutto indipendentemente, all’elaborazione di una teoria analoga a quella alla quale lui stava lavorando da circa 20 anni, senza decidersi a considerarla pronta per la pubblicazione fino a quel momento.
L’idea alla base della revisione dei pari, quindi, è sempre stata presente, ma il cammino per la sua realizzazione nella forma adoperata attualmente è stato lungo e molto graduale. La storia della moderna peer review viene normalmente collocata nella seconda metà del XVII secolo nell’ambito della Royal Society di Londra, nata per promuovere l’eccellenza negli studi scientifici come importante contributo al progresso e al benessere della collettività. In questo contesto, l’idea di verificare la qualità di uno studio attraverso il parere di esperti prima della pubblicazione appare come coerente a quello scopo, anche se, come è stato sottolineato dagli storici della scienza che si occupano di quel periodo, nella revisione paritaria dell’epoca era anche innegabilmente presente lo stretto legame con il potere politico e religioso, che esercitava una funzione di controllo e censura. Del resto, i membri delle società scientifiche e delle accademie reali erano parte integrante dell’assetto statale o, comunque, vi erano ideologicamente molto vicini. Sembrerebbe, quindi, piuttosto difficile pensare a una peer review priva di conflitti di interessi, che permettesse la pubblicazione di materiale controverso.
Sempre tenendo conto delle differenze rispetto a quello che oggi intendiamo con peer review, tra i padri della revisione paritaria viene di solito indicato Henry Oldenburg (1618-1677), segretario della Royal Society e fondatore, nel 1665, della rivista Philosophical Transactions of the Royal Society. Oldenburg avviò la pratica di inviare i manoscritti degli articoli proposti per la pubblicazione a persone ritenute esperte e in grado di esprimere un parere sulla loro qualità. La procedura era comunque decisamente diversa da quella attuale e, come si è visto, non abitualmente diffusa fino alla seconda metà del XX secolo.
Il processo di revisione dei pari non si svolge nello stesso modo per tutte le tipologie di rivista, ma nella sua forma attualmente più comune si compone di alcune fasi che illustriamo di seguito. La proposta del contributo da pubblicare arriva al comitato editoriale della rivista, che solitamente compie una prima valutazione di base per stabilire se l’articolo è degno di essere preso in considerazione o se scartarlo (per evidenti limiti di impostazione, oppure anche perché più opportunamente indirizzabile a una rivista diversa). In questa fase viene valutata l’aderenza del contributo all’argomento del periodico a cui si richiede la pubblicazione, la presenza delle caratteristiche di impostazione generale tipiche di uno studio scientificamente valido e, inoltre, si esprime una prima valutazione su questioni come il contribuito al dibattito scientifico e la rilevanza. Un primo rifiuto della pubblicazione può avvenire in questa fase preliminare e viene indicato in inglese come desk rejection, adoperando la metafora della redazione che respinge il manoscritto che è atterrato sulla scrivania in attesa di essere preso in considerazione. Il tasso di rifiuti in questa fase, così come in quelle successive, è molto variabile tra le diverse riviste, considerate più o meno intransigenti.
Gli articoli non bloccati da questa prima selezione vengono, quindi, inviati a revisori considerati esperti della materia, perché possano esprimere il loro parere sullo studio, secondo varie modalità. Quella condotta con il modus operandi del “doppio cieco” (in inglese, double blind peer review o double anonymized peer review) — che consiste nel fatto che l’autore non conosce l’identità dei revisori e viceversa — è considerata una modalità che garantisce maggiore serenità di giudizio, perché limita i condizionamenti che possono generarsi quando si deve valutare un autore che si conosce o quando si teme di esporsi a critiche. Per limitare ulteriormente i condizionamenti è stata addirittura proposta, anche se l’attuazione risulta ancora molto limitata, una revisione in “triplo cieco”, in cui gli autori sono anonimi non solo per i revisori, ma anche per il comitato editoriale. È però tuttora molto frequente la forma del “singolo cieco” (single blind peer review/single anonymized peer review) in cui a essere anonimi sono solo i revisori, che però conoscono il nome dell’autore dello studio. Bisogna, comunque, mettere in rilievo che in molti settori di ricerca specialistica gli indizi per desumere l’identità di un autore o di un revisore non mancano, infatti spesso la revisione avviene “meno in cieco” di quanto ci si augurerebbe.
C’è poi la revisione “aperta” (open peer review) in cui sono noti sia l’autore sia i revisori e quella “trasparente” (transparent peer review), nella quale i commenti dei revisori, le risposte degli autori e le conseguenti decisioni del comitato editoriale sono pubblicati insieme all’articolo. Si parla di “revisione collaborativa” (collaborative peer review) quando le revisioni sono il frutto della collaborazione di più revisori che lavorano insieme a commenti condivisi, oppure dell’autore con uno o più revisori. Vi è poi la possibilità di aggiungere una “revisione post pubblicazione” (post publication peer review), che consiste nel continuare nel tempo a intervenire con commenti e proposte di miglioramento su uno studio già pubblicato. Nella “peer review a cascata” (cascading peer review), infine, la rivista che ha respinto un articolo in seguito al processo di peer review può, se l’autore dà il proprio consenso, inoltrare il contributo e i relativi giudizi dei revisori a un’altra rivista che ritiene più adatta per ospitarlo.
Come spesso si sottolinea quando si parla di etica della ricerca scientifica relativamente al campo delle pubblicazioni, è importante che le riviste siano trasparenti in merito ai criteri adoperati nel percorso di revisione dei contributi, per limitare al minimo i problemi relativi a conflitti di interessi o tutto ciò che potrebbe agevolare la pubblicazione di studi frutto di condotte poco corrette.
L’esito della valutazione dei revisori può essere, naturalmente, di diverso tipo. Nel caso più favorevole all’autore, l’articolo può essere accettato incondizionatamente nella forma in cui è stato proposto. Oppure i revisori possono esprimere un parere favorevole all’accettazione del contributo a condizione che vengano attuate modifiche, che possono essere importanti e necessitare di ulteriori passaggi di revisione (major revisions), oppure secondarie ma comunque opportune (minor revisions). Si può, inoltre, rifiutare il contributo ma invitare a una revisione sostanziale per poi ripresentare il lavoro o, infine, respingerlo in modo deciso. Il comitato editoriale tiene in gran conto il parere espresso dai revisori anche se, in linea puramente teorica, questo non sarebbe vincolante. In ogni caso, in presenza di giudizi contraddittori, poiché di solito non è richiesta l’unanimità, la redazione può basarsi sulle motivazioni addotte o può chiedere ulteriori pareri. La procedura è, però, variabile in ragione di regole interne al singolo periodico che, come si diceva, dovrebbero essere rese note in modo trasparente.
Come si è più volte ribadito, il concetto di revisione dei pari è considerato una base fondamentale del modo attraverso cui gli scienziati condividono i propri risultati e collaborano per renderli più attendibili e completi. Questo, però, non implica l’idea che si tratti di un processo infallibile e privo di difetti nella sua formulazione attuale: infatti, è bene ricordare che non esistono studi attendibili che mettano in evidenza un sostanziale contributo della peer review oggi in uso alla qualità complessiva delle pubblicazioni scientifiche. Lo dimostrano i numerosi casi noti di studi pubblicati in riviste con peer review che si rivelano di bassa qualità o frutto di frodi e vengono quindi ritirati. Se ne può avere ampia esemplificazione consultando il blog Retraction Watch a cura dei giornalisti scientifici Ivan Oransky e Adam Marcus, che si occupano di integrità della ricerca. Ma anche quest’ultimo fenomeno, nel suo complesso, è un indizio positivo della capacità della comunità scientifica di agire al suo interno per controllarsi e promuovere buone pratiche.
In ogni caso, va sottolineato che l’esame delle criticità dell’attuale assetto della revisione paritaria non comporta certamente un rifiuto del concetto di peer review. Anche se si giungesse a un completo rovesciamento della peer review come la conosciamo oggi, e questa venisse sostituita con meccanismi completamente diversi, in parte già esistenti in determinati settori, di fatto quello che si otterrebbe sarebbe una revisione dei pari, sebbene attuata con metodi radicalmente differenti. È, infatti, noto come l’assenza di ogni forma di controllo dei pari possa avere come conseguenza un sensibile abbassamento della qualità dei contributi pubblicati, come avviene per le cosiddette “riviste predatorie”, disposte a pubblicare dietro compenso praticamente qualsiasi contributo, senza esercitare alcuna azione di controllo e diventando, quindi, veicolo di affermazioni poco fondate.
Ma restando nel campo delle riviste che operano questo controllo, da molto tempo sono stati messi in luce alcuni limiti intrinseci della revisione dei pari. Un revisore, infatti, potrebbe avere maggiore possibilità di valutare il metodo seguito, sulla base di quanto esposto dal gruppo di ricerca, ma non altrettanta possibilità di valutare i set di dati presi in considerazione e la loro origine.
Nel corso del tempo, sono infatti emerse diverse frodi scientifiche che coinvolgevano proprio dei dataset. Tra queste si può ricordare il caso clamoroso dello psicologo sociale olandese Diederik Stapel, che ha pubblicato numerosi studi su prestigiose riviste basandosi su dati manipolati o completamente inventati. In altri settori, talvolta, la presenza di interessi commerciali piuttosto forti, per via della possibilità di brevettare tecniche o strumenti messi a punto dai ricercatori, può indurre a un certo tasso di reticenza nell’esposizione dei metodi, che può diminuire le possibilità di valutazione da parte dei revisori. Questi ultimi, d’altra parte, operando, come di norma, nello stesso settore e conoscendone le dinamiche, potrebbero ritenere accettabile non specificare alcuni particolari, limitando, però, di fatto, la propria capacità di valutare lo studio preso in esame.
Un altro limite intrinseco è dovuto alla crescente specializzazione della ricerca che può far sì che gli esperti di riferimento scelti dal comitato editoriale siano in grado di valutare con accuratezza gli aspetti di uno studio direttamente collegati alle proprie competenze e all’argomento della rivista, ma meno altre questioni affrontate dalla ricerca. Questo fenomeno appare oggi in crescita per via delle molte collaborazioni multidisciplinari attive in diversi settori, che portano a una maggiore varietà di approcci e temi all’interno delle diverse pubblicazioni, alla quale non sempre corrisponde un altrettanto ampio ventaglio di competenze degli esperti di riferimento. Un limite spesso evidenziato riguarda una certa tendenza al conservatorismo da parte dei revisori, che porta talvolta a bocciare studi ritenuti troppo innovativi e a preferire quelli che appaiono in accordo con paradigmi consolidati.
Con una certa dose di ironia, visto che la scienza dovrebbe essere quanto di più lontano dal principio d’autorità, si è anche visto che il nome dell’autore ha una grossa influenza sulle possibilità di pubblicazione. Come ha di recente confermato uno studio presentato a un meeting internazionale sulla peer review, è infatti molto più probabile che lo studio a firma di un autore famoso non venga rifiutato (si tratta di un effetto che potrebbe senz’altro essere mitigato dall’adozione del protocollo in doppio cieco). La peer review è, d’altra parte, intervenuta anche sulle conclusioni di questo studio: per esempio, il sociologo della scienza Flaminio Squazzoni ha messo in evidenza alcuni limiti nell’impostazione della ricerca.
Sempre restando nel medesimo ambito, la valutazione dei revisori potrebbe essere influenzata da diversi pregiudizi, come quelli legati al genere o alla provenienza degli autori.
Tra le criticità insite nel meccanismo stesso delle pubblicazioni scientifiche c’è l’ipercompetitività strutturale sintetizzata nella formula “publish or perish” (“pubblica o muori”), che incentiva i comportamenti poco etici e i cui riflessi negativi possono trasferirsi anche ai meccanismi di controllo della ricerca, che non sempre sono in grado di porvi rimedio.
La ricerca scientifica portata avanti nel corso della pandemia ha anche messo in luce il problema dei tempi lunghi in conseguenza dell’attuale assetto della revisione paritaria, particolarmente problematici in situazioni emergenziali.
Tra le possibili alternative proposte rispetto all’attuale sistema della revisione paritaria vi è, per esempio, una condivisione più aperta e completa della ricerca scientifica in depositi liberamente accessibili a disposizione della comunità degli studiosi, che possono prenderne visione e discuterne metodi e risultati. Si tratterebbe di una procedura analoga a quella, ormai molto diffusa, della condivisione negli archivi che riuniscono studi non ancora pubblicati su riviste con peer review (in inglese vengono chiamati preprint), come il celebre arXiv e molti altri.
Un’altra pratica alternativa alla revisione attuale è l’uso degli open notebook, ovvero la condivisione totale con la comunità scientifica del progetto di ricerca e di dati e appunti di laboratorio relativi agli esperimenti condotti, che vengono sottoposti in tempo reale alla valutazione dei pari. In questo caso, ci troviamo, quindi, su un piano che elimina a priori la possibilità di sfruttamento commerciale o di brevettabilità di un’idea.
Nel frattempo si sottolinea anche l’importanza di incrementare gli studi che misurano l’attendibilità della peer review, che sono ancora scarsi e sarebbero preliminari ai tentativi di riforma. Tra i progetti più interessanti possiamo ricordare PEERE, curato dal gruppo di ricerca guidato dal già citato Flaminio Squazzoni, docente all’Università Statale di Milano. Nell’ambito del progetto, per esempio, è stata presentata un’infrastruttura di condivisione dei dati tra le riviste scientifiche e la comunità di ricerca basata su un esteso processo al quale collaborano ricercatori, editori e piattaforme innovative orientate alla cosiddetta open science (ovvero il movimento che mira a rendere aperto e trasparente ogni aspetto della ricerca scientifica). Attraverso questa infrastruttura vengono trasferiti in formato digitale tutti i dati che riguardano i processi editoriali, compresi quelli relativi alla revisione paritaria, elementi etici e legali compresi (per esempio, i criteri di selezione dei revisori, le istruzioni sulle procedure da seguire, la modalità di gestione dei conflitti tra esperti...). Uno strumento di questo tipo consente di avere una base concreta per misurare la qualità della peer review e lavorare sugli elementi di criticità.
Sappiamo che questo primo incontro di Einstein con la revisione paritaria fu tutt’altro che gradito: senza soffermarsi sui rilievi dell’anonimo revisore, Einstein scrisse alla rivista per manifestare l’intenzione propria e di Rosen di ritirare l’articolo per proporlo altrove, sottolineando, appunto, che non avevano dato l’autorizzazione a mostrarlo a specialisti del settore prima della pubblicazione.
Questa reazione è la prova del fatto che, nella prima metà del XX secolo, la pratica della revisione paritaria non era ancora una consuetudine condivisa né tanto meno data per scontata nell’ambito della ricerca scientifica. Le riviste tedesche sulle quali Einstein aveva pubblicato i suoi primi studi, infatti, non avevano mai sottoposto i suoi articoli a questo processo. Eppure Einstein avrebbe fatto bene a tenere da conto i rilievi ricevuti, che comunque Robertson fece in modo di fargli avere tramite colloqui con un suo collaboratore, Leopold Infeld. Infatti, quando l’articolo fu pubblicato, le conclusioni erano radicalmente diverse e le onde gravitazionali vi rientravano senza più problemi. La revisione paritaria, sebbene non entrata ancora in una prassi diffusa, dimostrava quindi sul campo la propria importanza.
© BsWei/iStock
La necessità di un confronto
In realtà, l’esigenza di un confronto proficuo con altri specialisti di un settore è sempre stata parte della pratica della scienza. Se ci riferiamo al concetto più ampio di revisione dei pari come discussione delle proprie conclusioni con altre persone dedite a studi analoghi, possiamo individuarne le radici nei dibattiti dei filosofi greci così come degli uomini di scienza di ogni epoca.
L’abitudine a condividere e discutere i propri risultati attraverso una fitta corrispondenza tra studiosi e uomini di scienza è sempre stata diffusissima, sia con lo scopo di ottenere un parere sulla validità di metodi e conclusioni sia per fare riferimento a specialisti di un determinato settore che rientrava in alcuni aspetti di uno studio. Lo stesso Einstein, per esempio, aveva intrattenuto una fitta corrispondenza con il grande matematico italiano Tullio Levi-Civita, che gli fornì un fondamentale apporto per la struttura matematica della teoria della relatività generale.
A questa abitudine al confronto si deve, per esempio, anche un celebre episodio della vita di Charles Darwin, purtroppo spesso citato in modo ideologicamente deformato dagli antievoluzionisti. Nel 1858 il naturalista Alfred Russel Wallace inviò a Darwin un proprio articolo accompagnato dalla richiesta di esaminarlo; leggendolo, Darwin poté riscontrare che il giovane studioso era giunto, del tutto indipendentemente, all’elaborazione di una teoria analoga a quella alla quale lui stava lavorando da circa 20 anni, senza decidersi a considerarla pronta per la pubblicazione fino a quel momento.
Le origini della revisione dei pari
L’idea alla base della revisione dei pari, quindi, è sempre stata presente, ma il cammino per la sua realizzazione nella forma adoperata attualmente è stato lungo e molto graduale. La storia della moderna peer review viene normalmente collocata nella seconda metà del XVII secolo nell’ambito della Royal Society di Londra, nata per promuovere l’eccellenza negli studi scientifici come importante contributo al progresso e al benessere della collettività. In questo contesto, l’idea di verificare la qualità di uno studio attraverso il parere di esperti prima della pubblicazione appare come coerente a quello scopo, anche se, come è stato sottolineato dagli storici della scienza che si occupano di quel periodo, nella revisione paritaria dell’epoca era anche innegabilmente presente lo stretto legame con il potere politico e religioso, che esercitava una funzione di controllo e censura. Del resto, i membri delle società scientifiche e delle accademie reali erano parte integrante dell’assetto statale o, comunque, vi erano ideologicamente molto vicini. Sembrerebbe, quindi, piuttosto difficile pensare a una peer review priva di conflitti di interessi, che permettesse la pubblicazione di materiale controverso.
Sempre tenendo conto delle differenze rispetto a quello che oggi intendiamo con peer review, tra i padri della revisione paritaria viene di solito indicato Henry Oldenburg (1618-1677), segretario della Royal Society e fondatore, nel 1665, della rivista Philosophical Transactions of the Royal Society. Oldenburg avviò la pratica di inviare i manoscritti degli articoli proposti per la pubblicazione a persone ritenute esperte e in grado di esprimere un parere sulla loro qualità. La procedura era comunque decisamente diversa da quella attuale e, come si è visto, non abitualmente diffusa fino alla seconda metà del XX secolo.
© AllVisionn/iStock
In che cosa consiste
Il processo di revisione dei pari non si svolge nello stesso modo per tutte le tipologie di rivista, ma nella sua forma attualmente più comune si compone di alcune fasi che illustriamo di seguito. La proposta del contributo da pubblicare arriva al comitato editoriale della rivista, che solitamente compie una prima valutazione di base per stabilire se l’articolo è degno di essere preso in considerazione o se scartarlo (per evidenti limiti di impostazione, oppure anche perché più opportunamente indirizzabile a una rivista diversa). In questa fase viene valutata l’aderenza del contributo all’argomento del periodico a cui si richiede la pubblicazione, la presenza delle caratteristiche di impostazione generale tipiche di uno studio scientificamente valido e, inoltre, si esprime una prima valutazione su questioni come il contribuito al dibattito scientifico e la rilevanza. Un primo rifiuto della pubblicazione può avvenire in questa fase preliminare e viene indicato in inglese come desk rejection, adoperando la metafora della redazione che respinge il manoscritto che è atterrato sulla scrivania in attesa di essere preso in considerazione. Il tasso di rifiuti in questa fase, così come in quelle successive, è molto variabile tra le diverse riviste, considerate più o meno intransigenti.
Gli articoli non bloccati da questa prima selezione vengono, quindi, inviati a revisori considerati esperti della materia, perché possano esprimere il loro parere sullo studio, secondo varie modalità. Quella condotta con il modus operandi del “doppio cieco” (in inglese, double blind peer review o double anonymized peer review) — che consiste nel fatto che l’autore non conosce l’identità dei revisori e viceversa — è considerata una modalità che garantisce maggiore serenità di giudizio, perché limita i condizionamenti che possono generarsi quando si deve valutare un autore che si conosce o quando si teme di esporsi a critiche. Per limitare ulteriormente i condizionamenti è stata addirittura proposta, anche se l’attuazione risulta ancora molto limitata, una revisione in “triplo cieco”, in cui gli autori sono anonimi non solo per i revisori, ma anche per il comitato editoriale. È però tuttora molto frequente la forma del “singolo cieco” (single blind peer review/single anonymized peer review) in cui a essere anonimi sono solo i revisori, che però conoscono il nome dell’autore dello studio. Bisogna, comunque, mettere in rilievo che in molti settori di ricerca specialistica gli indizi per desumere l’identità di un autore o di un revisore non mancano, infatti spesso la revisione avviene “meno in cieco” di quanto ci si augurerebbe.
C’è poi la revisione “aperta” (open peer review) in cui sono noti sia l’autore sia i revisori e quella “trasparente” (transparent peer review), nella quale i commenti dei revisori, le risposte degli autori e le conseguenti decisioni del comitato editoriale sono pubblicati insieme all’articolo. Si parla di “revisione collaborativa” (collaborative peer review) quando le revisioni sono il frutto della collaborazione di più revisori che lavorano insieme a commenti condivisi, oppure dell’autore con uno o più revisori. Vi è poi la possibilità di aggiungere una “revisione post pubblicazione” (post publication peer review), che consiste nel continuare nel tempo a intervenire con commenti e proposte di miglioramento su uno studio già pubblicato. Nella “peer review a cascata” (cascading peer review), infine, la rivista che ha respinto un articolo in seguito al processo di peer review può, se l’autore dà il proprio consenso, inoltrare il contributo e i relativi giudizi dei revisori a un’altra rivista che ritiene più adatta per ospitarlo.
Come spesso si sottolinea quando si parla di etica della ricerca scientifica relativamente al campo delle pubblicazioni, è importante che le riviste siano trasparenti in merito ai criteri adoperati nel percorso di revisione dei contributi, per limitare al minimo i problemi relativi a conflitti di interessi o tutto ciò che potrebbe agevolare la pubblicazione di studi frutto di condotte poco corrette.
L’esito della valutazione dei revisori può essere, naturalmente, di diverso tipo. Nel caso più favorevole all’autore, l’articolo può essere accettato incondizionatamente nella forma in cui è stato proposto. Oppure i revisori possono esprimere un parere favorevole all’accettazione del contributo a condizione che vengano attuate modifiche, che possono essere importanti e necessitare di ulteriori passaggi di revisione (major revisions), oppure secondarie ma comunque opportune (minor revisions). Si può, inoltre, rifiutare il contributo ma invitare a una revisione sostanziale per poi ripresentare il lavoro o, infine, respingerlo in modo deciso. Il comitato editoriale tiene in gran conto il parere espresso dai revisori anche se, in linea puramente teorica, questo non sarebbe vincolante. In ogni caso, in presenza di giudizi contraddittori, poiché di solito non è richiesta l’unanimità, la redazione può basarsi sulle motivazioni addotte o può chiedere ulteriori pareri. La procedura è, però, variabile in ragione di regole interne al singolo periodico che, come si diceva, dovrebbero essere rese note in modo trasparente.
© thomas-bethge/iStock
Limiti e problemi
Come si è più volte ribadito, il concetto di revisione dei pari è considerato una base fondamentale del modo attraverso cui gli scienziati condividono i propri risultati e collaborano per renderli più attendibili e completi. Questo, però, non implica l’idea che si tratti di un processo infallibile e privo di difetti nella sua formulazione attuale: infatti, è bene ricordare che non esistono studi attendibili che mettano in evidenza un sostanziale contributo della peer review oggi in uso alla qualità complessiva delle pubblicazioni scientifiche. Lo dimostrano i numerosi casi noti di studi pubblicati in riviste con peer review che si rivelano di bassa qualità o frutto di frodi e vengono quindi ritirati. Se ne può avere ampia esemplificazione consultando il blog Retraction Watch a cura dei giornalisti scientifici Ivan Oransky e Adam Marcus, che si occupano di integrità della ricerca. Ma anche quest’ultimo fenomeno, nel suo complesso, è un indizio positivo della capacità della comunità scientifica di agire al suo interno per controllarsi e promuovere buone pratiche.
In ogni caso, va sottolineato che l’esame delle criticità dell’attuale assetto della revisione paritaria non comporta certamente un rifiuto del concetto di peer review. Anche se si giungesse a un completo rovesciamento della peer review come la conosciamo oggi, e questa venisse sostituita con meccanismi completamente diversi, in parte già esistenti in determinati settori, di fatto quello che si otterrebbe sarebbe una revisione dei pari, sebbene attuata con metodi radicalmente differenti. È, infatti, noto come l’assenza di ogni forma di controllo dei pari possa avere come conseguenza un sensibile abbassamento della qualità dei contributi pubblicati, come avviene per le cosiddette “riviste predatorie”, disposte a pubblicare dietro compenso praticamente qualsiasi contributo, senza esercitare alcuna azione di controllo e diventando, quindi, veicolo di affermazioni poco fondate.
Ma restando nel campo delle riviste che operano questo controllo, da molto tempo sono stati messi in luce alcuni limiti intrinseci della revisione dei pari. Un revisore, infatti, potrebbe avere maggiore possibilità di valutare il metodo seguito, sulla base di quanto esposto dal gruppo di ricerca, ma non altrettanta possibilità di valutare i set di dati presi in considerazione e la loro origine.
Nel corso del tempo, sono infatti emerse diverse frodi scientifiche che coinvolgevano proprio dei dataset. Tra queste si può ricordare il caso clamoroso dello psicologo sociale olandese Diederik Stapel, che ha pubblicato numerosi studi su prestigiose riviste basandosi su dati manipolati o completamente inventati. In altri settori, talvolta, la presenza di interessi commerciali piuttosto forti, per via della possibilità di brevettare tecniche o strumenti messi a punto dai ricercatori, può indurre a un certo tasso di reticenza nell’esposizione dei metodi, che può diminuire le possibilità di valutazione da parte dei revisori. Questi ultimi, d’altra parte, operando, come di norma, nello stesso settore e conoscendone le dinamiche, potrebbero ritenere accettabile non specificare alcuni particolari, limitando, però, di fatto, la propria capacità di valutare lo studio preso in esame.
Un altro limite intrinseco è dovuto alla crescente specializzazione della ricerca che può far sì che gli esperti di riferimento scelti dal comitato editoriale siano in grado di valutare con accuratezza gli aspetti di uno studio direttamente collegati alle proprie competenze e all’argomento della rivista, ma meno altre questioni affrontate dalla ricerca. Questo fenomeno appare oggi in crescita per via delle molte collaborazioni multidisciplinari attive in diversi settori, che portano a una maggiore varietà di approcci e temi all’interno delle diverse pubblicazioni, alla quale non sempre corrisponde un altrettanto ampio ventaglio di competenze degli esperti di riferimento. Un limite spesso evidenziato riguarda una certa tendenza al conservatorismo da parte dei revisori, che porta talvolta a bocciare studi ritenuti troppo innovativi e a preferire quelli che appaiono in accordo con paradigmi consolidati.
Con una certa dose di ironia, visto che la scienza dovrebbe essere quanto di più lontano dal principio d’autorità, si è anche visto che il nome dell’autore ha una grossa influenza sulle possibilità di pubblicazione. Come ha di recente confermato uno studio presentato a un meeting internazionale sulla peer review, è infatti molto più probabile che lo studio a firma di un autore famoso non venga rifiutato (si tratta di un effetto che potrebbe senz’altro essere mitigato dall’adozione del protocollo in doppio cieco). La peer review è, d’altra parte, intervenuta anche sulle conclusioni di questo studio: per esempio, il sociologo della scienza Flaminio Squazzoni ha messo in evidenza alcuni limiti nell’impostazione della ricerca.
Sempre restando nel medesimo ambito, la valutazione dei revisori potrebbe essere influenzata da diversi pregiudizi, come quelli legati al genere o alla provenienza degli autori.
Tra le criticità insite nel meccanismo stesso delle pubblicazioni scientifiche c’è l’ipercompetitività strutturale sintetizzata nella formula “publish or perish” (“pubblica o muori”), che incentiva i comportamenti poco etici e i cui riflessi negativi possono trasferirsi anche ai meccanismi di controllo della ricerca, che non sempre sono in grado di porvi rimedio.
La ricerca scientifica portata avanti nel corso della pandemia ha anche messo in luce il problema dei tempi lunghi in conseguenza dell’attuale assetto della revisione paritaria, particolarmente problematici in situazioni emergenziali.
© Prostock-Studio/iStock. NdR: la formula sulla lavagna è quella della caffeina
Le proposte in campo
Tra le possibili alternative proposte rispetto all’attuale sistema della revisione paritaria vi è, per esempio, una condivisione più aperta e completa della ricerca scientifica in depositi liberamente accessibili a disposizione della comunità degli studiosi, che possono prenderne visione e discuterne metodi e risultati. Si tratterebbe di una procedura analoga a quella, ormai molto diffusa, della condivisione negli archivi che riuniscono studi non ancora pubblicati su riviste con peer review (in inglese vengono chiamati preprint), come il celebre arXiv e molti altri.
Un’altra pratica alternativa alla revisione attuale è l’uso degli open notebook, ovvero la condivisione totale con la comunità scientifica del progetto di ricerca e di dati e appunti di laboratorio relativi agli esperimenti condotti, che vengono sottoposti in tempo reale alla valutazione dei pari. In questo caso, ci troviamo, quindi, su un piano che elimina a priori la possibilità di sfruttamento commerciale o di brevettabilità di un’idea.
Nel frattempo si sottolinea anche l’importanza di incrementare gli studi che misurano l’attendibilità della peer review, che sono ancora scarsi e sarebbero preliminari ai tentativi di riforma. Tra i progetti più interessanti possiamo ricordare PEERE, curato dal gruppo di ricerca guidato dal già citato Flaminio Squazzoni, docente all’Università Statale di Milano. Nell’ambito del progetto, per esempio, è stata presentata un’infrastruttura di condivisione dei dati tra le riviste scientifiche e la comunità di ricerca basata su un esteso processo al quale collaborano ricercatori, editori e piattaforme innovative orientate alla cosiddetta open science (ovvero il movimento che mira a rendere aperto e trasparente ogni aspetto della ricerca scientifica). Attraverso questa infrastruttura vengono trasferiti in formato digitale tutti i dati che riguardano i processi editoriali, compresi quelli relativi alla revisione paritaria, elementi etici e legali compresi (per esempio, i criteri di selezione dei revisori, le istruzioni sulle procedure da seguire, la modalità di gestione dei conflitti tra esperti...). Uno strumento di questo tipo consente di avere una base concreta per misurare la qualità della peer review e lavorare sugli elementi di criticità.
Bibliografia
- T. Jefferson, F. Godlee, 2003. Peer review in health sciences, BMJ Books.
- D. Ovadia, F. Turone, 2021. Scienza senza maiuscola, Codice Edizioni.
- M. Ciardi, 2021. Breve storia delle pseudoscienze, Hoepli.
