Diversi tipologie di errori, che spesso si verificano involontariamente, riducono la precisione degli studi medici che vengono pubblicati sulle riviste scientifiche. Sebbene la profondità di tali distorsioni non sarà probabilmente mai nota con precisione, vi sono dei motivi per ritenere che esse siano significative, soprattutto perché tali errori hanno diverse origini. In questo articolo ne illustreremo qualcuno.

Bias di Pubblicazione

Le imprecisioni hanno spesso origine dal bias di pubblicazione, che si potrebbe definire come la pubblicazione sproporzionata di risultati di trial clinici a favore di una certa terapia. Sappiamo che gli articoli che presentano i risultati dei trial vengono accettati più facilmente dalle riviste scientifiche quando tali risultati sono "positivi", cioè dimostrano il successo di una certa terapia.

D’altronde, i risultati negativi vengono raramente presi in considerazione dalle riviste: semplicemente, non sono promettenti o "rivoluzionari" quanto quelli positivi. Anche gli stessi editor delle riviste hanno una responsabilità in questo processo di accettazione, dal momento che pubblicare risultati "interessanti" può conferire alla loro rivista un'aura di prestigio.

A sostegno di questa idea, alcune analisi critiche (Dwan et al. 2013; Jones et al. 2013) hanno dimostrato che i trial che ottengono risultati positivi (cioè che mostrano risultati statisticamente significativi e che vengono percepiti come rilevanti nel dimostrare gli effetti positivi di una terapia) avevano una probabilità quasi quattro volte maggiore di essere pubblicati rispetto ai risultati percepiti come non rilevanti o che dimostravano un effetto nullo o negativo di una terapia. Questi studi hanno anche rivelato che i trial che avevano ottenuto risultati positivi vengono pubblicati più rapidamente di quelli con risultati negativi.

Dopo che i primi risultati positivi vengono pubblicati, altri ricercatori sono solitamente spinti a confermare o smentire tali dati. Se uno studio successivo giunge a conclusioni opposte, l'accettazione dell’articolo scientifico che presenta i risultati negativi è più facile, ma può richiedere mesi o persino anni. Non solo il bias di pubblicazione crea una enorme, falsa prevalenza di risultati positivi, ma spesso tali studi vengono pubblicizzati dai mezzi di comunicazione non specialistici e presentati come scoperte rivoluzionarie. Ciò può portare ad un’errata interpretazione delle cause di una certa malattia o può far sorgere vane speranze circa l’imminente scoperta di una terapia valida. Sfortunatamente, il venir meno delle speranze iniziali (sulla base dei risultati negativi ottenuti in ricerche successive) trova solo raramente spazio in quelle stesse pubblicazioni mass-mediatiche e così si determina il permanere di false speranze e aspettative circa una certa terapia che era stata presentata come promettente.

I giornalisti possono amplificare ulteriormente la portata dei risultati per mezzo di un processo di "orientamento", l’utilizzo cioè di strategie giornalistiche che enfatizzano gli effetti positivi di una terapia sperimentale. In uno studio sistematico su un grosso corpus di comunicati stampa (Yavchitz et al. 2012), questa attività di “orientamento” è stata rilevata in circa la metà dei testi analizzati. Le analisi dettagliate hanno mostrato che il fattore che ha contribuito maggiormente all’orientamento di tali comunicati sono le conclusioni positive presenti negli abstract degli studi scritti dai ricercatori. Non vi è dubbio che anche i giornalisti giochino un ruolo in questa iperenfatizzazione, dal momento che devono scrivere in un modo che attiri l'attenzione dei loro capiredattori e dei loro lettori.

La Meta-Analisi: una soluzione parziale

Negli ultimi anni, le cosiddette "meta-analisi" sono state viste con sempre maggior favore nell’ambito della ricerca e del giornalismo medico. Le meta-analisi vengono realizzate allo scopo di avere un maggior potere statistico in quanto raccolgono i risultati ottenuti in molti studi. Questo tipo di analisi viene condotta necessariamente anche sulla maggior parte di quegli studi che soffrivano del primo tipo di errore che abbiamo già discusso nel paragrafo precedente. I tentativi di costruire strumenti statistici che consentano di rilevare e quantificare il livello di bias nei dati (Kicinski 2014) appaiono utili almeno nell'identificarne la presenza, ma sono ugualmente limitati. Molti dei ricercatori che usano la meta-analisi si sforzano di escludere gli studi che vengono descritti in maniera carente, o che non rispettano standard adeguati da altri punti di vista, ma non possono evitare completamente l’iniziale bias di pubblicazione. È inoltre interessante (e inspiegabile) il fatto che gli esperimenti effettuati su un numero minore di soggetti dimostrano un maggior grado di bias a favore di risultati positivi (Kicinski 2014).

Al fine di ridurre il bias dovuto all'esclusione mirata delle pubblicazioni da includere nelle meta-analisi, il governo statunitense ha recentemente imposto l'inserimento di tutti gli studi randomizzati di grande portata che vengono condotti su farmaci e dispositivi medici in un unico database (disponibile su ClinicalTrials.gov). Tuttavia, tale tentativo di eliminare l'esclusione degli studi è limitato. Sul totale degli studi di grande portata registrati in anticipo su ClinicalTrials.gov e completati prima del gennaio del 2009, solo nel 50% dei casi sono disponibili dei risultati pubblicati (Riveros et al. 2013). Ciò significa che vi è un'enorme lacuna nella conoscenza di molti studi clinici di grandi dimensioni, quelli che hanno il maggior impatto potenziale in campo medico.

Forze economiche

In uno studio citato sopra (Jones et al. 2013), un’analisi di un numero rilevante di trial clinici ha svelato che il 32 per cento di quelli finanziati dall'industria non sono stati pubblicati, contro il 18 per cento quelli finanziati in altro modo. Ciò porta inevitabilmente a concludere che le aziende e, in particolare, le case farmaceutiche, hanno giocato un ruolo nel nascondere i risultati che non favorirebbero l'immissione nel mercato dei loro prodotti. Inoltre, Riveros e colleghi (2013) hanno dimostrato che quando i dati raccolti negli studi includevano effetti collaterali gravi, questi venivano riportati nel database ClinicalTrials.gov più accuratamente che nelle pubblicazioni successive.

Ciò evidenzia la necesssità, da parte dei ricercatori e del personale sanitario, di analizzare con attenzione i resoconti degli studi registrati nel database, al fine di comprendere nella maniera più precisa i risultati ottenuti. È possibile che alcuni dati vengano nascosti da chi ha interessi economici, come denunciato da Ben Wolford sul settimanale Newsweek (13 nov 2014). L'articolo di Wolford riguardava il farmaco oseltamivir (Tamiflu), che viene largamente pubblicizzato per la prevenzione e la cura dell'influenza. Roche, il produttore, aveva finanziato dozzine di test clinici per dimostrare che il farmaco funzionava. In seguito, i ricercatori che avevano partecipato allo studio avevano scritto lunghissimi "resoconti sullo studio clinico", inoltrandoli alla FDA (Food and Drug Administration, l’organo governativo che si occupa di approvare e regolamentare l’immissione di un farmaco sul mercato negli Stati Uniti, NdR), che approvò la commercializzazione del farmaco nel 1999. Alcuni di questi resoconti vennero in seguito riassunti in articoli più brevi, che furono pubblicati sulle riviste di medicina, solitamente l'unico mezzo per raggiungere il pubblico e il personale medico.

Quando un'organizzazione esterna e imparziale (Cochrane Collaboration) richiese a Roche di rendere interamente disponibili i dati, scoprì che i resoconti completi degli studi clinici che erano stati condotti non erano disponibili. Cochrane iniziò una trattativa col produttore e inoltrò richieste alla FDA ai sensi del Freedom of Information Act (una legge statunitense sulla libertà di informazione che impone alle amministrazioni pubbliche una serie di regole per permettere l'accesso totale o parziale a documenti in loro possesso, NdR ). Inizialmente, Roche propose di fornire i resoconti di dieci studi clinici alla Cochrane, ma soltanto se avesse firmato un accordo di non divulgazione per mantenere il tutto segreto, compresa l'esistenza dell'accordo stesso. Cochrane si rifiutò di firmare. Dopo cinque anni, Roche svelò infine i risultati e Cochrane scoprì l'esistenza di più di settanta studi sul Tamiflu e di ben più di 100.000 pagine di risultati che non erano mai stati pubblicati. Tra questi, vi erano molti studi che mostravano risultati negativi o che non consentivano di arrivare ad alcuna conclusione circa l’utilità del farmaco. Avendo a disposizione un quadro più completo dei trial clinici che erano stati condotti, Cochrane concluse che i test non dimostravano che l’uso del Tamiflu determinava una riduzione nel numero dei ricoveri ospedalieri, dei casi di contagio o delle complicazioni della malattia. L'unico suo effetto provato, a detta della Cochrane, è di abbreviare la durata dei sintomi di circa un giorno.

Questo è solo uno dei molti esempi di un evidente bias di pubblicazione determinato da un vantaggio di tipo economico.

Errori di Ricerca

Diversi tipi di errori possono condurre a gravi bias sperimentali, e questo tema è stato oggetto di particolare attenzione negli ultimi anni. Gli aspiranti ricercatori desiderano spesso presentare risultati positivi, poiché ciò aumenta la probabilità che i loro articoli vengano accettati da una rivista importante. A sua volta ciò accrescerà il loro status scientifico, le loro possibilità di ottenere una cattedra o una promozione, o porterà loro notorietà. Inoltre, la pressione a pubblicare il più possibile crea potenziali bias che comportano una manipolazione conscia o inconscia dei risultati in maniera da farli sembrare positivi. Questo tipo di infrazioni minori inducono raramente al ritiro di un articolo pubblicato che presenta i risultati di uno studio, ma probabilmente distorcono in una certa misura tali risultati. Man mano che il numero di ricerche mediche pubblicate aumenta, si accresce anche la frequenza di errori che vengono scoperti. Secondo una recente analisi apparsa sul numero dell'11 agosto 2011 del Wall Street Journal, il numero degli studi pubblicati sulle riviste scientifiche è aumentato del 44 per cento dal 2001, ma il numero di articoli ritirati a causa delle inesattezze che contenevano è aumentato di quindici volte nello stesso periodo.

Per determinare se tali ritiri erano dovuti a errori o a vere e proprie frodi, R.G. Steen (2010) analizzò 788 studi ritirati nell’ambito della medicina e di altre discipline scientifiche, tra cui la biologia, la chimica, la farmacologia e la fisica. Stimò che circa il 74 per cento di questi erano stati ritirati a causa di semplici errori e il 26 per cento a causa di frodi. Ciò che è ancora più sconcertante è che gli autori che erano già stati scoperti colpevoli di frodi scientifiche erano stati spesso recidivi. Anche il ritardo tra la pubblicazione iniziale e il successivo ritiro è aumentato linearmente, dai 5,25 mesi nel 2000 ai 31,6 mesi nel 2009. Questo lungo ritardo è pericoloso per chi prova a usare tali informazioni nella gestione dei pazienti o per sviluppare ipotesi per ulteriori studi. Sfortunatamente, moltissime istituzioni e riviste scientifiche non hanno le risorse per indagare a fondo sui casi di cattiva scienza e, men che meno, per scoprire errori nel processo di raccolta e analisi dei dati. Fortunatamente, il metodo scientifico si basa quasi sempre sulla replica dei risultati in altre strutture e sulla loro verifica tramite mezzi alternativi. Così, sebbene la scienza sia tutt'altro che perfetta, a lungo termine corregge se stessa.

Fallacie all'interno dei Protocolli di Ricerca

Quando pensiamo a terapie di diverso tipo, un’idea consolidata è che il test controllato in doppio cieco rappresenta il "massimo standard" nell’ambito della ricerca medica, vale a dire la prova migliore che si può usare per dimostrare l'efficacia di ogni tipo di trattamento. Ciò generalmente prevede il reclutamento di un grande numero di volontari che partecipino alla ricerca, che vengono poi divisi a caso in un gruppo "trattato", a cui viene somministrato il trattamento attivo, e un gruppo "di controllo", cui viene somministrata una cura all’apparenza identica ma inattiva, spesso sotto forma di una "falsa" pillola (placebo). Né i soggetti che ricevono le pillole, né quelli che le somministrano, sanno chi riceve la terapia attiva. Nascondere tali informazioni a entrambi i gruppi è detto doppio cieco, e questa procedura è necessaria per assicurare risultati precisi. In questo modo si evita infatti un doppio errore: se i soggetti sapessero che stanno ricevendo un placebo, tenderebbero più probabilmente a dichiarare che la cura non è efficace, rispetto a coloro che credono di ricevere il farmaco "attivo". Anche chi somministra le terapie deve essere tenuto all'oscuro, perché vi è la possibilità che possa far capire ai pazienti, attraverso qualche frase o il "linguaggio del corpo", quale terapia sta somministrando loro, e anche questo porterebbe a viziare i risultati dello studio. Un'altra influenza sconcertante è il cosiddetto "effetto placebo potenziato" (Kirsch 2011), che può far sì che il principio attivo sottoposto a studio appaia esageratamente efficace. Questo effetto si verifica perché i potenziali effetti collaterali delle medicine vengono spiegati ai soggetti prima degli studi. Quando tali effetti si manifestano durante lo studio, i soggetti sono più portati a concludere che stanno ricevendo il farmaco attivo e non il placebo, e ciò li incoraggia a credere di poter ottenere risultati migliori e fornisce una spinta a favore del nuovo farmaco. Dal momento che la maggior parte dei nuovi farmaci producono più effetti collaterali dei placebo, ciò, paradossalmente, falsa i risultati a causa della convinzione che quei soggetti stiano ricevendo la terapia attiva.

Durante uno studio in doppio cieco, i risultati vengono solitamente monitorati da una terza parte che detiene le informazioni in maniera confidenziale. Durante un periodo di osservazione ragionevolmente lungo, i risultati vengono trascritti e analizzati per accertare se il principio attivo abbia ridotto la prevalenza della malattia o meno, attraverso il confronto con il gruppo di controllo. Se l'incidenza della malattia è ridotta, si impiegano metodi statistici per determinare quanto è probabile che tale riduzione si possa essere verificata unicamente per caso. In generale, se l'analisi rivela una probabilità inferiore al 5 per cento, il principio in questione viene dichiarato efficace. Anche in tal caso, i risultati di questi studi singoli non sono solitamente considerati prove certe, finché altri ricercatori che lavorano in altri luoghi confermano i risultati in maniera indipendente.

Molte delle tecniche per mantenere gli studi in cieco sono tutto fuorché ideali. Boutron et al. (2006) hanno analizzato un gran numero di studi e hanno scoperto che erano carenti nel descrivere tali tecniche, e che presentavano errori nel disegno della ricerca. Hanno anche evidenziato che è molto probabile che i risultati siano viziati se riguardano esiti soggettivi, come il dolore o la depressione, rispetto a esiti obiettivi quali attacchi di cuore o cancro. Alcuni protocolli di ricerca, inoltre, non possono avvalersi del doppio cieco, perché il personale che somministra la cura sa a quale gruppo vengono assegnati i singoli soggetti, come nel caso dell'agopuntura, descritto di seguito.

Risultati Viziati e Cattiva Gestione

Nel caso dei test sui farmaci, ho già descritto le insidie che possono condurre a credere efficaci delle terapie che sono in realtà inadeguate. Nonostante queste riserve, se questi test sono davvero in doppio cieco e se vengono documentati in maniera completa, è probabile che riflettano il vero effetto di un trattamento, se questo è presente.

Occupiamoci più da vicino di un altro argomento che va di moda: l'agopuntura. Nonostante questa forma di "terapia" esista da secoli, negli ultimi anni ha ottenuto sempre maggior notorietà. Sebbene manchi di plausibilità da un punto di vista biologico, questa procedura è stata pubblicizzata come rimedio per ogni genere di malattie e disturbi, che vanno dai dolori in ogni parte del corpo all'indigestione, alla sindrome del colon irritabile, all'asma, alle malattie polmonari croniche e molte altre, troppe per elencarle tutte.

Un vero "doppio cieco" nel caso dell'agopuntura è teoricamente impossibile per due motivi: 1) Gli esperti in agopuntura sono gli stessi che applicano regolarmente la tecnica nei protocolli di ricerca. Ciò introduce un bias automatico nell’aspettativa di successo di un metodo a cui il terapeuta si affida già, sia dal punto di vista emotivo che finanziario, per guadagnarsi da vivere. Nascondere tali aspettative ai soggetti, per quanto lo si desideri, sarebbe difficile, se non impossibile. 2) Sebbene sia più facile da “tenere nascosto”, è possibile che, almeno in alcuni studi, alcuni partecipanti del gruppo di controllo si accorgano che viene loro applicata una agopuntura finta, vale a dire che vengono utilizzati strumenti non appuntiti o che vengono applicati in punti del corpo non previsti dall'agopuntura. Ciò fornisce un altro potenziale elemento confondente. Va anche considerata l’azione dell'effetto placebo, poiché, come ho indicato in una recente analisi di studi precedenti (Tavel 2014), questo effetto è particolarmente profondo nelle procedure attive che includono "l'imposizione delle mani", come nel caso della chirurgia o dell’agopuntura. Quando si hanno grossi effetti placebo, come quelli generati dall'agopuntura, ogni deviazione dal vero doppio cieco causerà probabilmente una distorsione dei risultati dovuta all'effetto placebo stesso, che potenzierà i benefici apparenti della terapia. Per contro, è molto meno probabile che dei limitati effetti placebo producano deviazioni statisticamente significative nella determinazione della vera efficacia del trattamento.

Da dove ha avuto origine questa tendenza generale a considerare l'agopuntura credibile? Numerosi "studi clinici controllati randomizzati" hanno sbandierato l'apparente efficacia dell'agopuntura e molti di questi sono stati recentemente sottoposti a meta analisi (Vickers et al. 2012). Vickers e colleghi hanno concluso: "Le differenze significative tra l'agopuntura vera e quella finta indicano che l’agopuntura è più di un placebo. Tuttavia, tali differenze sono relativamente modeste e suggeriscono che altri fattori, oltre agli effetti specifici degli aghi, contribuiscono in maniera significativa agli effetti terapeutici dell'agopuntura."

Già solo questa affermazione deve essere considerata un campanello d'allarme per chiunque sia critico nei confronti di una tale meta-analisi, per le ragioni che ho indicato.

Dal momento che ha raggiunto una certa credibilità, l'agopuntura viene impiegata regolarmente dai medici "alternativi" e, probabilmente, si è conquistata in maniera irreversibile uno spazio nella nostra società.

Per completare questo quadro di illusioni, cito Mielczarck ed Engler (2014), i quali hanno evidenziato che, a partire dal 1999, le scuole di naturopati, agopuntori, chiropratici e medici di medicina orientale hanno ricevuto negli Stati Uniti oltre 2 miliardi di dollari in finanziamenti federali; ciò significa che persino il governo statunitense sta tacitamente omologando tali metodi discutibili. Inoltre, molti servizi assicurativi privati rimborsano le spese per l'agopuntura, anche se al momento Medicare (il programma di assicurazione medica amministrato dal governo degli Stati Uniti, NdR) non fornisce rimborsi per questo trattamento. Ciò significa che siamo sulla buona strada per esporre l'intero pubblico a un enorme (e costoso) effetto placebo, mettendolo alla mercè di medici non convenzionali, il tutto sulla base di report di ricerca che molto probabilmente sono viziati dagli errori descritti in questo articolo! Sfortunatamente, temo che il treno sia già partito.

Quali strategie di azione?

Cosa possono fare i medici e il pubblico per affrontare le costanti ondate di informazioni false, fuorvianti e potenzialmente pericolose?

Per prima cosa, bisogna essere scettici riguardo ai cosiddetti studi controllati randomizzati e alle meta analisi su cui tali informazioni si basano. La pubblicazione di notizie relative alla ritrattazione di ricerche errate aiuta, almeno perché incoraggia i ricercatori onesti a prestare maggiore attenzione negli studi futuri. Per ovvi motivi, accelerare il processo di pubblicazione di risultati negativi sarebbe un passo nella giusta direzione. Costringere i finanziatori delle ricerche a rivelare i risultati di tutti i trial clinici che hanno condotto, che siano stati pubblicati in riviste che si basano sul meccanismo della revisione degli articoli da parte di esperti indipendenti prima della pubblicazione o meno, è un passo necessario.

La cosa forse più importante è che la professione medica e il grande pubblico siano fortemente scettici nei confronti di notizie che raccontano di successi miracolosi o rivoluzioni nell’ambito della medicina scientifica. Quando gli studi raggiungono il pubblico, la migliore linea da tenere è quella di esercitare il dubbio ed evitare di agire immediatamente. Dobbiamo attendere sufficientemente a lungo per consentire la conferma o la smentita degli articoli scientifici su cui si basano le notizie mass-mediatiche o, in alcuni casi, per scoprire gli illeciti che vi si nascondevano.

Note

Pubblicato su Skeptical Inquirer 39, 3, 2015. Si ringrazia l'editore per aver concesso il diritto di riproduzione.

Riferimenti bibliografici

• Boutron, I ,C Estellar, L. Guittet, et al. 2006. Method of blinding in reports of randomized controlled trials assessing pharmacologic treatments: A systematic review. PLsS Med Ottobre 3(10): c425.
• Dwan, K., C. Gamble, P.R. Williamson, et al. 2013. Systematic review of the empirical evidence of study publication bias and outcome reporting bias - An updated review. Pubblicato online il 5 luglio 2013. 10.1371/journal.pone.0066B44PMCID: PMC3702538.
• Gleason, B. 2011. Surge in scientific retractions raises troubling questions. Wall Street Journal (11 agosto).
• Jones, C.W., L. Handler, K.E. Crowell, et al. 2013. Nonpublication of large randomized clinical trials: cross sectional analysis. British Medical Journal 347: f6104.
• Kicinski, M. 2014. How docs under-reporting of negative and inconclusive results affect the false-positive rate in meta-analysis? A simulation study. BMJ Open 4(8): c004831
• Kirsch, I. 2011. The Emperor's New Drugs: Exploding the Antidepressant Myth, Basic Books, New York.
• Mielczarck, E.V., and B.D. Engler. 2014. Selling pseudoscience: A rent in the fabric of American medicine, Skeptical Inquirer 38 44-45.
• Riveros, C,, A. Dechartres, E. Porrodeau, et al. 2013. Timing and completeness of trial results posted at ClinicalTrials.gov and published in journals, PLoSMed 10(12) (December): cl001566.
• Steen, R.G, 2010. Misinformation in the medical literature: What role do error and fraud play? Journal of Medical Ethics, 038125.
• Tavel, M.E. 2014. The placebo effect: the good, the bad, and the ugly, American Journal of Medicine 127(6):484-488,
• Vickers, A.J., A.M. Cronin, A.C. Maschino, et al. 2012. Acupuncture for chronic pain. Individual patient data metaanalysis, Archives of internal Medicine 172(19):1444-1453.
• Wolford, B. 2014. Big Pharma plays hid-the-ball with data. Newsweek (13 novembre).
• Yavchitz, A., I. Boutron, A. Bafeta, et al. 2012. Misrepresentation of randomized controlled trials in press releases and news coverage: A cohort study. PLoS Med 9(9) (Settembre); cl001308.