Brain Gym® è un controverso sistema di esercizi che dovrebbe aumentare la rendita scolastica degli alunni. Sul sito di Brain Gym® si dichiara come non siano stati condotti studi randomizzati controllati (RTC, Randomized Controlled Trials) per verificarne l’efficacia dato che questi trial randomizzati contrasterebbero con «l’etica di offrire a tutti i partecipanti le stesse possibilità» (Brain Gym® International, 2011). A prescindere da quanto ognuno di noi creda ad un trattamento – sia questo penicillina o Brain Gym® - gli studi randomizzati controllati sono invece uno strumento imprescindibile per verificare l’efficacia di un intervento. Inoltre, ogni studio dovrebbe essere effettuato in “doppio cieco”, cioè nessuno - né i partecipanti stessi, né gli sperimentatori - dovrebbe essere a conoscenza del gruppo sperimentale (e.g. trattamento o gruppo di controllo) al quale i partecipanti sono stati assegnati (si veda la voce “doppio cieco” dell’enciclopedia del CICAP^[1]).

Questo vale anche per i farmaci proposti per alleviare i sintomi da malattia di Alzheimer, una forma di demenza grave e progressiva che colpisce soprattutto gli anziani, caratterizzata dalla perdita delle facoltà mentali quali la memoria. Se un trattamento si dimostra efficace, cioè se dimostra davvero di migliorare i sintomi dei pazienti affetti da demenza, allora viene distribuito nelle farmacie e pagato con le tasse dei cittadini.

La storia non é però così semplice. Recentemente sono stati pubblicati alcuni studi che hanno evidenziato come il bere cioccolata possa migliorare i sintomi della demenza. Il cioccolato è una fonte di flavonoidi, composti naturali che vengono associati ad una lunga lista di benefici, dalla riduzione del rischio di tumore all’incremento di forza e connessioni neurali. Nel 2012, Desideri e colleghi hanno studiato gli effetti dei flavonoidi sulle funzioni mentali somministrando bevande a base di latte e cioccolato a pazienti a rischio di demenza. Hanno usato uno studio in doppio cieco, ed hanno ottenuto un risultato positivo: il cioccolato migliorava le funzioni cognitive dei pazienti.

Questi risultati, amplificati anche dalla pubblicità dell’università dove è stato condotto lo studio, sono subito stati ripresi dalla stampa che ha fatto da altoparlante alla notizia “scientifica” che il cioccolato può arrestare la demenza (si veda la Figura 1). La notizia è stata accolta con particolare favore dalla Mars Inc., che ha sponsorizzato lo studio e fornito le bevande al cioccolato utilizzate nella sperimentazione. I pazienti ed i loro famigliari potrebbero aumentare il consumo di cioccolato nella speranza di ridurre i danni causati dalla demenza.

Questi risultati positivi improbabili circa gli effetti della cioccolata sui sintomi della demenza mostrano l'insidia rappresentata dai finanziamenti industriali nella sponsorizzazione degli studi clinici. Il paradosso é che pur trattandosi di studi controllati randomizzati, condotti in doppio cieco, studi che sono sponsorizzati dalla stessa industria che produce la sostanza oggetto di studio hanno una probabilità maggiore di generare risultati positivi rispetto a studi condotti da un’organizzazione indipendente.

Questo possibile bias non appare così cruciale se si tratta solo di far bere un po' più di cioccolata. Il giudizio è però diverso se si considera come un'azienda possa influenzare i risultati di trattamenti ed interventi di carattere sanitario e quindi avere un impatto significativo sulla qualità della salute pubblica.

Nella nostra esperienza, abbiamo riscontrato l’ingerenza degli interessi industriali negli studi sul donepezil, un farmaco prescritto anche in Italia per il trattamento dei casi medio-gravi di malattia di Alzheimer. Studi randomizzati in doppio cieco sponsorizzati dalla casa farmaceutica che produce il donepezil hanno riportato, in media, effetti positivi più evidenti rispetto agli effetti osservati in studi indipendenti (Killin, Russ, Starr, Abrahams & Della Sala, 2014).

Quello sul donepezil non è un risultato isolato. I bias derivanti dalle fonti di finanziamento sono da tempo un problema cruciale della sperimentazione farmaceutica. Le conseguenze sono evidenti: i trial clinici finanziati da case farmaceutiche hanno una probabilità maggiore di mostrare effetti terapeutici positivi rispetto a quelli finanziati da organizzazioni indipendenti.

L’ingerenza degli interessi dei finanziatori sui risultati degli studi clinici si ripercuote a cascata sulle revisioni sistematiche e sulle meta-analisi. La meta-analisi è una tecnica statistica che mette insieme vari studi clinici condotti per valutare un determinato intervento al fine di permettere una sintesi solida dei loro risultati. Una meta-analisi quindi considera tutti gli studi su un dato intervento allo scopo di fornire un'indicazione dei suoi effetti rispetto ad un intervento di controllo o al placebo; ma i dati vengono spesso inclusi nelle meta-analisi senza tener conto delle fonti di finanziamento. Nella Figura 2 sono riportati i risultati di una meta-analisi; appare evidente che l’effetto medio, rappresentato dal rombo nero, cioè l’effetto considerando l’insieme di tutti gli studi (sia quelli finanziati dall’industria sia quelli indipendenti) é influenzato dall’effetto positivo degli studi clinici finanziati dall’industria, e quindi ci indirizza alla conclusione che il farmaco sia più efficace di quanto probabilmente sia in realtà.

Quando studi diversi vengono messi insieme senza tener conto delle fonti di finanziamento, l'effetto complessivo del trattamento è nel migliore dei casi leggermente falsato, nel peggiore totalmente fuorviante. Studi indipendenti hanno dimostrato, per esempio, che il tabacco é un fattore di rischio per la malattia di Alzheimer. Studi finanziati dalle industrie produttrici di tabacco non hanno invece evidenziato il medesimo rischio da fumo. Se queste due fonti contraddittorie vengono combinate in una meta-analisi, si ottiene erroneamente un risultato nullo, lasciandoci credere che il fumo non sia un fattore di rischio per la malattia di Alzheimer (Cataldo e colleghi, 2010).

Occorre cautela nell’interpretazione di risultati pubblicati da coloro che potrebbero trarre vantaggio dal convincere i lettori che il loro prodotto funzioni. Questa osservazione non si limita a dati relativi ai farmaci. Svariati studi psicologici valutano una sterminata serie di metodologie educative o di generici programmi di allenamento cognitivo, i cosiddetti “brain training” per i quali la possibilità di un bias dovuto alla fonte di finanziamento dello studio é un rischio oggettivo.

Uno caso recente prende in esame il Cogmed, un programma di allenamento cerebrale che, fra le altre cose, afferma di sfruttare la plasticità della memoria per alleviare i disturbi di apprendimento legati alla ADHD, Attention Deficit Hyperactivity Disorder (in italiano Sindrome da deficit di attenzione e iperattività). Questo metodo ha dimostrato scarsa efficacia sul miglioramento della memoria e non ha dimostrato effetti apprezzabili nei portatori di ADHD (Chack e colleghi, 2103). È curioso notare che le conclusioni degli studi indipendenti sono in netto contrasto con gli studi precedenti, condotti da autori con chiari interessi legati al programma Cogmed e quindi con un evidente conflitto d’interesse.

Lo stesso vale per Brain Gym®, il programma di allenamento mentale a cui accennavamo all’inizio di questo articolo. La maggioranza degli studi che forniscono prove a sostengo dell’efficacia di Brain Gym® é pubblicata nel Brain Gym® Journal oppure nel Brain Gym® Magazine, riviste entrambe finanziate e sostenute dai proponenti di questa tecnica, e quindi ancora una volta con un chiaro conflitto d’interessi. In un controllo formale non siamo riusciti a trovare un solo studio che dimostri l’efficacia di Brain Gym® che sia stato condotto in accordo con le attuali metodologie scientifiche e sia stato pubblicato in riviste peer-reviewed (Ritchie e colleghi, 2012).

Cogmed o Brain Gym®, sono solo due esempi di come l’industria del brain training millanti risultati che spesso non esistono nella misura in cui ci vengono presentati. Questi programmi di allenamento cerebrale generano per lo più effetti tangibili solo relativi a quegli stessi esercizi usati nel programma di allenamento, ma non producono alcun effetto rilevante che possa essere generalizzato. In altre parole, si impara a fare meglio il compito che ci viene proposto, ma non si migliora la memoria né la competenza cognitiva generale, né tantomeno si rallenta l’invecchiamento cerebrale. Si legga a questo proposito l’intervista a Randy Engle su Query n. 21.

Volendo essere cinici, potremmo dire di non esserne affatto sorpresi. Scientificamente, tuttavia, dovremmo essere perplessi. Come è possibile che questi bias perdurino anche in studi in doppio cieco? La logica di questi studi è proprio quella di fornire risultati validi ed affidabili, esenti dalle influenze degli sperimentatori. Se uno studio é in doppio cieco, recita il mantra scientifico, il rischio di una possibile manipolazione è ridotto. Da dove deriva allora la mole continua di dati a sostegno di questo o quel business?

Bias di pubblicazione

Potrebbe trattarsi benissimo di un altro tipo di bias: il bias di pubblicazione. Il bias di pubblicazione deriva dalla consuetudine a favorire la pubblicazione e quindi la diffusione di risultati positivi rispetto a risultati nulli o negativi (si veda l’articolo di Stefano Bagnasco su Query n.20). Tra gli studi clinici randomizzati sugli effetti degli antidepressivi sponsorizzati dalle industrie farmaceutiche, circa la metà dimostra risultati positivi, mentre l’altra metà riporta conclusioni negative, cioè non dimostra la superiorità del farmaco rispetto al placebo. Succede spesso che gli studi randomizzati con risultati 'negativi' vengano ignorati e non pubblicati, oppure pubblicati solo tardivamente, condizionando così lo sviluppo della conoscenza scientifica. Gli studi clinici randomizzati in doppio cieco vengono pianificati e realizzati, ma i loro risultati non vengono divulgati. La manipolazione avverrebbe cioè in fase di pubblicazione dei dati.

Scelta di quali risultati utilizzare

Abbiamo visto che, nonostante l’accurata pianificazione, non esistono garanzie che uno studio clinico funzioni. Un esperimento mancato potrebbe essere un fallimento molto costoso, sia in termini economici che in termini di risorse e tempo investiti. Cosa fare se uno studio clinico triennale che ha coinvolto parecchi centri di sperimentazione non produce i risultati sperati? La soluzione in mano agli sponsors interessati non é solo il bias di pubblicazione, ma anche una più arguta: la selezione dei dati da divulgare, tenendo nel cassetto quelli che contrasterebbero con gli interessi del finanziatore.

Se i dati raccolti sono sufficienti si ha la possibilità di “massaggiare” (come si dice in gergo) i risultati per selezionare quelli più convenienti, in barba ai principi degli studi clinici. Le sperimentazioni di anti-depressivi hanno dimostrato come alcuni studi finanziati da aziende farmaceutiche non avessero prodotto degli effetti statisticamente rilevanti per quanto riguarda la misura primaria considerata. Quindi, la variabile inizialmente scelta come importante venne archiviata e nelle pubblicazioni si utilizzò una misura diversa che, casualmente, aveva prodotto risultati positivi e significativi.

Questo comportamento delle industrie é stato messo in evidenza dalla corrispondenza intercorsa tra le aziende produttrici di tabacco e i ricercatori dello studio epidemiologico conosciuto come Framingham Heart Study. Il Framingham Heart Study prende il suo nome dalla città di Framingham in Massachusetts, dove nel 1948 viene avviato un pregevole studio longitudinale che si propone di seguire nel tempo (longitudinalmente) migliaia di persone per studiare i fattori di rischio connessi alle malattie cardio-vascolari.

L’industria del tabacco riuscì ad ottenere l’accesso a questi dati in cambio di finanziamenti al progetto. Ma i soldi delle industrie del tabacco contaminarono i dati prodotti dal Framingham Heart Study, che vennero re-interpretati ad hoc per concludere che non esisteva nessun effetto negativo del tabacco sulle malattie coronariche. Cioè i finanziamenti dell’industria del tabacco permisero di mascherare i gravi effetti del tabagismo come causa di malattie cardiache. In particolare, un’analisi parziale dei dati raccolti mostrò come alcuni individui possano essere naturalmente predisposti a patologie coronariche, spostando così l’attenzione dall’ipotesi originaria che il tabacco fosse una possibile causa di malattia coronaria. Come vedete, gli stessi dati possono produrre risultati contrastanti, a seconda di come li si interpreti ed analizzi.

Ignorare le critiche

Effetti positivi forniti da studi sponsorizzati da aziende o gruppi che hanno interessi specifici a conseguire determinati risultati, possono anche derivare da carenze metodologiche, nonostante si tratti di studi clinici randomizzati. In questi casi, la discussione scientifica che precede e segue la pubblicazione dei risultati coglie queste imperfezioni, che dovrebbero essere corrette dai ricercatori.

Quanto poco però chi ha interessi extra-scientifici prenda in considerazione queste critiche risulta chiaro dalla vicenda relativa agli studi che valutano i potenziali benefici sulla salute derivanti dalla meditazione trascendentale. L’uso di questa tecnica suggeriva inizialmente dei possibili effetti positivi sulla pressione del sangue. Canter ed Ernst (2004) hanno analizzato criticamente gli studi sulla meditazione trascendentale dimostrando come i risultati positivi ottenuti potevano essere causati dalla scelta di gruppi di controllo non adeguati e dalle differenze tra i gruppi sperimentali, incluse le medicine per controllare la pressione che i partecipanti assumevano! Sollevarono cioè critiche serie ai risultati positivi della meditazione trascendentale che potrebbero essere dovuti a bias di campionamento. Successivamente alla pubblicazione di queste critiche, Anderson, Liu e Kryscio (2008) hanno prodotto un’altra meta-analisi sui possibili effetti della meditazione trascendentale sulla pressione del sangue. Questi autori, al contrario di Canter ed Ernst, hanno concluso che la meditazione migliora la pressione del sangue. A differenza delle analisi precedenti condotte da gruppi indipendenti da interessi economici, questa meta-analisi venne finanziata con una generosa donazione del dottor Howard Settle, personalmente coinvolto nella costruzione di centri di meditazione trascendentale in tutto il Nord America.

Che fare?

È necessario limitare l’influenza di finanziatori e sponsorizzatori con evidenti conflitti d’interesse, ed evitare che interessi esterni alla scienza possano controllarne i risultati. In Europa, passi avanti in questo senso iniziano a compiersi. Recentemente il Parlamento Europeo ha votato a favore del “Regolamento sugli Studi Clinici”, proposto per assicurare che le sperimentazioni siano pre-registrate, cioè che si denunci la loro esistenza prima della loro esecuzione, e che i risultati nel loro complesso siano pubblicati e spiegati in termini semplici entro un anno dal completamento dello studio medesimo. La pre-registrazione ha lo scopo di ridurre la probabilità dei bias di pubblicazione, degli errori di metodo nel disegno sperimentale e della manipolazione dei dati raccolti, e potrebbe essere uno strumento efficace anche nel campo di altre scienze, incluse le scienze cognitive (Chambers, 2013).

Tuttavia, la comunità scientifica non dovrebbe basarsi unicamente sulle nuove regolamentazioni. I ricercatori dovranno essere scettici rispetto ai risultati sponsorizzati da aziende che hanno interessi specifici.

Le fonti di finanziamento continueranno a contaminare la ricerca scientifica. La proposta della registrazione degli studi clinici potrebbe alleviarne l’impatto, ma resta comunque ferma la necessità di un’attenzione costante. I ricercatori devono mantenersi critici e percorrere strade che evitino bias di pubblicazione e bias metodologici.

Note

Riferimenti bibliografici

• Anderson, J. W., Liu, C., & Kryscio, R. J. (2008). Blood pressure response to transcendental meditation: a meta-analysis. American Journal of Hypertension, 21(3), 310-316.
• Cataldo, J. K., Prochaska, J. J., & Glantz, S. A. (2010). Cigarette smoking is a risk factor for Alzheimer's Disease: an analysis controlling for tobacco industry affiliation. Journal of Alzheimer's Disease, 19(2), 465-480.
• Canter, P. H., & Ernst, E. (2004). Insufficient evidence to conclude whether or not Transcendental Meditation decreases blood pressure: results of a systematic review of randomized clinical trials. Journal of Hypertension, 22(11), 2049-2054.
• Chacko, A., Feirsen, N., Bedard, A. C., Marks, D., Uderman, J. Z., & Chimiklis, A. (2013). Cogmed working memory training for youth with ADHD: A closer examination of efficacy utilizing evidence-based criteria. Journal of Clinical Child & Adolescent Psychology, 42(6), 769-783.
• Chambers, C. D. (2013). Registered Reports: A new publishing initiative at Cortex. Cortex, 49(3), 609-610.
• Desideri, G., Kwik-Uribe, C., Grassi, D., Necozione, S., Ghiadoni, L., Mastroiacovo, D., ... & Ferri, C. (2012). Benefits in cognitive function, blood pressure, and insulin resistance through cocoa flavanol consumption in elderly subjects with mild cognitive impairment. The Cocoa, Cognition, and Aging (CoCoA) Study. Hypertension, 60(3), 794-801.
• Killin, L. O., Russ, T. C., Starr, J. M., Abrahams, S., & Della Sala, S. (2014). The effect of funding sources on donepezil randomised controlled trial outcome: a meta-analysis. BMJ Open, 4(4), e004083.
• Ritchie, S.J., Chudler, E.H. & Della Sala, S. (2012) Don’t try this at school: the attraction of 'alternativè educational techniques. In Della Sala, S. & Anderson, M. (Eds.) Neuroscience in Education: the good, the bad and the ugly. Oxford University Press, pp. 244-264.