Capita spesso di leggere, su riviste o quotidiani, che essere bilingui, cioè conoscere ed usare più di una lingua, oltre agli evidenti vantaggi linguistici determinerebbe anche dei vantaggi intellettuali: i bilingui avrebbero capacità cognitive più efficienti. Questa affermazione è stata ampiamente diffusa dalla stampa italiana[1] (Figura 1) ed è spesso usata per promuovere programmi o servizi a pagamento - che spaziano da corsi di lingue, all’offerta di babysitter bilingui - ma è diffusa anche nel mondo accademico.
È lapalissiano come un’affermazione del compianto Massimo Catalano che parlare più di una lingua è meglio che parlarne una sola. È anche banale che il bilinguismo produca vantaggi extra verbali, come la gioia di socializzare con persone straniere, la possibilità di godere di un romanzo in lingua originale o di allargare i propri orizzonti culturali. Il punto in discussione però è che si è affermata l’idea di un supposto vantaggio intellettivo prodotto dal bilinguismo. Come spesso accade, idee semplici, che offrono ricette comprensibili e di apparente buon senso, hanno presa immediata sul pubblico e sono fomentate dai ricercatori.
In un recente lavoro pubblicato su Psychological Science dimostriamo però che tutto questo clamore sui vantaggi del bilinguismo potrebbe essere causato da un bias di pubblicazione originato proprio dalla comunità scientifica (per saperne di più sui bias di pubblicazione si legga la rubrica Toolbox di Stefano Bagnasco su Query, ed in particolare l’articolo sul n. 20).
Da anni studiamo gli effetti non verbali del bilinguismo. Abbiamo fatto parecchi esperimenti e ne abbiamo pubblicato i risultati su riviste scientifiche. Ci siamo accorti però che ci era molto più facile pubblicare risultati positivi, cioè che confermavano che i bilingui hanno anche vantaggi cognitivi extraverbali, piuttosto che risultati negativi, cioè che contrastavano questa ipotesi. Ci siamo allora chiesti se un simile bias fosse generalizzato anche agli altri ricercatori, e se questo bias potesse aver contribuito a costruire un quadro troppo ottimistico di questi supposti vantaggi del bilinguismo. Quindi siamo andati a vedere.
Secondo i titoli dei giornali riportati nella Figura 1, il bilinguismo rende le persone più intelligenti e più sane. Nonostante il loro tono esagerato, questi titoli sono basati su studi scientifici che mostrano che i bilingui hanno un vantaggio cognitivo rispetto a chi parla una sola lingua. In questi studi si spiega che i bilingui sanno sopprimere meglio le informazioni irrilevanti, sanno passare meglio da un compito all’altro, e hanno una maggiore flessibilità cognitiva. Nella speranza di rendere il proprio bambino più intelligente, i genitori cercano sempre più spesso bambinaie bilingui che possano insegnare ai loro figli una seconda lingua.
Il dato secondo cui il bilinguismo può ritardare l'insorgenza della demenza di cinque anni è stato inoltre utilizzato dalle aziende per incoraggiare la gente a comprare i loro software per l’apprendimento delle lingue, di nuovo con titoli accattivanti come “Preoccupato per il morbo di Alzheimer? Impara una seconda lingua” (si vedano ad esempio i siti web di Rosetta Stone e Babbel.com). Ma è vero che i bilingui hanno un rilevante vantaggio nelle prestazioni cognitive rispetto ai monolingui? È davvero questa la corretta interpretazione di tutti gli studi su questo argomento?
Bias nell’interpretazione dei dati si verificano nei più diversi ambiti di ricerca scientifica. Uno di questi è il cosiddetto bias di pubblicazione: la tendenza per cui uno studio che presenta risultati positivi ha maggiori probabilità di essere pubblicato rispetto a uno che presenta risultati nulli o negativi, a parità di qualità e metodologia. In questo articolo, discuteremo di come questo bias abbia enfiato le prove che dimostrano i vantaggi del bilinguismo.
I primi studi che hanno mostrato gli effetti positivi del bilinguismo si sono avvalsi dei cosiddetti “compiti di inibizione”. Si chiede cioè ai soggetti di sopprimere le informazioni irrilevanti per lo svolgimento di un certo compito (Bialystok et al., 2004). La spiegazione della maggiore capacità dei bilingui di sopprimere tali informazioni si basa sulla constatazione che i bilingui devono costantemente controllare le due lingue che sanno parlare. Le due lingue di un bilingue sono apparentemente sempre attive, anche se è necessario usare una sola lingua alla volta. Così, quando un bilingue vuole parlare in una lingua, l’altra lingua deve essere soppressa. Ad esempio, quando un bilingue francese-italiano deve dire “cane”, non solo è fondamentale che selezioni la parola italiana, ma è anche necessario che sopprima la parola francese chien.
I vantaggi per i bilingui non sono stati trovati solo nell’ambito dell’inibizione, ma anche in compiti che prevedono di dover passare da un’attività ad un’altra. Quando è stato chiesto a bilingui e monolingui di mettere In ordine degli stimoli in base alla loro forma o al loro colore, i bilingui sono stati più veloci dei monolingui nel passaggio tra decisioni basate sulla forma a decisioni basate sul colore degli stimoli. Questo potrebbe essere spiegato con il fatto che i bilingui si possono trovare ad effettuare il passaggio da una lingua all’altra: i bilingui che fanno spesso passaggi tra le loro due lingue possono anche essere più capaci di fare passaggi più rapidi tra differenti compiti non verbali.
Più di recente, alcuni ricercatori hanno sostenuto che il vantaggio che ha un bilingue è di tipo più generale, va cioè al di là delle prestazioni che si mettono in atto in un singolo ambito esecutivo, come è il caso della soppressione di informazioni o del passaggio da un compito ad un altro. Piuttosto, il vantaggio potrebbe estendersi al 'controllo dei conflitti', al 'coordinamento', o alla 'flessibilità mentale': tutti termini che sono stati utilizzati per sostenere che i bilingui sono generalmente migliori rispetto ai monolingui nel monitorare e risolvere i conflitti. Ma forse il risultato più sorprendente emerso nel confrontare bilingui e monolingui riguarda la constatazione che il bilinguismo può ritardare di circa 4-5 anni l'insorgenza della demenza (ad esempio, Alladi et al., 2013).
Questi effetti benefici del bilinguismo, che vengono spacciati per assodati, potrebbero avere importanti implicazioni pratiche e sociali. Tuttavia, molti altri studi non hanno riscontrato alcun effetto del bilinguismo nel migliorare le capacità cognitive. Analogamente, anche gli effetti nel ritardare la demenza sono stati contestati (ad esempio, Lawton et al., 2014). Così, nonostante gli studi iniziali mostrino evidenti effetti del bilinguismo, gli studi più recenti non hanno osservato effetti positivi del bilinguismo o li hanno riscontrati solo in circostanze limitate. Paap et al. (2015) hanno stimato che l'80% degli studi condotti dopo il 2011 non ha mostrato alcun effetto positivo del bilinguismo. Sembra quindi che vi sia un passaggio da studi che mostrano forti effetti del bilinguismo a studi più recenti che contestano questo vantaggio.
Per indagare questo apparente cambiamento nei risultati di ricerca, abbiamo analizzato tutti gli studi che hanno testato gli effetti del bilinguismo sul controllo esecutivo pubblicati tra il 2004 e il 2014 (de Bruin & Della Sala, 2015). Abbiamo classificato gli studi sulla base dei risultati: “a favore” o “contro” l’ipotesi di un vantaggio dei bilingui. La Figura 2 mostra come la proporzione sia cambiata nel tempo. Come si vede, la maggior parte degli studi iniziali sostenne questa ipotesi, il quadro appare però più equilibrato in questi ultimi anni.
Questo fenomeno di diminuzione degli studi “a favore” di una data ipotesi con il trascorrere del tempo non è raro ed è stato osservato in diversi ambiti di ricerca. È stato definito l'effetto declino ed è stato descritto in vari campi. Ad esempio, le prove a favore di un trattamento per l’autismo che viene tuttora ampiamente utilizzato stanno ora diminuendo (Carter et al., 2011). Analogamente, le prime ricerche hanno dimostrato che la depressione è più spesso associata con ictus che colpiscono l'emisfero sinistro rispetto a quello destro, mentre successive revisioni sistematiche della letteratura non hanno mostrato alcun effetto sulla depressione dovuto all’emisfero cerebrale colpito dall’ictus (Carson et al., 2000). Questo effetto declino è stato osservato anche nell’ambito di studi di psicologia clinica (Ioannidis, 2006) e sperimentale (Francis, 2012).
Sono state suggerite diverse ragioni per spiegare questo effetto declino. La ‘regressione alla media’ è la spiegazione statistica più comune. Un primo studio potrebbe presentare risultati troppo positivi a causa di errori. In studi successivi, le auto-correzioni cui é capace la scienza, dovrebbero portare a valori più vicini alla media. Nel campo del bilinguismo, l’emergere di studi che non provano a replicare direttamente quelli precedenti, ma che indagano nuovi compiti che dovrebbero rientrare nello stesso dominio concettuale, può essere un'altra spiegazione per l'aumento di risultati nulli.
Altri autori hanno rilevato come un altro possibile meccanismo sottostante l’effetto declino sia il modo in cui le ricerche sono state condotte e gli errori connessi a tale conduzione. Gli studi iniziali si basano in genere su campioni di dimensioni più piccole, mentre quelli successivi tendono a includere un numero maggiore di partecipanti. In generale, al crescere delle dimensioni degli studi le dimensioni dell'effetto che si osservano sono più piccole, il che potrebbe spiegare perché gli studi successivi con più partecipanti riportano anche effetti più piccoli.
Negli articoli spesso vengono descritti i risultati di un solo esperimento senza replicazioni. Questo singolo esperimento con un piccolo numero di partecipanti può indurre a credere che si sia di fronte ad un effetto rilevante. Tuttavia, se questo risultato positivo è dovuto ad errori, gli studi successivi non otterranno effetti di dimensioni analoghe, o non riscontreranno alcun effetto.
Un altro bias di cui hanno parlato molti autori, è il bias di pubblicazione. Quando un’ipotesi viene testata per la prima volta, può essere più facile pubblicare un articolo che presenti risultati positivi che mostrano grandi dimensioni dell'effetto. Infatti i risultati nulli non sono interessanti finché non esiste alcuna prova dell'esistenza di un certo fenomeno. Tuttavia, i risultati nulli possono diventare più interessanti e più facili da pubblicare una volta che si è in presenza di una teoria più consolidata.
Abbiamo quindi voluto indagare se il bias di pubblicazione abbia potuto ingrandire l’apparente effetto positivo del bilinguismo (de Bruin et al., 2015). Abbiamo raccolto gli abstract che descrivevano studi sul tema del bilinguismo e del controllo esecutivo presentati a 169 convegni scientifici tra il 1999 e il 2012. Abbiamo classificato questi abstract in studi a sostegno del vantaggio del bilinguismo e studi che negavano l’esistenza di un simile vantaggio.
In una seconda fase, abbiamo controllato quali dei risultati presentati negli abstract sono stati poi pubblicati in una rivista scientifica. In totale, la metà dei risultati sono stati pubblicati in una rivista. Mentre il 68% degli studi che sostengono pienamente il vantaggio del bilinguismo sono stati pubblicati, solo il 29% degli studi completamente negativi lo sono stati. C'è dunque una netta differenza nelle percentuali di pubblicazione a seconda del risultato degli studi. Gli studi che negano l’ipotesi del vantaggio del bilinguismo hanno meno probabilità di essere pubblicati rispetto agli studi che sostengono, in tutto o in parte, questa idea (vedi Figura 3).
Talvolta, gli studi presentati alle conferenze scientifiche non vengono pubblicati per qualche buon motivo. I ricercatori possono eseguire un esperimento unicamente per testare una nuova idea o un nuovo compito, o il disegno della ricerca può essere imperfetto. Oppure possono non aver testato un numero sufficiente di partecipanti per trarre conclusioni affidabili e aver pertanto deciso di non pubblicare i loro risultati. Nella nostra analisi, abbiamo quindi voluto verificare l’esistenza di potenziali differenze tra gli studi presentati sul bilinguismo. Sia gli studi contrari che quelli favorevoli all’ipotesi del vantaggio utilizzavano compiti molto simili e un numero simile di partecipanti; non vi erano inoltre differenze relative all’anno in cui lo studio era stato presentato alla conferenza o nella possibilità che lo studio rilevasse un effetto. Pertanto, le differenze nella probabilità di pubblicazione non erano dovute a differenze di qualità.
Un bias di pubblicazione potrebbe essere intervenuto in diverse fasi del processo di scrittura e di pubblicazione di un articolo. I ricercatori possono decidere di non pubblicare determinati dati, perché li ritengono poco interessanti o perché i risultati non trovano una corrispondenza nel loro quadro teorico. I revisori degli articoli e gli editors delle riviste possono essere inoltre più propensi a rifiutare articoli che presentino dati nulli e negativi rispetto ad articoli che presentano dati positivi. Tali rifiuti sono spesso basati sull'idea che i risultati nulli non siano abbastanza interessanti, o che siano dovuti ad imperfezioni degli esperimenti, o al fatto che il campione dei partecipanti era piccolo.
La decisione di pubblicare alcuni, ma non tutti, gli studi a seconda del tipo di risultato costituisce un grosso problema per una adeguata interpretazione dei dati in qualsiasi campo. Un bias di pubblicazione non significa che un effetto non esiste, perché non inficia direttamente la qualità dei risultati pubblicati. Tuttavia, un bias di pubblicazione determina una rappresentazione distorta degli effetti reali. Anche se abbiamo considerato la letteratura scientifica sul tema ‘bilinguismo e controllo esecutivo’ a titolo di esempio, il bias di pubblicazione è un fenomeno che riguarda molte aree della ricerca.
Gli effetti di questo problema possono essere più gravi negli studi in ambito medico. Ad esempio, il farmaco Tamiflu, che viene usato come terapia contro l'influenza, venne approvato dopo che diversi studi clinici avevano dimostrato che funzionava. Cinque anni più tardi, quando l’azienda produttrice del farmaco divulgò i risultati di tutti gli studi sul farmaco, si sono scoperti altri settanta studi che non erano stati pubblicati, molti dei quali presentavano risultati negativi o che non consentivano di raggiungere una conclusione chiara. L'inserimento di tali dati, fino a quel momento nascosti, ha consentito di effettuare una analisi più completa, che ha dimostrato che molti dei presunti effetti del Tamiflu non potevano più essere considerati certi (Tavel, 2015).
Il fatto di avere a disposizione solo gli studi che riportano risultati postivi e di leggere solo studi che hanno trovato un effetto ci porterà a credere che un certo effetto è forte e incontrastato. Quello che non sappiamo, però, è quanti studi "falliti", in quanto non mostravano effetti, sono rimasti nascosti in un cassetto. Dobbiamo essere consapevoli che ci sono molti studi ben condotti, che non mostrano effetti e che rimangono inediti - nel campo del bilinguismo, ma forse anche in tutti gli altri campi della ricerca. Questo è un problema per l'interpretazione scientifica di un fenomeno.
I risultati di una meta-analisi non sono affidabili quando si basano solo sugli studi pubblicati. Potremo discutere degli effetti del bilinguismo solo quando avremo accesso a tutti i risultati delle ricerche, e non solo a quelli che mostrano l’esistenza di un vantaggio. Analogamente, anche se un effetto esiste, i risultati nulli o negativi possono aiutare i ricercatori a determinarne i limiti. Nel caso del potenziale vantaggio del bilinguismo, noi ora sappiamo che nella migliore delle ipotesi questo effetto è estremamente limitato. È stato trovato in alcuni studi, ma non è stato trovato in molti altri.
Un bias di pubblicazione non costituisce un problema solo per la comunità scientifica, ma anche per la società nel suo complesso. L'idea di un potenziale vantaggio intellettuale del bilinguismo è oggi molto popolare, ha ricevuto molta attenzione dai media ed è utilizzata per incoraggiare le persone ad imparare una seconda lingua. Il bilinguismo e l'apprendimento di una seconda lingua costituiscono un beneficio in se stessi. Permettono di viaggiare in altri Paesi, di conoscere altre culture, di incontrare nuove persone e, possibilmente, di arricchire la propria mente.
Tuttavia, gli argomenti che usiamo nel dibattito pubblico su un tema dovrebbero essere corretti e imparziali. Come scienziati dobbiamo stare attenti quando vendiamo le nostre scoperte scientifiche all’opinione pubblica. Gli studi dimostrano che le esagerazioni che si trovano negli articoli di giornale sono associate ad altrettante esagerazioni nei comunicati stampa scritti dai ricercatori per presentare i propri risultati (Sumner et al., 2014). L’utilizzo di frasi più accurate e precise nei comunicati stampa potrebbe anche far aumentare la precisione dei titoli delle notizie pubblicate dai mass-media.
Le prove a favore di un vantaggio del bilinguismo non sono solide come comunemente si assume. Affinché la ricerca possa progredire, i ricercatori dovrebbero astenersi dal pubblicare solo i risultati che confermano la storia che vogliono raccontare. Essi dovrebbero condividere tutti i dati, indipendentemente dal risultato che hanno ottenuto.
È lapalissiano come un’affermazione del compianto Massimo Catalano che parlare più di una lingua è meglio che parlarne una sola. È anche banale che il bilinguismo produca vantaggi extra verbali, come la gioia di socializzare con persone straniere, la possibilità di godere di un romanzo in lingua originale o di allargare i propri orizzonti culturali. Il punto in discussione però è che si è affermata l’idea di un supposto vantaggio intellettivo prodotto dal bilinguismo. Come spesso accade, idee semplici, che offrono ricette comprensibili e di apparente buon senso, hanno presa immediata sul pubblico e sono fomentate dai ricercatori.
In un recente lavoro pubblicato su Psychological Science dimostriamo però che tutto questo clamore sui vantaggi del bilinguismo potrebbe essere causato da un bias di pubblicazione originato proprio dalla comunità scientifica (per saperne di più sui bias di pubblicazione si legga la rubrica Toolbox di Stefano Bagnasco su Query, ed in particolare l’articolo sul n. 20).
Da anni studiamo gli effetti non verbali del bilinguismo. Abbiamo fatto parecchi esperimenti e ne abbiamo pubblicato i risultati su riviste scientifiche. Ci siamo accorti però che ci era molto più facile pubblicare risultati positivi, cioè che confermavano che i bilingui hanno anche vantaggi cognitivi extraverbali, piuttosto che risultati negativi, cioè che contrastavano questa ipotesi. Ci siamo allora chiesti se un simile bias fosse generalizzato anche agli altri ricercatori, e se questo bias potesse aver contribuito a costruire un quadro troppo ottimistico di questi supposti vantaggi del bilinguismo. Quindi siamo andati a vedere.
Secondo i titoli dei giornali riportati nella Figura 1, il bilinguismo rende le persone più intelligenti e più sane. Nonostante il loro tono esagerato, questi titoli sono basati su studi scientifici che mostrano che i bilingui hanno un vantaggio cognitivo rispetto a chi parla una sola lingua. In questi studi si spiega che i bilingui sanno sopprimere meglio le informazioni irrilevanti, sanno passare meglio da un compito all’altro, e hanno una maggiore flessibilità cognitiva. Nella speranza di rendere il proprio bambino più intelligente, i genitori cercano sempre più spesso bambinaie bilingui che possano insegnare ai loro figli una seconda lingua.
Figura 1. Titoli di articoli che hanno descritto i supposti vantaggi cognitivi del bilinguismo.
Bias nell’interpretazione dei dati si verificano nei più diversi ambiti di ricerca scientifica. Uno di questi è il cosiddetto bias di pubblicazione: la tendenza per cui uno studio che presenta risultati positivi ha maggiori probabilità di essere pubblicato rispetto a uno che presenta risultati nulli o negativi, a parità di qualità e metodologia. In questo articolo, discuteremo di come questo bias abbia enfiato le prove che dimostrano i vantaggi del bilinguismo.
Bilinguismo e controllo esecutivo
I primi studi che hanno mostrato gli effetti positivi del bilinguismo si sono avvalsi dei cosiddetti “compiti di inibizione”. Si chiede cioè ai soggetti di sopprimere le informazioni irrilevanti per lo svolgimento di un certo compito (Bialystok et al., 2004). La spiegazione della maggiore capacità dei bilingui di sopprimere tali informazioni si basa sulla constatazione che i bilingui devono costantemente controllare le due lingue che sanno parlare. Le due lingue di un bilingue sono apparentemente sempre attive, anche se è necessario usare una sola lingua alla volta. Così, quando un bilingue vuole parlare in una lingua, l’altra lingua deve essere soppressa. Ad esempio, quando un bilingue francese-italiano deve dire “cane”, non solo è fondamentale che selezioni la parola italiana, ma è anche necessario che sopprima la parola francese chien.
I vantaggi per i bilingui non sono stati trovati solo nell’ambito dell’inibizione, ma anche in compiti che prevedono di dover passare da un’attività ad un’altra. Quando è stato chiesto a bilingui e monolingui di mettere In ordine degli stimoli in base alla loro forma o al loro colore, i bilingui sono stati più veloci dei monolingui nel passaggio tra decisioni basate sulla forma a decisioni basate sul colore degli stimoli. Questo potrebbe essere spiegato con il fatto che i bilingui si possono trovare ad effettuare il passaggio da una lingua all’altra: i bilingui che fanno spesso passaggi tra le loro due lingue possono anche essere più capaci di fare passaggi più rapidi tra differenti compiti non verbali.
Più di recente, alcuni ricercatori hanno sostenuto che il vantaggio che ha un bilingue è di tipo più generale, va cioè al di là delle prestazioni che si mettono in atto in un singolo ambito esecutivo, come è il caso della soppressione di informazioni o del passaggio da un compito ad un altro. Piuttosto, il vantaggio potrebbe estendersi al 'controllo dei conflitti', al 'coordinamento', o alla 'flessibilità mentale': tutti termini che sono stati utilizzati per sostenere che i bilingui sono generalmente migliori rispetto ai monolingui nel monitorare e risolvere i conflitti. Ma forse il risultato più sorprendente emerso nel confrontare bilingui e monolingui riguarda la constatazione che il bilinguismo può ritardare di circa 4-5 anni l'insorgenza della demenza (ad esempio, Alladi et al., 2013).
Questi effetti benefici del bilinguismo, che vengono spacciati per assodati, potrebbero avere importanti implicazioni pratiche e sociali. Tuttavia, molti altri studi non hanno riscontrato alcun effetto del bilinguismo nel migliorare le capacità cognitive. Analogamente, anche gli effetti nel ritardare la demenza sono stati contestati (ad esempio, Lawton et al., 2014). Così, nonostante gli studi iniziali mostrino evidenti effetti del bilinguismo, gli studi più recenti non hanno osservato effetti positivi del bilinguismo o li hanno riscontrati solo in circostanze limitate. Paap et al. (2015) hanno stimato che l'80% degli studi condotti dopo il 2011 non ha mostrato alcun effetto positivo del bilinguismo. Sembra quindi che vi sia un passaggio da studi che mostrano forti effetti del bilinguismo a studi più recenti che contestano questo vantaggio.
L’effetto declino
Per indagare questo apparente cambiamento nei risultati di ricerca, abbiamo analizzato tutti gli studi che hanno testato gli effetti del bilinguismo sul controllo esecutivo pubblicati tra il 2004 e il 2014 (de Bruin & Della Sala, 2015). Abbiamo classificato gli studi sulla base dei risultati: “a favore” o “contro” l’ipotesi di un vantaggio dei bilingui. La Figura 2 mostra come la proporzione sia cambiata nel tempo. Come si vede, la maggior parte degli studi iniziali sostenne questa ipotesi, il quadro appare però più equilibrato in questi ultimi anni.
Figura 2. Quadro complessivo di 108 studi che hanno esaminato la supposta influenza del bilinguismo sul controllo esecutivo pubblicati tra il 2004 e il 2014. La classifi cazione degli studi (“supporting: a favore”, “challenging: contro” e “mixed: misti') si basa sulle conclusioni presentate negli articoli.
Come si spiega l’ effetto declino?
Sono state suggerite diverse ragioni per spiegare questo effetto declino. La ‘regressione alla media’ è la spiegazione statistica più comune. Un primo studio potrebbe presentare risultati troppo positivi a causa di errori. In studi successivi, le auto-correzioni cui é capace la scienza, dovrebbero portare a valori più vicini alla media. Nel campo del bilinguismo, l’emergere di studi che non provano a replicare direttamente quelli precedenti, ma che indagano nuovi compiti che dovrebbero rientrare nello stesso dominio concettuale, può essere un'altra spiegazione per l'aumento di risultati nulli.
Altri autori hanno rilevato come un altro possibile meccanismo sottostante l’effetto declino sia il modo in cui le ricerche sono state condotte e gli errori connessi a tale conduzione. Gli studi iniziali si basano in genere su campioni di dimensioni più piccole, mentre quelli successivi tendono a includere un numero maggiore di partecipanti. In generale, al crescere delle dimensioni degli studi le dimensioni dell'effetto che si osservano sono più piccole, il che potrebbe spiegare perché gli studi successivi con più partecipanti riportano anche effetti più piccoli.
Negli articoli spesso vengono descritti i risultati di un solo esperimento senza replicazioni. Questo singolo esperimento con un piccolo numero di partecipanti può indurre a credere che si sia di fronte ad un effetto rilevante. Tuttavia, se questo risultato positivo è dovuto ad errori, gli studi successivi non otterranno effetti di dimensioni analoghe, o non riscontreranno alcun effetto.
Un altro bias di cui hanno parlato molti autori, è il bias di pubblicazione. Quando un’ipotesi viene testata per la prima volta, può essere più facile pubblicare un articolo che presenti risultati positivi che mostrano grandi dimensioni dell'effetto. Infatti i risultati nulli non sono interessanti finché non esiste alcuna prova dell'esistenza di un certo fenomeno. Tuttavia, i risultati nulli possono diventare più interessanti e più facili da pubblicare una volta che si è in presenza di una teoria più consolidata.
Il bias di pubblicazione e il vantaggio del bilinguismo
Abbiamo quindi voluto indagare se il bias di pubblicazione abbia potuto ingrandire l’apparente effetto positivo del bilinguismo (de Bruin et al., 2015). Abbiamo raccolto gli abstract che descrivevano studi sul tema del bilinguismo e del controllo esecutivo presentati a 169 convegni scientifici tra il 1999 e il 2012. Abbiamo classificato questi abstract in studi a sostegno del vantaggio del bilinguismo e studi che negavano l’esistenza di un simile vantaggio.
Figura 3. Percentuali di pubblicazioni di studi a sostegno (supporting) e contro (challenging). Se uniamo gli studi che sono completamente o tendenzialmente a sostegno di un vantaggio del bilinguismo, sono stati pubblicati il 63% dei risultati. Al contrario, solo il 36% degli studi completamente o prevalentemente negativi sono stati pubblicati.
Perché alcuni degli studi non sono stati pubblicati?
Talvolta, gli studi presentati alle conferenze scientifiche non vengono pubblicati per qualche buon motivo. I ricercatori possono eseguire un esperimento unicamente per testare una nuova idea o un nuovo compito, o il disegno della ricerca può essere imperfetto. Oppure possono non aver testato un numero sufficiente di partecipanti per trarre conclusioni affidabili e aver pertanto deciso di non pubblicare i loro risultati. Nella nostra analisi, abbiamo quindi voluto verificare l’esistenza di potenziali differenze tra gli studi presentati sul bilinguismo. Sia gli studi contrari che quelli favorevoli all’ipotesi del vantaggio utilizzavano compiti molto simili e un numero simile di partecipanti; non vi erano inoltre differenze relative all’anno in cui lo studio era stato presentato alla conferenza o nella possibilità che lo studio rilevasse un effetto. Pertanto, le differenze nella probabilità di pubblicazione non erano dovute a differenze di qualità.
Un bias di pubblicazione potrebbe essere intervenuto in diverse fasi del processo di scrittura e di pubblicazione di un articolo. I ricercatori possono decidere di non pubblicare determinati dati, perché li ritengono poco interessanti o perché i risultati non trovano una corrispondenza nel loro quadro teorico. I revisori degli articoli e gli editors delle riviste possono essere inoltre più propensi a rifiutare articoli che presentino dati nulli e negativi rispetto ad articoli che presentano dati positivi. Tali rifiuti sono spesso basati sull'idea che i risultati nulli non siano abbastanza interessanti, o che siano dovuti ad imperfezioni degli esperimenti, o al fatto che il campione dei partecipanti era piccolo.
Le conseguenze del bias di pubblicazione
La decisione di pubblicare alcuni, ma non tutti, gli studi a seconda del tipo di risultato costituisce un grosso problema per una adeguata interpretazione dei dati in qualsiasi campo. Un bias di pubblicazione non significa che un effetto non esiste, perché non inficia direttamente la qualità dei risultati pubblicati. Tuttavia, un bias di pubblicazione determina una rappresentazione distorta degli effetti reali. Anche se abbiamo considerato la letteratura scientifica sul tema ‘bilinguismo e controllo esecutivo’ a titolo di esempio, il bias di pubblicazione è un fenomeno che riguarda molte aree della ricerca.
Gli effetti di questo problema possono essere più gravi negli studi in ambito medico. Ad esempio, il farmaco Tamiflu, che viene usato come terapia contro l'influenza, venne approvato dopo che diversi studi clinici avevano dimostrato che funzionava. Cinque anni più tardi, quando l’azienda produttrice del farmaco divulgò i risultati di tutti gli studi sul farmaco, si sono scoperti altri settanta studi che non erano stati pubblicati, molti dei quali presentavano risultati negativi o che non consentivano di raggiungere una conclusione chiara. L'inserimento di tali dati, fino a quel momento nascosti, ha consentito di effettuare una analisi più completa, che ha dimostrato che molti dei presunti effetti del Tamiflu non potevano più essere considerati certi (Tavel, 2015).
Il fatto di avere a disposizione solo gli studi che riportano risultati postivi e di leggere solo studi che hanno trovato un effetto ci porterà a credere che un certo effetto è forte e incontrastato. Quello che non sappiamo, però, è quanti studi "falliti", in quanto non mostravano effetti, sono rimasti nascosti in un cassetto. Dobbiamo essere consapevoli che ci sono molti studi ben condotti, che non mostrano effetti e che rimangono inediti - nel campo del bilinguismo, ma forse anche in tutti gli altri campi della ricerca. Questo è un problema per l'interpretazione scientifica di un fenomeno.
I risultati di una meta-analisi non sono affidabili quando si basano solo sugli studi pubblicati. Potremo discutere degli effetti del bilinguismo solo quando avremo accesso a tutti i risultati delle ricerche, e non solo a quelli che mostrano l’esistenza di un vantaggio. Analogamente, anche se un effetto esiste, i risultati nulli o negativi possono aiutare i ricercatori a determinarne i limiti. Nel caso del potenziale vantaggio del bilinguismo, noi ora sappiamo che nella migliore delle ipotesi questo effetto è estremamente limitato. È stato trovato in alcuni studi, ma non è stato trovato in molti altri.
Un bias di pubblicazione non costituisce un problema solo per la comunità scientifica, ma anche per la società nel suo complesso. L'idea di un potenziale vantaggio intellettuale del bilinguismo è oggi molto popolare, ha ricevuto molta attenzione dai media ed è utilizzata per incoraggiare le persone ad imparare una seconda lingua. Il bilinguismo e l'apprendimento di una seconda lingua costituiscono un beneficio in se stessi. Permettono di viaggiare in altri Paesi, di conoscere altre culture, di incontrare nuove persone e, possibilmente, di arricchire la propria mente.
Tuttavia, gli argomenti che usiamo nel dibattito pubblico su un tema dovrebbero essere corretti e imparziali. Come scienziati dobbiamo stare attenti quando vendiamo le nostre scoperte scientifiche all’opinione pubblica. Gli studi dimostrano che le esagerazioni che si trovano negli articoli di giornale sono associate ad altrettante esagerazioni nei comunicati stampa scritti dai ricercatori per presentare i propri risultati (Sumner et al., 2014). L’utilizzo di frasi più accurate e precise nei comunicati stampa potrebbe anche far aumentare la precisione dei titoli delle notizie pubblicate dai mass-media.
Conclusioni
Le prove a favore di un vantaggio del bilinguismo non sono solide come comunemente si assume. Affinché la ricerca possa progredire, i ricercatori dovrebbero astenersi dal pubblicare solo i risultati che confermano la storia che vogliono raccontare. Essi dovrebbero condividere tutti i dati, indipendentemente dal risultato che hanno ottenuto.
Note
1) Questi gli articoli originali da cui sono stati tratti i titoli in Figura 1: Corriere della Sera: http://tinyurl.com/jdhvqfs , La Repubblica: http://tinyurl.com/j3wa6ey ; http://tinyurl.com/cyvvh3y ; http://tinyurl.com/c7d2nyc , Oggiscienza: http://tinyurl.com/jqhzudq
Riferimenti bibliografici
- Alladi, S., Bak, T. H., Duggirala, V., Surampudi, B., Shailaja, M., Shukla, A. K., ...& Kaul, S. (2013). Bilingualism delays age at onset of dementia, independent of education and immigration status. Neurology, 81(22), 1938-1944.
- Bialystok, E., Craik, F. I., Klein, R., & Viswanathan, M. (2004). Bilingualism, aging, and cognitive control: evidence from the Simon task. Psychology and Aging, 19(2), 290-303.
- Carson, A. J., MacHale, S., Allen, K., Lawrie, S. M., Dennis, M., House, A., & Sharpe, M. (2000). Depression after stroke and lesion location: a systematic review. The Lancet, 356(9224), 122-126.
- Carter, A. S., Messinger, D. S., Stone, W. L., Celimli, S., Nahmias, A. S., & Yoder, P. (2011). A randomized controlled trial of Hanen’s ‘More Than Words’ in toddlers with early autism symptoms. Journal of Child Psychology and Psychiatry, 52(7), 741-752.
- De Bruin, A., & Della Sala, S. (2015) The decline effect: How initially strong results tend to decrease over time. Cortex, 73, 375-377.
- de Bruin, A., Treccani, B., & Della Sala, S. (2015). Cognitive advantage in bilingualism An example of publication bias?. Psychological Science, 26(1), 99-107.
- Ioannidis, J. P. (2006). Evolution and translation of research findings: from bench to where? PLoSClinical Trials, 1(7): e36. doi:10.1371/journal.pctr.0010036
- Lawton, D., M., Gasquoine, P. G., & Weimer, A. A. (2015). Age of dementia diagnosis in community dwelling bilingual and monolingual Hispanic Americans. Cortex, 66, 141-145.
- Paap, K. R., Johnson, H. A., & Sawi, O. (2015). Bilingual advantage in executive functioning either do not exist or are restricted to very specific and undetermined circumstances. Cortex, 69, 265-278.
- Sumner, P., Vivian-Griffiths, S., Boivin, J., Williams, A., Venetis, C. A., Davies, A., ...& Chambers, C. D. (2014). The association between exaggeration in health related science news and academic press releases: retrospective observational study. BMJ, 349, g7015.
- Tavel, M. E. (2015). Bias in Reporting of Medical Research: How Dangerous Is It? Skeptical Inquirer, 39(3), 34-38.
