La tesi centrale di Rumore è che la mente umana sia imperfetta e prona ad errori che influenzano negativamente i processi decisionali. Gli errori cognitivi sono di due tipi: i bias e, appunto, il rumore. Il bias è un errore sistematico di ragionamento a causa del quale persone diverse, nelle stesse condizioni, pervengono alle stesse conclusioni e decisioni sbagliate attribuibili a precisi meccanismi causali. Il rumore invece è un errore casuale del sistema cognitivo che comporta conseguenze non prevedibili e difficilmente interpretabili. La metafora portante di questa distinzione è quella del bersaglio che le persone non riescono a centrare. Nel caso dei bias, i proiettili si concentrano tutti nella stessa area lontano dall’obiettivo, facilitando l’identificazione della possibile causa dell’errore (difettosa postura, presa instabile, canna del fucile storta, ecc.). Nel caso del rumore, invece, i proiettili si disperdono casualmente attorno al bersaglio, rendendo impossibile l’interpretazione dell’errore o addirittura suggerendo che non vi siano cause da cercare e correggere.
Gli esempi portati dagli autori sono molti ed efficaci: medici diversi che propongono diagnosi diverse per lo stesso caso clinico, giudici che emettono sentenze diverse per lo stesso reato, assicuratori che propongono stime diverse per situazioni identiche, perfino meteorologi che disponendo degli stessi dati propongono previsioni diverse. Questi esempi risultano persuasivi perché invitano il lettore a considerare esperienze familiari della vita quotidiana. A questi esempi si possono aggiungere gli scontri televisivi tra esperti con le stesse competenze disciplinari che su pandemia e guerra prospettano scenari diversi e suggeriscono opposti rimedi.
Per ridurre il rumore, la soluzione proposta da KSS è affidare i processi decisionali ad algoritmi derivanti dall’intelligenza artificiale, in modo da sostituire l’inaffidabilità umana dovuta all’incapacità di trattare una grande quantità di dati e alla tendenza a considerare marginali aspetti di contesto e di natura valoriale anziché concentrarsi sugli specifici elementi del problema in esame.
Elenchiamo qui alcuni spunti di riflessione critica sugli argomenti principali proposti da KSS in Rumore.
La metafora del bersaglio proposta da KSS non tiene conto della differenza tra decisioni/risposte che sono giuste/sbagliate (per esempio una diagnosi in ambito medico) rispetto a quelle che non possono essere giuste/sbagliate (per esempio un verdetto in ambito legale). Nelle situazioni in cui esiste una risposta giusta, molto del rumore potrebbe essere dovuto a ignoranza o alla complessità del problema.
Quando si parla di diagnosi bisogna distinguere tra rilevazione di un fenomeno patologico (per esempio, un segno radiografico), riconoscimento di uno specifico insieme di segni e sintomi (da associare a un’etichetta o una categoria clinica) e individuazione delle sottostanti cause genetiche, fisiopatologiche o cognitive (interpretazione dei meccanismi causali). Rilevare e identificare un indicatore di patologia è un compito relativamente semplice, basato su procedure standard che escludono ogni interferenza.
L’interpretazione, invece, richiede l’analisi del contesto e di tutti i fattori contingenti che possono influenzare o interagire con la singola situazione.
Solo nel primo caso l’intelligenza artificiale può garantire precisione. Il grado di incertezza aumenta all’aumentare del livello di profondità richiesto. Invece di affidarsi ad algoritmi, si dovrebbe migliorare la competenza. Nel caso dei medici, molte variabili influenzano le decisioni diagnostiche, tra cui l’esperienza, l’età, il luogo di lavoro, il grado di specializzazione. Se si usassero superordinate, il rumore scomparirebbe: se tutti i medici interpellati dovessero distinguere solo tra malattia e normalità, il rumore diminuirebbe moltissimo, ma la diagnosi “malattia” sarebbe inutile e priva di significato. Più una decisione si basa su competenze specifiche, più rumore si crea; quanto più si chiede precisione e mediazione teorica, tanto più rumore emerge. Il rumore è rivelatore di complessità; per eliminare il rumore è necessario semplificare le risposte, ma questo significa introdurre un errore sistematico, ovverosia un bias.
In altri contesti non ci sono risposte esatte. È il caso dei compiti di stima (per es. determinare le dimensioni o il valore di un oggetto), valutazione (per es. assegnare un voto o irrogare una punizione) e previsione (per es. descrivere l’evolvere di un fenomeno per decidere un investimento o proporre una polizza). Sono compiti diversi che differiscono per strategie, scopi e informazioni. Nella stima, si utilizzano prevalentemente (anche se non esclusivamente) conoscenze semantiche; nella valutazione invece si utilizzano prevalentemente informazioni episodiche. La stima dipende solo dalle richieste del compito; la valutazione, al contrario, varia in funzione dello scopo, per esempio giudicare il passato (la competenza acquisita) o favorire il futuro (le potenzialità da sviluppare). La valutazione implica un giudizio, non si limita a misurare una prestazione (per esempio, il numero delle risposte esatte in un test a scelta multipla). In caso di previsione, oltre a informazioni semantiche ed episodiche, sono necessarie anche conoscenze procedurali, come il calcolo della probabilità. Nei compiti di previsione la correttezza della decisione si conosce solo nel futuro; l’eventuale errore di previsione non necessariamente indica un errore di ragionamento: anche gli eventi meno probabili accadono.
In caso di stima e valutazione, le risposte sono valutate non in termini di accuratezza, ma sulla base della plausibilità. Le risposte non possono essere esatte ma devono essere accettabili, coerenti e giustificate. Per questo motivo, ci si deve riferire a un range di possibilità, un ventaglio di risposte ammissibili, un “intervallo di confidenza”. Il range serve a evitare che, da un lato, ci si affidi a una incontrollata arbitrarietà (ogni risposta è ammessa) e, dall’altro lato, si ricorra a rigidi automatismi (la risposta è predefinita). Definire un range significa delimitare lo spazio delle risposte possibili e nello stesso tempo garantire la libertà di scelte autonome. Nei compiti di stima, il range è un intervallo di valori probabili che distingue tra risposte bizzarre (da considerare errori o non accettabili) e risposte plausibili (coerenti con il sistema di conoscenze e di ragionamento). Nei compiti di valutazione, l’introduzione di un range consente maggiore coerenza tra le decisioni assunte in momenti diversi o da persone diverse. In ambito giuridico, limitare l’estensione degli anni di pena previsti (abbassando il valore massimo o aumentando il minimo) riduce il rumore rappresentato dalle singole sentenze; in ambito scolastico, un numero limitato di voti riduce la variabilità dei giudizi. Il range non deve essere troppo ampio per evitare l’eccesso di discrezionalità; nello stesso tempo, non deve essere troppo ristretto affinché si possano operare distinzioni e considerare le specifiche condizioni dei singoli casi. KSS affermano che in assenza di una risposta giusta, si dovrebbe considerare la media delle risposte ottenute. Cioè propongono di prendere una decisione o di assumere una risposta che è sbagliata per definizione. Ma decidere un criterio che porti sistematicamente allo stesso tipo di errore, ancora una volta, significa introdurre un nuovo bias.
KSS affermano che gli effetti delle decisioni sbagliate dovute al rumore non sono simmetrici. A sostegno di questo assunto propongono l’esempio di quanto peso un ascensore possa portare: sbagliare in eccesso non sarebbe grave, sbagliare in difetto avrebbe effetti catastrofici; nel primo caso si spendono più soldi, nel secondo l’ascensore cade e muoiono delle persone. Per l’ascensore è preferibile sbagliare in eccesso, il che vuol dire assumere un atteggiamento di prudenza e massima cautela piuttosto che rischiare eventi drammatici e irreparabili. Per ridurre i rischi si deve eccedere nella valutazione, ma la sistematica sovrastima è in sé un bias. Anche in questo caso il rumore finisce per trasformarsi in bias.
La proposta di KSS è eliminare la componente discrezionale dei processi decisionali. Limitare l’interpretazione però significa negare i principi portanti della discussione scientifica, che si basa non solo sui dati, ma anche e soprattutto sulla loro interpretazione che può (anzi deve) variare. L’analisi dei dati non suggerisce un’unica interpretazione e l’interpretazione non implica un’unica decisione. L’analisi dei dati consente di rilevare regolarità ma la regolarità può essere fuorviante. La scienza è spesso contro-intuitiva. Tutte le mattine il Sole sorge a est e tutte le sere tramonta a ovest; la regolarità dell’osservazione ha portato a ipotizzare il movimento del Sole attorno alla Terra, un errore confermato dall’esperienza quotidiana di ogni persona. In assenza di un modello teorico di riferimento, la sola analisi dei dati dell’osservazione può determinare errori sistematici, ovverosia bias.
Daniel Kahneman.
La proposta di KSS soffre di circolarità. Gli autori sostengono che il problema delle decisioni umane è dovuto ai limiti del funzionamento della mente caratterizzato da irrazionalità e pregiudizi. Per questo motivo propongono di affidare le decisioni ad algoritmi in grado di elaborare una grande mole di dati. Ma a costruire gli algoritmi e a scegliere e accumulare i dati da elaborare sono sempre menti umane. Inevitabilmente questo determina bias. Un algoritmo che analizzasse i dati disponibili negli archivi giudiziari risulterebbe in un sistema decisionale dove essere neri è indizio di colpevolezza. L’algoritmo si limiterebbe a considerare i dati del passato, ignorando i singoli casi e il loro contesto, senza preoccuparsi delle conseguenze di ogni decisione. KSS sono consapevoli dei possibili bias generati dagli algoritmi, ma non ne valutano la gravità. Questi bias diverrebbero fissi nel tempo e finirebbero con l’essere irremovibili perché non riconosciuti. Si rimarrebbe con un processo decisionale stereotipato e si giungerebbe sempre alla stessa decisione, in questo modo rinforzando l’algoritmo e creando un circolo vizioso. Se ci si affidasse a un algoritmo per prendere decisioni, qualsiasi innovazione sarebbe difficile. Come potrebbero cambiare e aggiornarsi gli operatori della giustizia grazie all’avvento di nuovi casi e nuove situazioni? Se l’algoritmo sbaglia, tutte le sue decisioni sono errate. Il rumore allora è preferibile: il rumore non impedisce che qualche decisione sia “giusta”.
Infine, l’adozione di algoritmi per rimuovere il rumore che le decisioni umane comportano si traduce in una società autoritaria e antidemocratica. Il potere sarebbe nelle mani di chi controlla gli algoritmi, decide quali dati considerare e come misurarli. Applicare un algoritmo è ingiusto perché porta a ignorare le differenze delle situazioni. Quando si dice che la legge è uguale per tutti, non significa che a tutti la legge deve essere applicata allo stesso modo, ma che tutti sono uguali davanti alla legge, come recita l’art. 3 della Costituzione italiana. E le persone sono uguali davanti alla legge quando le decisioni considerano la complessità e l’originalità delle singole situazioni, non quando discendono dall’applicazione automatica di un algoritmo che considera solo ciò che è stato già in precedenza definito e classificato. Per questo motivo il valore prefissato di una multa e la flat tax sono fonte di iniquità in quanto hanno effetti disparati su persone con reddito diverso. Ancora una volta è necessaria una flessibilità che è assente negli algoritmi perché ignorano il contesto che costituisce non uno sfondo neutrale ma l’insieme di significati, motivazioni e aspettative che contribuiscono a formare la scelta decisionale e a far sì che la singola azione possa essere giusta in una situazione e ingiusta in un’altra.
I punti elencati sopra non rappresentano ovviamente una revisione esaustiva delle tesi di KSS e degli argomenti discussi in Rumore, ma sono un invito alla lettura critica del volume che è stato coperto di lodi encomiastiche. A nostro parere, la variabilità è necessaria, il rumore è inevitabile. Provare a mettere ordine o a eliminare il rumore significa creare e consolidare nuovi bias, quindi aumentare l’imprecisione e gli errori. Perseguire un eccesso di razionalità rischia di essere all’origine di ulteriore irrazionalità. Non c’è nulla di più irrazionale del mito della perfetta razionalità.
