Macchine che parlano

Una scommessa vinta dalla statistica

L'idea di prevedere le parole è vecchia quanto la teoria dell'informazione. Nel 1951 Claude Shannon chiedeva a persone in carne e ossa di indovinare, lettera dopo lettera, un testo inglese, per misurare quanto la lingua sia prevedibile.^{nota 1} Nel 1990 Jeffrey Elman addestrava una piccola rete a prevedere la parola successiva.^{nota 2} Nel 2017 un gruppo di Google ha proposto il Transformer, un'architettura basata sul meccanismo dell'attenzione, che permette a ogni parola di «guardare» tutte le altre del contesto e di pesarne l'importanza.^{nota 3} Su questa architettura sono costruiti i grandi modelli linguistici di oggi.

Il loro compito di base resta semplice: data una sequenza di testo, prevederne il frammento successivo. Ma addestrati su migliaia di miliardi di parole, con miliardi di parametri, questi modelli sviluppano capacità che nessuno ha programmato: rispettano gli accordi grammaticali anche a distanza,^{nota 4} codificano nella geometria delle loro rappresentazioni la struttura ad albero delle frasi,^{nota 5} passano da una lingua all'altra.

Che cosa cambia per le teorie

Per decenni una parte importante della linguistica ha sostenuto che una struttura complessa come la sintassi non potesse emergere dalla sola esperienza, senza principi innati. I modelli linguistici non chiudono il dibattito, ma ne cambiano i termini. Lo scienziato cognitivo Steven Piantadosi ha sostenuto nel 2023 che i modelli smentiscono l'approccio di Chomsky;^{nota 6} Chomsky e colleghi hanno risposto che un sistema capace di imparare con la stessa facilità lingue possibili e impossibili non spiega nulla del linguaggio umano.^{nota 7} Nel 2024 uno studio di Stanford ha messo alla prova proprio questa affermazione, inventando lingue «impossibili», con regole che nessuna lingua umana conosce: i modelli le imparavano con molta più fatica delle lingue naturali.^{nota 8}

C'è però una differenza che nessuna delle due parti contesta: la quantità di dati. Un bambino di cinque anni ha sentito al massimo qualche decina di milioni di parole; un ventenne che legge molto, qualche centinaio di milioni. I modelli più grandi vengono addestrati su migliaia di miliardi di unità di testo: da mille a centomila volte di più.^{nota 9} I modelli dimostrano che la statistica può arrivare molto lontano; non dimostrano che i bambini imparino così.

Quando i modelli predicono il cervello

La sorpresa più grande è venuta dalle neuroscienze. Nel 2021 Martin Schrimpf e colleghi del MIT hanno confrontato decine di modelli linguistici con i dati cerebrali di persone che leggevano o ascoltavano: i modelli più bravi a prevedere la parola successiva erano anche quelli che predicevano meglio l'attività della rete del linguaggio.^{nota 10} Nel 2022 un gruppo di Princeton e di Google, registrando l'attività cerebrale di pazienti che ascoltavano un podcast, ha individuato tre principi comuni al cervello e ai modelli: entrambi prevedono di continuo la parola successiva, reagiscono alla sorpresa quando la parola arriva, e rappresentano ogni parola in funzione del contesto.^{nota 11}

Le differenze sono altrettanto istruttive. Nel 2023 Charlotte Caucheteux, Alexandre Gramfort e Jean-Rémi King, di Meta e dell'École normale supérieure, hanno mostrato che il cervello prevede su distanze più lunghe e a più livelli dei modelli: aggiungere ai modelli previsioni a lungo raggio ne aumenta la somiglianza con il cervello.^{nota 12} Come abbiamo visto, il cervello sembra riassumere il contesto più che conservarlo tutto,^{nota 13} e organizza le previsioni secondo i costituenti della frase.^{nota 14}

I modelli sono diventati anche strumenti di ricerca. Nel 2024 un gruppo del MIT ha usato un modello linguistico per scegliere, tra migliaia, le frasi capaci di attivare di più o di meno la rete del linguaggio, e ha verificato su persone vere che le previsioni funzionavano;^{nota 15} e nel 2026 i ricercatori di Harvard hanno usato le rappresentazioni dei modelli per mappare, neurone per neurone, la sintassi nel cervello umano.^{nota 16} Somiglianza, però, non è identità: un aereo e un uccello volano entrambi, obbedendo alle stesse leggi, senza essere la stessa cosa.

Prevedere non è ancora capire?

Kyle Mahowald, Anna Ivanova, Evelina Fedorenko e colleghi hanno proposto nel 2024 una distinzione utile: la competenza formale in una lingua, cioè conoscerne le regole e le regolarità, e la competenza funzionale, cioè usarla per ragionare, per conoscere il mondo, per interagire con le persone. Nel cervello umano le due poggiano su sistemi in parte diversi: la rete del linguaggio per la prima, le reti del ragionamento e della cognizione sociale per la seconda. I modelli linguistici hanno raggiunto una competenza formale notevolissima; quella funzionale è più incostante.^{nota 17}

Su che cosa manchi, le opinioni divergono. Per alcuni manca il radicamento nel mondo: un sistema addestrato sulla sola forma non può arrivare al significato, come sostengono Emily Bender e Alexander Koller con il loro polpo,^{nota 18} e con le colleghe e i colleghi che hanno parlato di «pappagalli stocastici».^{nota 19} Per altri, rappresentazioni del mondo possono emergere anche dalla sola forma, come mostra il caso della scacchiera di Othello,^{nota 20} e i modelli che vedono immagini e sentono suoni riducono la distanza. È una questione aperta, non una partita chiusa: ed è la stessa che Searle e Harnad, nel capitolo sul significato, ponevano parlando di cinese.

Che cosa ci insegnano su di noi

I modelli linguistici hanno mostrato quanta struttura sia nascosta nella statistica delle lingue: molta più di quanta immaginassero i sostenitori delle regole innate. Ma mettono in luce, per contrasto, ciò che rende speciale l'apprendimento umano: impariamo con pochissimi dati, impariamo da persone con cui condividiamo attenzione e scopi, impariamo con un corpo che ha bisogni, e impariamo le parole mentre impariamo il mondo. Un bambino non legge l'intera rete per imparare a parlare: gioca, guarda, chiede, sbaglia.

Per chi studia una lingua la lezione è doppia. Da un lato, gli assistenti basati su questi modelli sono interlocutori, correttori ed esaminatori formidabili, se li si usa bene. Dall'altro, ciò che rende una persona capace di una lingua, cioè un cervello trasformato dalla pratica, non si scarica da nessuna rete. Come usarli senza disimparare è il tema dell'ultimo capitolo della sezione La mente che impara.