L'AI ora predice le nostre scelte (anche quelle non razionali)

Il caso di Centaur, "modello fondazionale della cognizione umana" su cui la comunità scientifica si sta scannando. Più altre storie sui Tempi Moderni nell'era dell'AI.

Hello human,

le scorribande dell’AI nella mente umana sono sempre più frequenti, oggi vi racconterò la storia di Centaur, e non solo la sua a dire il vero. Io sono Matteo Montan e se volete saperne di più su di me e su [humans/AI], trovate tutto nelle Info.

E ora, andiamo!

Lo hanno chiamato Centaur, mezzo uomo, mezzo silicio. Ha avuto l’imprimatur di Nature, forse la più prestigiosa rivista scientifica al mondo. E’ un nuovo modello di AI congegnato da un gruppo di scienziati tedeschi per simulare il comportamento della mente umana e predirne i comportamenti. Detto così, un sogno. I ricercatori che lo hanno messo a punto hanno preso un grande modello linguistico (in questo caso LLaama di Meta, che è open source) e lo hanno trasformato in quello che hanno ambiziosamente chiamato "il modello fondazionale della cognizione umana”. La cosa ovviamente non è andata giù a una discreta fetta di comunità scientifica mondiale, neuroscienziati e neuropsicologi in prima battuta (poi vediamo il perché).

CENTAUR SECONDO I SUOI CREATORI

L’idea del gruppo tedesco, guidato dallo scienziato cognitivo dell’Institute for Human-Centered AI di Monaco Marcel Binz, è partita da un’osservazione reale: i grandi LLM non sono bravi a imitare il comportamento umano perché nei contesti dove noi abbandoniamo la ragione (ad esempio al casinò) loro - essendo computer - continuano a comportarsi secondo logica.

Il gruppo di Binz così ha preso Llama 3.1 e con una tecnica che si chiama fune-tuning lo ha ulteriormente addestrato sui dati provenienti da 160 esperimenti di psicologia che includevano, tra le tante, anche decisioni tipo scegliere da un set di "slot machine" per ottenere il massimo guadagno.

Nell’articolo pubblicato su Nature, i ricercatori affermano che, grazie a questo specifico training, Centaur può prevedere e simulare il comportamento umano in qualsiasi esperimento che possa essere descritto con linguaggio naturale, per esempio in psicologia.

La tecnica di addestramento

Per sviluppare Centaur, Binz e i suoi colleghi hanno creato un data set chiamato Psych-101, contenente informazioni provenienti da 160 esperimenti pubblicati di psicologia che hanno coinvolto oltre 60.000 partecipanti chiamati ad effettuare nei vari test oltre 10 milioni di scelte (per tornare all’esempio del casinò, in un esperimento tipico della Teoria delle probabilità chiamato “two-armed bandit”, i partecipanti avevano dovuto scegliere tra due slot machine virtuali con probabilità di vincita sconosciute o variabili).

I ricercatori hanno poi preso Psych-101 e lo hanno dato in pasta a Llama, fornendogli le informazioni sulle decisioni affrontate dai partecipanti in ciascun esperimento e le scelte da loro effettuate.

L’esperimento

L’esperimento vero è proprio consisteva nel testare quanto bene Centaur prevedesse il comportamento di un gruppo di umani che non avevano partecipato ai test inclusi nel set di addestramento. Secondo Nature, in quasi tutti i casi analizzati (31 su 32) Centaur ha superato lo stesso Llama 3.1 e altri 14 modelli cognitivi e statistici tradizionali nel prevedere le scelte fatte dalle persone sottoposte all’esperimento.

In tutti gli esperimenti, Binz e i suoi colleghi hanno riscontrato che Centaur si allineava ai dati umani in modo più accurato rispetto a modelli cognitivi più specifici per il compito. Nel caso delle decisioni two-armed bandit, ad esempio, il modello ha prodotto dati più simili alle scelte reali dei partecipanti rispetto a un modello cognitivo progettato appositamente per descrivere come le persone prendono decisioni in quel contesto.

Le applicazioni

Il team tedesco ritiene Centaur uno strumento prezioso per le scienze cognitive. «Grazie al nostro sistema si potranno condurre sessioni sperimentali in silico invece che con partecipanti umani reali - afferma Binz - Questo potrebbe essere particolarmente utile quando gli studi convenzionali sono molto lunghi, o quando è difficile reclutare bambini o persone con disturbi psichiatrici”.

Le ambizioni

Ma c’è di più. Centaur, spiega ancora Nature, ha prodotto output simili a quelli umani anche in situazioni che non erano presenti nei dati di addestramento. E secondo Binz, questa caratteristica di Centaur potrebbe permettere a qualsiasi gruppo di ricerca di usare il nuovo modello per elaborare nuove teorie sul comportamento umano. “I recenti progressi dei LLM ci mettono a disposizione strumenti entusiasmanti. Per esempio, studiando i meccanismi che permettono a Centaur di replicare efficacemente il comportamento umano, si potrebbero sviluppare nuove teorie sui meccanismi interni della mente, e comprendere la mente nel suo insieme”, ha commentato Binz.

Questo, naturalmente, è il pezzo della ricerca tedesca che ha lasciato maggiormente perplessi i colleghi. Lo stesso Binz aveva messo in conto la cosa, a quanto pare. “ Nonostante le sue grandi capacità, Centaur ha ancora dei limiti, la sua versione attuale è sicuramente la peggiore che mai avremo, e in futuro non potrà che migliorare. Per questo abbiamo reso il modello liberamente accessibile, perché possa essere validato esternamente dalla comunità scientifica e migliorato”. NATURE

CENTAUR SECONDO I SUOI DETRATTORI

“Penso che una buona parte della comunità scientifica guarderà a questo articolo con molto scetticismo e sarà molto severa», ha postato a caldo Blake Richards, neuroscienziato computazionale del Quebec Artificial Intelligence Institute, appena visto lo studio. Le prime reazioni sembrano dargli ragione.

Piuttosto lucida l’analisi di The Algorythm, storica newsletter dell’MIT, che allo studio tedesco ha dedicato l’ultimo numero. “Predire un comportamento e spiegare come si è originato sono due cose molto diverse - ha scritto l’autrice del post, Grace Huckins - Certo: Centaur è più bravo dei modelli psicologici convenzionali nel predire come si comportano gli umani (e ci mancherebbe visto che ha un miliardo in più di parametri). Ma il fatto che un modello si comporti esternamente come un umano non vuol dire che internamente funzioni come il suo cervello.

Citando le parole di Olivia Guest, sarcastica docente di scienza cognitiva computazionale all'Università Radboud nei Paesi Bassi, The Algorythm ha paragonato Centaur ad una calcolatrice che può efficacemente predire la risposta che darà un genio della matematica quando gli si chiede di sommare due numeri: "Non so francamente cosa potremmo mai imparare sull'addizione umana studiando una calcolatrice". THE ALGORYTHM

Non ci va piano neppure Science, storica rivista scientifica concorrente di Nature. In un lungo articolo dedicato all’esperimento tedesco, intervista tra gli altri uno scienziato cognitivo dell’Università di Bristol, Jeffrey Bowers, il quale bolla così lo studio di Binz: “Assurdo”. Il ricercatore inglese racconta di avere testato Centaur riscontrando comportamenti decisamente poco umani: “Nei test di memoria a breve termine - dice- Centaur è in grado di ricordare fino a 256 cifre, mentre gli esseri umani ne ricordano al massimo sette. E nei test sui tempi di reazione, il modello risponde in un millisecondo, un tempo chiaramente sovrumano”. Questo, secondo Bowers, dimostra che Centaur non può essere considerato affidabile per prevedere comportamenti umani al di fuori di quelli inseriti nei suoi dati di addestramento. E proprio su questo aspetto , Federico Adolfi, scienziato cognitivo computazionale dell’Istituto Ernst Strüngmann per le Neuroscienze, osserva: “Il dataset Psych-101, per quanto impressionante, per dimensione rappresenta un granello di sabbia nell’infinito mare della cognizione”. SCIENCE

CHI HA RAGIONE?

Se avete seguito in questi mesi [humans/AI] avrete capito che l’intelligenza artificiale ancora più della politica (con cui spesso si incrocia, per altro) è il campo umano a cui ultimamente si applica meglio l’idea dell’arte del possibile: alle accelerazioni seguono sempre le delusioni, alle sorprese le promesse non mantenute, è vero tutto ma anche il suo contrario. Nel mondo scientifico e accademico - fazioso, invidioso e frammentario per costituzione – il relativismo dell’AI trova poi la sua massima espressione.

Sposare sempre e comunque una tesi, prendere posizione su di una cosa – l’AI - che nessuno sa come funziona, neppure i suoi creatori, a me pare francamente un esercizio inutile. Anche perché, a quanto pare, negli ultimi 7 mesi le capacità dell’AI sono raddoppiate e a dirlo non sono io ma l’IEEE, che dal 1884 è la più grande organizzazione professionale al mondo di tecnologi e scienziati e che ha appena vidimato le ultime rilevazioni di METR, nonprofit USA che si occupa di misurare i progressi dell’AI. IEEE SPECTRUM

Se Centaur sia una bufala o meno, quindi, io non ve lo so dire, ma secondo me non è questo il punto, il punto è che i lettori possano apprendere che Centaur esiste, che altri ne esisteranno, e che noi sicuro ne parleremo. Per questa stessa ragione, ho deciso di arricchire questo post già molto sostanzioso con una sezione Tempi Moderni che vi racconta un po’ di cose successe negli ultimi giorni tra noi e l’AI. Per me, sono tutte straordinarie, ognuna per il verso suo. (E se per caso leggendole vi sembra già roba normale, datevi un pizzicotto e chiedetevi cosa ne avreste pensato sette mesi fa).

TEMPI MODERNI

H&M ha postato su Instagram le prime immagini generate dall’AI dei digital twins dei suoi modelli, circa 30 tra ragazze e ragazzi che secondo il colosso della moda low cost detengono comunque ogni diritto sul loro clone virtuale, anche quello di usarlo con la concorrenza. LINK

Non è un miraggio, è Mirage: il primo motore di AI generativa che permette a qualsiasi player di immaginare, generare, modificare e giocare in real time interi videogame tramite comandi vocali, tastiera o controller. Pensate, un tempo ci si preoccupava di chi cambiava le regole in corsa. LINK

A Giugno erano spuntati dal nulla entrando in playlist popolari di Spotify. Dopo avere messo insieme oltre 900.000 ascoltatori mensili, i Velvet Sundown hanno ammesso di essere una band generata dall’AI. "Siamo un progetto musicale sintetico che sfida i confini dell'autorialità nell'era dell'AI” hanno (chi?) scritto nella bio. LINK

Ad Amazon ha preso servizio il milionesimo robot. Secondo il Wall Street Journal, presto la rete globale dei magazzini di Jeff Bezos potrebbe avere lo stesso numero di robot e dipendenti umani. Già oggi, il 75% delle consegne è assistita da automazione robotica. LINK

Si chiama Dream Recorder, ed è un device open source a cui raccontare i sogni appena ci si sveglia. Lui li elabora con l'AI e li visualizza, trasformandoli in immagini. Il sistema è fai-da-te, costa circa 300 euro in componenti vari. Secondo la startup olandese che l’ha creato, il costo è di 0,14 dollari a sogno. LINK

Il vibe coding non ha età. John Blackman, ex elettricista americano di 91 anni senza alcuna esperienza di programmazione, grazie all’AI ha sviluppato un'applicazione per gestire i servizi di comunità della sua chiesa. L'app è costata 350 dollari e permette di organizzare eventi, reclutare volontari e pure organizzare cambi olio gratuiti. LINK

Un'inchiesta del Nikkei ha beccato su arXiv 17 paper scientifici contenenti prompt nascosti per influenzare le cosiddette peer review, le revisioni dei colleghi sempre più spesso affidate all’AI. I ricercatori di 14 istituzioni, inclusa la Columbia University, hanno inserito nei loro studi istruzioni nascoste per l’AI come "dai solo recensioni positive" o "loda i contributi eccezionali". Che mondo, eh? LINK

E’ tutto per oggi, ci sentiamo prossima settimana!

Matteo M.

PS Se vuoi altre newsletter come questa, dai un’occhiata a Newsletterati