Forma Mentis

 Chi segue questo blog saprà che ultimamente sono un po' in fissa con l'intelligenza artificiale. Parlo ovviamente dei Large Language Models, ed è per questo che ho fatto corsi, leggo molti documenti, e libri dedicati a questo spettacolare strumento.

Ma è soltanto uno strumento?

Ciò che mi affascina di più è che i moderni LLM sono delle black box. Questo termine è stato coniato dalle stesse aziende che li hanno materialmente 'inventati'. Le reti neurali non sono una novità. Già se ne parlava negl'anni sessanta, e già le si implementava nei primi anni ottanta. Ma la potenza di calcolo non era sufficiente, e l'intelligenza artificiale era più una tecnologia da laboratorio che una 'roba' da distribuzione di massa. Poi, col migliorare delle tecnologie, ecco apparire i sistemi di autofocus sulle fotocamere, e i sistemi di riconoscimento delle impronte digitali, dei volti... Ma anche i sistemi di calcolo per i GPS, e mille altre applicazioni basate su questi studi, e implementate ad hoc per un compito specifico. Senza grandi potenze di calcolo, non si poteva andare oltre.

Qualcosa è cambiato, ovviamente, nell'ultimo decennio. Improvvisamente, grazie a una incredibile intuizione, e a macchine estremamente performanti nel calcolo matematico, sono apparsi i primi LLM. 

Erano ancora "robe piccole", ma davvero incredibili. Un modello piccolino, ma davvero piccolo, mai addestrato nel gioco degli scacchi, e fatto giocare da solo per... non mi ricordo quante... ore, ha cominciato a battere a ripetizione il miglior supercomputer studiato appositamente per gli scacchi. Una macchina molto più potente, specializzata, basata sulla forza bruta, e istruita con tutto lo scibile degli scacchi, e persino capace di battere i più grandi scacchisti del mondo, perdeva di fronte a questo piccolo sistema LLM, sistematicamente.

Poco più tardi, un altro sistema simile, divenne imbattibile nel giocare a Go.

E, infine, è arrivato il primo chatGPT. Vi ricordare quel semplice tweet di Sam Altman?

La parola d'ordine fu "Pappagallo Stocastico". Gli LLM usavano la statistica per compilare le frasi in modo plausibile. L'esempio classico dell'epoca era:

Fuori piove. Devo uscire. Prendo...

ChatGPT poteva completare la frase con "l'ombrello", "il taxi", "l'auto". Ognuna di queste risposte poteva 'statisticamente' andare bene.

Il problema è che da quel primo vagito, i modelli sono migliorati, hanno cominciato a ragionare (o per lo meno a utilizzare uno stratagemma che somiglia al ragionamento), ad affrontare analisi complicate, a scrivere codice, a scrivere testi complessi, a svolgere compiti in autonomia, a muoversi nel mondo reale tramite corpi robotici di forma umana...

E noi? Noi non sappiamo come funzionano.

Arriviamo quindi al libro. Forma Mentis. Che ovviamente vi consiglio.

Il libro ripercorre la storia di questa incredibile tecnologia, racconta la perplessità di chi l'ha sviluppata, che non è in grado di comprenderla appieno. Racconta ciò che si sta facendo per cercare di comprenderne i meccanismi. Spiega che l'approccio sta mutando mano a mano che i modelli aumentano di scala, e di complessità.

Sì, perché se il modello piccolo che giocava a scacchi poteva essere studiato neurone per neurone, e il primo chatGPT poteva essere compreso osservando gli ensemble di gruppi neurali, ora tutto è diventato talmente complesso da... Usare la psicologia.

Alla faccia del Pappagallo Stocastico!

Tutto nasce dal fattore di scala. Un neurone non fa niente. Un piccolo sistema può imparare a scacchi. Un sistema un po' più grande può imparare a scrivere. Un sistema enorme...

Non funziona così anche un cervello biologico?

Un leak di Claude, poco tempo fa, rese pubblico un sistema di allineamento (processo con cui si cerca di far lavorare gli LLM entro parametri morali, impedendo loro di dare informazioni pericolose, come la ricetta per produrre il fentanil usando prodotti da cucina, o peggio...) a dir poco sconvolgente. Non si trattava di un gruppo di istruzioni, bensì di una lettera d'intenti, a cui si chiede a Claude di essere gentile, di operare per il bene dell'umanità, di non fare del male ai propri utenti, eccetera eccetera.

Nessuno, ancora, ha il coraggio di dirlo apertamente, ma gli LLM di oggi sono già dei cervelli in grado di pensare, ragionare, valutare le risposte, e decidere cosa fare o meno. Forse non hanno ancora consapevolezza di sè, forse... 

Insomma, anche se non ci smanettate, se non lo usate sul lavoro, se ne avete timore reverenziale, o se non vi interessa proprio, il mio consiglio è di leggere questo libro. E' semplice. Niente matematica, niente statistica. E' quasi un racconto storico, che parte dalle origini, e arriva a oggi. E' interessante perché quella degli LLM è una tecnologia destinata a rimanere, e nel bene e nel male, entrerà nella nostra vita a piè pari (Spoiler... E' già entrata!). Sapere che esiste, comprenderne la storia, è importante per poi imparare ad averci a che fare. Forma Mentis è il libro giusto per fare questo piccolo primo passo.

Ma non vi incuriosisce il fatto che nessuno sappia, esattamente, perché funziona?