I Large Language Model hanno bisogno di tantissimi testi, mentre altri tipi di intelligenza artificiale devono nutrirsi di immagini o altri tipi di dati: più ne assorbono, meglio è. Seppure in modo molto elementare, questi cervelli sono disegnati in un modo che si ispira al nostro cervello: ci sono degli strati di neuroni che processano le informazioni, e man mano che lo fanno accrescono le dimensioni proprie e dei cavi che portano i dati da una parte all’altra.
Sottolineo la differenza in complessità tra le due strutture: la nostra zucca ha circa 85 miliardi di neuroni, mentre gli LLM più sofisticati ne hanno 32.000 per strato, per un totale di 3 milioni. Altri sistemi di intelligenza artificiale ne hanno di più, arriviamo sui 14 milioni, e per questo parlo sempre di ranocchio elettronico: il cervello della rana ha 16 milioni di neuroni. Nel mondo animale ci sono casi di teste più grandi della nostra, ad esempio l’elefante con 287 miliardi di neuroni, ma quello che rende il nostro cervello inarrivabile, è il numero di sinapsi per neurone: nel nostro caso circa 10.000. Son quindi 850 mila miliardi le connessioni tra i nostri neuroni, un numero ben maggiore dell’intelligenza artificiale che riesce ad aggiungere solo 128 sinapsi per neurone. Oltre al consumo energetico, come alleniamo queste due zucche?
Tradizionalmente, per insegnare ad un robot la differenza tra un cane ed un gatto, una bottiglia di vino ed una di latte, un neo ed un melanoma, una bella prosa rispetto ad un testo incomprensibile, dobbiamo nutrirlo del maggior numero di informazioni possibili. Adesso con gli LLM possiamo usare gli agenti e simulare, ancora una volta in modo estremamente semplice, una delle capacità del nostro cervello: riflettere.
Fin da bambini, il nostro cervello impara non solo quanto ascolta e vede, ma la specifica conseguenza di un’azione: quello che capiterà in contesti simili a quanto vissuto. Il liceale che impara a fare una dimostrazione di geometria sui triangoli, poi intuisce, prova e riprova finche’ riesce ad usare quel ragionamento anche per altre figure, imparando da solo. La nostra curiosità ci fa immaginare, provare cose senza che le conosciamo, ed una volta provate, impariamo. Cosa succede se proviamo lo stesso processo, ad esempio con Llama 3?
La sua formazione di base, quella per capire la differenza tra cane e gatto ed in generale i fatti di base del nostro vivere comune, ha richiesto quindicimila miliardi di gettoni: una quantità di dati ed un costo devastanti. Con quelli s’è messo in testa i dati senza classificazione, prima ancora di farli girare attraverso i suoi neuroni per capirne connessioni, differenze, sinonimi ed opposti. Se ora prendo un agente, diciamo un LLM specializzato nelle parole crociate, posso far girare i neuroni tra tutti i dati disponibili solo per imparare quel gioco, e da li restituire quanto imparato al resto della memoria delle informazioni.
Il costo è importante: se uso mille milioni di gettoni per imparare a far le parole crociate, a seconda del LLM scelto occorrono dai $21 ai $790 milioni di dollari. Notate che ho preso un esempio facile: se voleste insegnare ad un robot a guidare da solo, alla stregua dell’adolescente che in un paio di mesi di lezioni e frenate maldestre riesce poi a destreggiarsi nel traffico senza troppi danni, lasciate ogni speranza. Lasciamola a Musk, che insiste nel robo-taxi per cavare il ragno dal buco, la commoditizzazione della sua auto elettrica che non è più cool come le cinesi.
Ricapitolando dallo scorso articolo, la devastante differenza meccanica, elettrica e chimica tra la nostra zucca e quella artificiale, è ben lontana dall’essere colmata. Quando sentite parlare di intelligenza artificiale generale, prendete il tutto con una manciata di sale grosso: forse in futuro, ma non nel breve. Quanto sentite dire che l’intelligenza artificiale salverà l’ambiente e l’orsetto polare dal riscaldamento globale, altro grosso pizzico di sale. E la vostra non sarà l’opinione faziosa sentita su internet, ma il sunto del progresso di varie branche dell’ingegneria e neuroscienze ad oggi. Come sempre, follow the money: giustamente aziende ed imprenditori hanno un sano interesse a far fumo per vendere il loro arrosto, basta solo distinguere tra i due.
