È un organo incredibilmente efficiente dal punto di vista energetico, ma pur pesando solo il 2% del nostro corpo in media, consuma il 20% dell’energia totale di un adulto. La trae dal metabolismo aerobico del glucosio (circa 120 g al giorno). Siamo arrivati a questo eccezionale risultato con uno sviluppo evoluzionistico durato milioni di anni da quando abbiamo cominciato a distinguerci dai primati.
Chat GPT-4 ha avuto una gestazione ben inferiore. Si stima che per effettuarne l’addestramento sia però stato necessario consumare 10-20 gigawattora di energia (equivalenti ai consumi annui di 2000-4000 abitazioni). Ma questo è il meno. Con le operazioni di “distillazione” della cinese Deepseek tutto questo è stato reso largamente disponibile in forma aperta al mondo intero. È a suo modo diventato un “patrimonio dell’umanità”. Le grandi big tech pianificano ulteriori round di addestramento (per chat-GPT 5 si stima la spesa di 7 miliardi di dollari in energia), magari imparando a proteggendosi da processi di “distillazione”, ma la mia sensazione è che oramai stiamo arrivando a risultati tanto straordinari quanto pressocché asintotici.
È più importante però capire quanto consuma quando lo interroghiamo. Con ipotesi ragionevoli, la società Epoc-AI ha stimato che una query GPT-4o consuma circa 0,3 wattora per una tipica domanda basata su testo, ma il consumo aumenta sostanzialmente a 2,5-40 wattora per domande con testi molto lunghi e articolati. Sono dati che ridimensionano le apprensioni di un tempo che prevedevano consumi di almeno un ordine di grandezza superiori.
A quante domande complesse e articolate siamo in grado di rispondere con il nostro cervello in un giorno? Chat-GPT se avesse a disposizione la nostra potenza energetica cerebrale risponderebbe a un minimo di 770 domande semplici e un massimo di 12 domande particolarmente complesse e articolate.
Che ne dite? Non siamo più così lontani dalle prestazioni umane!
Certo, tenere sotto controllo la temperatura dei chip nelle grandi centrali di calcolo è un'altra dimensione di impatto ambientale da non sottovalutare. Ma è indubbio che, se questo non è vero per l’addestramento, almeno per l’utilizzo degli LLM i costi energetici e gli impatti ambientali stanno scendendo.
Frugalità è la parola d’ordine, e sempre più sforzi vanno indirizzati allo sviluppo di algoritmi e di microprocessori particolarmente efficienti e progettati ad hoc per i calcoli delle reti neurali.
Se vogliamo che l’alleato digitale stia insieme a noi per questioni di sicurezza, conduca i suoi calcoli senza bisogno di sistemi di raffreddamento ad acqua, ci garantisca un servizio senza ricorso eccessivo al cloud, e costi poco come hardware e software per affiancarsi a quante più persone possibile, allora dovrà consumare poco, necessitare di non più di 10 W di potenza, e avere un’architettura semplice.
È possibile? Lo vedremo nella prossima puntata.
