Zucki, dopo aver perso tempo e soldi con la sua scommessa su Llama, firma un contratto plurimiliardario con Google per affittare le loro Tensor Process Unit (TPU), ovvero il concorrente tecnologico delle GPU di NVIDIA. Non conosciamo ancora la cifra pattuita, ma è comunque un gran colpo per Google nel suo confronto con l’avversario, perché ne mette fortemente in dubbio il primato tecnologico.
Allo stesso tempo Google ha concordato il leasing di TPU con una grande banca d’affari, pronta a commercializzare questi server a tutte le aziende in corsa per far cose con il ranocchio elettronico, e questa mossa dimostra che Google ha deciso di attaccare il dominio di NVIDIA sui chip per l’intelligenza artificiale: vuole una fetta della ricca torta dell’infrastruttura. NVIDIA ha presentato ricavi di $200 miliardi lo scorso anno, e Google mira a rubarne solo il 10%, pur continuando a comprare i chip del concorrente. Figuriamoci quando decida di assolvere le proprie necessità solo più con TPU: sarebbe un bello scossone per il mercato.
Ad oggi la maggior parte degli sviluppatori AI, tra cui gli stessi in casa Google, preferiscono lavorare sulle GPU, ed il fatto che le TPU costino molto meno non li ha ancora convinti a cambiare in massa, ma l’attenzione sempre maggiore ai costi, ed il fatto che gli ultimi due prodotti di NVIDIA abbiano mostrato problemi di configurazione, potrebbe ribaltare la frittata in modi inaspettati. L’ultima generazione di TPU ha migliorato notevolmente le performance nell’inferenza, e quindi manca poco perché venga adottata in massa.
Anthropic ha annunciato l’investimento di $20 miliardi in TPU Google, con il caveat che se li vuole gestire da sola, non lasciarli nelle mani del più grosso concorrente. Claude AI da anni usa le TPU sia per l’allenamento sia per l’inferenza, ed e’ chiaro che se metti tutte le uova in un paniere, Google poi ti mangia. Huang ed Amodei hanno litigato spesso in passato, sui temi del costo e del controllo dell’IA, ma in questo istante devono trovare un accordo per proteggersi dall’invadenza di Google.
In questo scenario dove piovono miliardi in ogni angolo che ti giri, dobbiamo considerare probabile che la Cina tiri fuori il coniglio dal cappello. Specialmente Qwen (gruppo Alibaba) e Deepseek promuovono soluzioni che riducono del 90% il costo di allenamento ed inferenza rispetto agli incumbent occidentali. Adottano l’approccio Mixture of Experts (misto di esperti, leggete qui) ed hanno sviluppato hardware innovativo, non GPU e nemmeno TPU, proprio per non sprecare miliardi di dollari inutilmente. I cinesi vogliono adottare l’intelligenza artificiale in modo pragmatico, ed incrementale, anche dal panettiere volendo, senza far tante cattedrali datacenter. Per far questo, il ranocchio elettronico di Shenzen deve costar pochissimo.
Deepseek R1 è stato allenato con meno di $300.000, quando i suoi concorrenti americani han richiesto centinaia di milioni di dollari: anche considerando le spalle large delle magnifiche sette, queste differenze di ordini di grandezza sono nodi che arriveranno al pettine, tra poco. Anche la messa a punto del cross-node expert parallelism per ottimizzare la performance infrastrutturale, ha ridotto il rapporto costi/profitti di cinque volte, segno di efficienza notevole che in America manca.
Qwen ci dice di essere otto volte più efficiente delle sue versioni precedenti, una dichiarazione difficile da provare, ma che piace molto agli investitori ed a quelle aziende che non vogliono vedersi schiacciare tra la padella NVIDIA e la brace Google. Per mesi ho scritto che sanzioni e sovvenzioni sarebbero tornate indietro come boomerang, e vedere che la Cina ora ha aziende indipendenti nello sviluppare tecnologia hardware innovativa, architetture complesse ed efficienza dei modelli, e’ la prova che aver cercato di escludere i cinesi dal mercato mondiale è stata una tafazzata importante.
