Immaginate di comprare un nuovo computer e scoprire che, con l’aggiornamento del sistema operativo, la vostra enciclopedia digitale preferita è sparita, ma la CPU sembra improvvisamente volare. Sembra un bug, vero? In realtà, è esattamente quello che sta succedendo nel mondo dei Large Language Models.
C’è un dibattito caldo che sta girando su Hacker News e la questione è sottile: i modelli di IA stanno diventando meno colti, ma più capaci di pensare. Le metriche di ‘reasoning’ (il famigerato ragionamento logico) sono in crescita, mentre la quantità di calcolo necessaria per ogni singolo token sta crollando. In pratica, i laboratori stanno facendo una pulizia massiccia, rimuovendo quella marea di nozioni enciclopediche e fatti enciclopedici che gonfiano solo il peso del modello senza aggiungere vero valore logico.
Per chi mastica codice e architetture, la cosa è affascinante. È come se stessero passando da una biblioteca polverosa piena di libri che nessuno legge mai a un piccolo ufficio di consulenti brillanti che sanno esattamente come risolvere un problema logico senza dover citare la data esatta della battaglia di Waterloo. Stanno togliendo la ‘world knowledge’ superflua per concentr로arsi sul processo decisionale.
Certo, c’è da farsi due domande. Quando le big tech decidono cosa deve restare e cosa deve essere rimosso dal ‘cervello’ dei loro modelli, la tentazione di fare una selezione un po’ troppo accurata (o che risponda a logiche di risparmio energetico e costi) è forte. Non stiamo parlando di leggi che cambieranno la vostra vita qui in Italia, ma il principio è lo stesso: chi controlla i pesi del modello controlla la qualità della conoscenza disponibile.
Detto ciò, se questo trade-off significa avere modelli che rispondono istantaneamente e che non si incartano su un problema di logica solo perché hanno troppi dati inutili da processare, allora io sono il primo a brindare. Meno fuffa enciclopedica, più efficienza pura. Se l’obiettivo è un’IA che sappia ragionare e non solo ripetere a memoria Wikipedia, allora questo ‘downgrade’ intenzionale è la mossa più smart che potessero fare. Speriamo solo che nel processo di ‘pulizia’ non finiscano per cancellare anche le ability che ci servono davvero per far girare le nostre pipeline di automazione.