Immaginate di dover spiegare a un compagno di corso cosa succede nel prossimo episodio di una serie TV che state seguendo, ma senza poter usare troppe parole. Se sapete già come va a finire, vi basterà un accenno, un piccolo indizio. Se non ne avete idea, dovrete descrivere ogni singola inquadratura. Ecco, il punto è proprio questo: la capacità di riassumere sta alla base della capacità di capire.
Recentemente è uscito un paper/post su ngrok che sposta il focus dal solito hype da ‘l’AI cambierà il mondo’ a qualcosa di molto più tecnico e, onestamente, decisamente più interessante per chi ama smanettare con i bit: la compressione è predizione. In pratica, l’autore sostiene che gli LLM e gli algoritmi di compressione stiano cercando di risolvere esattamente lo stesso problema matematico: prevedere cosa viene dopo.
Per chi non ha passato le notti su terminali polverosi, lasciatemi chiarire il concetto senza annoiarvi con le formule. Quando comprimete un file (che sia un .zip o un .png), state cercando di eliminare la ridondanza. Per farlo, dovete ‘prevedere’ quali pattern si ripeteranno. Se il vostro algoritmo è bravo a intuire che dopo la stringa ‘Hello ‘ seguirà probabilmente ‘World’, non ha bisogno di memorizzare tutto il blocco, gli basta un piccolo riferimento. Gli LLM fanno la stessa cosa, ma invece di file binari, lavorano su distribuzioni di probabilità di token testuali.
Questa non è la solita fuffa da marketing che serve solo a gonfiare le valutazioni delle startup della Silicon Valley. È un concetto fondamentale che unisce il mondo della teoria dell’informazione a quello del deep learning. Se un modello è un eccellente compressore, significa che ha appreso la struttura profonda dei dati che sta processando. Più è bravo a prevedere, meno spazio serve per descrivere l’informazione.
Certo, mentre il resto del mondo si perde in dibattiti etici su quanto l’AI possa scrivere poesie (spoiler: spesso sono terribili), noi possiamo concentrarci sul fatto che la vera frontiera è l’efficienza. Più siamo bravi a prevedere, più i modelli diventano densi, leggeri e, potenzialmente, meno dipendenti da infrastrutture cloud proprietarie che sembrano progettate apposta per tenerci in ostaggio con abbonamenti mensili infiniti.
Non è una rivoluzione che cambierà il modo in cui facciamo la spesa, ma è un cambio di paradigma che dà un senso logico al caos dell’attuale boom tecnologico. La prossima volta che vedete un modello che sembra magico, ricordatevi che sta solo cercando di indovinare il prossimo pezzetto di puzzle con una precisione statistica spaventosa. È matematica, non magia.
Source: Compression is prediction