I numeri brillano, i grafici salgono verso l’infinito e i comunicati stampa sembrano scritti da un PR sotto l’effetto di troppa caffeina. Se avete sbirciato su Hacker News ultimamente, avrete visto quei punteggi DeepSWE che sembrano usciti da un film di fantascienza dove le macchine hanno finalmente capito come risolvere i bug senza farci piangere.
Però, fermiamoci un secondo. Prima di festeggiare con un drink e l’idea di poter finalmente delegare tutto il refactoring della nostra legacy code a un bot, c’è un piccolo problema: come facciamo a sapere se questi modelli stanno davvero ragionando o se stanno solo facendo un ‘copy-paste’ estremamente sofisticato di pattern che hanno già visto durante il training?
Qui entra in gioco MaxxBench. L’idea dietro questo nuovo framework di ricerca è geniale quanto brutale: invece di sottoporre gli LLM ai soliti test standardizzati (che ormai sono diventati il equivalente del ‘test del dito’ per i software di sicurezza), MaxxBench prova a cambiare le regole del gioco. Prende dei task ingegneristici famosi e, proprio quando il modello pensa di aver capito la risposta, gli chiede di fare qualcosa di diverso, di insolito, di fuori dagli schemi.
In pratica, è come se chiedessi a uno studente di medicina di spiegarti l’anatomia, ma poi lo obbligassi a farlo usando solo termini dialettali. Se il modello crolla, allora quel punteggio altissimo che avete letto non era vera competenza, ma solo una capacità di memorizzazione impressionante.
Per noi che mastichiamo codice tutto il giorno, la questione è vitale. Non ci serve un modello che sappia scrivere un ‘Hello World’ perfetto o che risolva problemi che sono già presenti in ogni repository di GitHub. Ci serve qualcosa che non vada in panico quando il requisito cambia di un millimetro o quando dobbiamo implementare una logica che non segue i pattern standard della industria.
Non è una questione di nazionalità o di leggi che arrivano da Bruxelles (che tanto sappiamo già che ci complicano la vita con i soliti regolamenti), ma di pura sostanza tecnica. Se la tecnologia che stiamo adottando è solo un pappagallo stocastico molto costoso che imita i pattern del passato, allora siamo in un vicolo cieco.
MaxxBench ci sta dicendo: «Bravi i punteggi, ma dimostratecelo quando le cose si fanno strane». E onestamente, io non vedo l’ora di vedere i prossimi test. Se i modelli reggeranno, allora sì, potremmo iniziare a parlare di una vera rivoluzione. In caso contrario, torneremo a sbadigliare davanti a un terminale pieno di errori, ma almeno sapremo che non stiamo inseguendo un miraggio digitale.