Immaginate di avere un assistente che è un genio della logica, ma che ogni tanto decide di inventarsi un intero universo fantasy mentre cercate solo di fargli parsare un file JSON. Ecco, questo è il problema degli LLM attuali: sono bravissimi a chiacchierare, ma quando devono fare il lavoro sporco dentro un workflow software, iniziano a sbandare e a ‘allucinare’ come un programmatore dopo tre notti insonne a debuggare un kernel.
Diogo Almeida, che non è esattamente un novellino visto che ha contribuito a dare forma a ChatGPT, ha deciso che è ora di cambiare paradigma. Con la sua nuova startup TypeSafe AI, ha lanciato il modello ‘Jev’. La particolarità? Jev non vuole scrivere poesie o risponderti sulla trama di ‘Blade Runner’. In realtà, ha rinunciato intenzionalmente alla generazione di stringhe di testo.
Invece di un output testuale imprevedibile, Jev punta su quello che chiamano ‘System One Model’: output strutturati, tipizzati e, soprattutto, veloci. Parliamo di tempi di risposta che passano dai secondi (o decine di secondi) dei modelli classici a frazioni di secondo, tra i 70 e i 500 millisecondi. Per chi mastica codice, questo significa poter usare l’AI non come un chatbot con cui chiacchierare, ma come una vera e propria funzione logica, un ‘smart if-statement’ che puoi inserire direttamente nel tuo flusso di esecuzione senza il rischio che il sistema crashi perché l’AI ha deciso di essere creativa.
La vera chicca tecnica è il metodo RLCD (Reinforcement Learning for Calibrated Decisions). Mentre gli altri modelli si allenano per compiacere l’utente (spesso diventando troppo sicuri di sé anche quando dicono cavolate), Jev è addestrato per essere ‘epistemicamente onesto’. Se non è sicuro, te lo dice con una probabilità calcolata. Niente più incertezze nascoste dietro un tono assertivo ma falso.
Certo, come sempre quando si parla di nuove architetture e nuovi player, c’è da guardare con un briciolo di sano scetticismo (specialmente quando i costi sembrano troppo belli per essere veri, anche se qui la trasparenza sui token di output ‘gratis’ è un tentativo interessante di rompere il monopolio). Però, l’idea di avere un motore di inferenza che non genera testo ma solo decisioni probabilistiche e sicure è esattamente la direzione che serve per smettere di giocare con i giocattoli e iniziare a costruire sistemi automatizzati veri. Se riusciranno a mantenere queste promesse di velocità e precisione senza farci finire in un altro ecosistema chiuso e proprietario, potremmo finalmente vedere l’AI integrata seriamente nel software che scriviamo ogni giorno.