Perché usare un cannone per uccidere una mosca quando ti basta un buon vecchio schiaffo?
Questa è la domanda che due ingegneri Amazon si sono fatti mentre guardavano la fattura mensiva per l’utilizzo di Claude Sonnet 4.6. Mentre il resto del mondo sta correndo a inseguire l’ultimo modello con un numero di parametri che nemmeno le banche centrali riescono a contare, in casa Amazon hanno fatto una mossa che definire ‘pragmatica’ è un eufemismo. Hanno sostituito il mastodontico LLM con ‘Strands Decider’, un modello decisionale molto più leggero, per gestire uno dei loro sistemi di ticketing interni più grandi.
Sì, avete letto bene. Non hanno cercato di rendere l’AI più intelligente, hanno cercato di renderla meno sprecata. Il problema era semplice: usare un modello di linguaggio generativo per decidere come instradare un ticket è come chiamare un intero team di consulenti McKinsey per decidere se una lampadina è accesa o spenta. È un overkill clamorato che brucia risorse, latenza e, soprattutto, budget.
Strands Decider non cerca di scrivere poesie sulla malinconia di un server offline; si limita a fare quello che deve: prendere decisioni logiche basate su input strutturati. Il risultato? Milioni di dollari risparmiati. È la vittoria del ‘giusto strumento per il giusto lavoro’ contro l’attuale culto dell’iper-parametrizzazione che sta dominando l’industria.
Per noi che mastichiamo codice e logica, questa notizia è una boccata d’ossigeno. In un’epoca in cui ogni startup cerca di venderti un ‘agente AI autonomo’ che in realtà è solo un wrapper su un modello costosissimo, vedere dei big player che tornano alla sostanza è eccitante. Non importa quanto sia figo il paper che descrive le capacità creative di un modello; se la tua task è classificare un errore 404, non ti serve un filosofo, ti serve un algoritmo efficiente.
Certo, restiamo in un ecosistema dove tutto è ottimizzato per far girare le infrastrutture dei giganti di turno, e l’idea che queste soluzioni siano blindate dentro i loro ecosoli proprietari non è esattamente entusiasmante per chi ama l’interoperabilità. Ma il principio tecnico è impeccabile. Se potete ottenere lo stesso output (o migliore) con un modello decisionale specializzato invece di un Transformer gigante che pesa quanto l’intera biblioteca dell’Accademia di Francia, fatelo. E risparmiate pure quel budget per qualcosa di più utile, magari per finanziare qualche progetto open source che non ci costringa a dipendere da un’API che decide il prezzo in base al mood del giorno.
Source: Amazon saves millions by replacing Sonnet 4.6 with Strands Decider