Immaginate di trovarvi davanti a un sacco di monete che volano via dal vostro portafoglio ogni secondo, solo per il fatto che il vostro assistente digitale è un po’ troppo prolisso e vanitoso.
Recentemente è spuntata fuori una chicca su Hacker News che ci ricorda quanto l’inefficienza sia la nuova religione del mondo enterprise. Un developer, con la tipica nonchalance di chi ha troppa caffeina nel sistema, ha dimostrato che passare da Claude a Pi non è un’impresa titanica. Anzi, ha buttato giù un’estensione per gestire la cosa su più tab in circa venti minuti. Ventidue minuti, per la precisione, se contiamo il tempo per il primo debug.
Ma la vera perla non è la facilità del task, quanto l’astuzia del trick. L’autore ha trovato un modo per istruire il modello a usare il comando «cat <<'EOF'». Per chi non mastica terminale, è un modo per scrivere file in modo pulito, ma la cosa geniale è che questo pattern, prima che i sistemi di auto-mode diventassero comuni, faceva scattare i filtri di sicurezza dei manual review come se fossero allarmi antiaerei. Un piccolo bypass elegante che bypassa le allowlist dei comandi git senza nemmeno sforzarsi.
E qui arriva la parte che fa bollire il sangue a chiunque abbia mai dovuto ottimizzare una query SQL o un loop in C. Se prendiamo un modello con un milione di utenti attivi al giorno e cento milioni di richieste giornaliere, tagliare anche solo mille token da ogni istruzione significa risparmiare milioni di dollari all'anno in costi di inferenza. Milioni. Praticamente il budget per mandare una flotta di supereroi a salvare l'universo.
Eppure, sembra che i grandi player preferiscano lasciare che i token evaporino nel nulla piuttosto che investire il tempo necessario per implementare un'ottimizzazione così banale. Forse è troppo difficile da spiegare in un comunicato stampa pieno di buzzword sulla 'AI generativa che trasforma il business'.
In Italia, dove siamo maestri nel far quadrare i conti con budget da fame, questa spreconeria ci suona quasi aliena. Noi siamo abituati a spremere ogni singolo bit di hardware disponibile. Vedere queste multinazionali che bruciano capitali solo per pigrizia ingegneristica è quasi un insulto alla nostra cultura del 'fai con quello che hai'.
Insomma, la prossima volta che vedete un'aggiornamento che aggiunge una funzione inutile ma 'esteticamente impattante', ricordatevi che dietro quel marketing c'è un enorme spreco di risorse che potrebbero essere usate per qualcosa di veramente utile. O almeno per un server che non sembri un fornetto elettrico acceso h24.
Source: Goodbye Claude, Hello Pi