Scommetto che anche voi avete presente quel momento di puro disgusto quando un’app che usate ogni giorno, magari una di quelle che stiamo smanettando per integrare in qualche progetto custom, smette improvvisamente di funzionare solo perché i server di OpenAI hanno deciso di fare un break o perché il tuo abbonamento è scaduto. È frustrante, vero?
Recentemente è uscito un pezzo su Hacker News che ha centrato il punto con una precisione chirurgica: stiamo vivendo l’era della ‘pigrizia da API’. Oggi, per ogni minima feature che richieda un briciolo di ‘intelligenza’, gli sviluppatori hanno la tendenza a lanciare una chiamata API verso Anthropic o OpenAI. Risultato? Abbiamo trasformato delle semplici funzioni in sistemi distribuiti complessi, costosi e, diciamocelo, incredibilmente fragili.
Ma parliamoci chiaro: abbiamo in tasca dei mostri di silicio che farebbero impallidire un supercomputer di dieci anni fa. Il tuo smartphone ha un Neural Engine dedicato che sta lì, a polverizzare silicio, in attesa di fare qualcosa di utile. Invece, cosa facciamo? Mandiamo un payload JSON verso una farm in Virginia, aspettiamo che il server elabori, sperando che la latenza non sia troppa e che il provider non decida di cambiare i termini di servizio all’improvviso. È una follia.
E non è solo una questione di efficienza o di latenza. Per noi che amiamo smontare le cose, il vero problema è la perdita di controllo. Quando spari i dati degli utenti in un cloud di terze parti, hai appena aperto il vaso di Pandora della privacy, della gestione del consenso e delle rogne legali. Hai trasformato un prodotto locale in un bersaglio per data breach e richieste governative.
La vera sfida, quella che fa battere il cuore a chi mastica codice e hardware, è riportare il carico di lavoro sul dispositivo. Se una feature può essere eseguita localmente, farla girare su un modello compresso direttamente sul chip è l’unica strada onesta. Non serve l’IA ‘ovunque’, serve software che funzioni, che sia privato e che non dipenda dal buonumore di un’azienda della Silicon Valley.
Per noi maker e dev, questo significa tornare alle basi: ottimizzazione, quantizzazione dei modelli, gestione intelligente delle risorse locali. Meno hype da comunicato stampa e più ingegneria vera. Meno ‘cloud-first’ e più ‘device-first’. Perché alla fine della giornata, l’unico sistema che vogliamo che funzioni senza interruzioni è quello che abbiamo costruito noi.
Source: Local AI needs to be the norm