Smettere di pagare un abbonamento mensile a un big tech per avere un assistente che scrive codice è il sogno proibito di ogni hacker che si rispetti. Ma quanto è davvero realistico far girare tutto in casa senza che il proprio PC esploda in una nuvola di silicio fuso?
Recentemente, su Hacker News è scoppiato un thread che ha fatto vibrare i server di chiunque abbia una GPU con almeno qualche GB di VRAM. La domanda è diretta, senza fronzoli: qualcuno di voi ha davvero sostituito Claude o GPT con un modello locale per il workflow di programmazione quotidiano? E non parlo di fare due esperimenti nei momenti di noia, ma di un passaggio totale, definitivo, ‘full switch’.
Il dibattito è acceso. Da una parte c’è la comodità del cloud, quella sensazione di avere un supercomputer che ti risponde istantaneamente senza preoccuparti se hai dimenticato di pulire i driver. Dall’altra, c’è il fascino (e la necessità) della sovranità tecnologica. Per noi che siamo abituati a smanettare con CNC, macchine per il riciclo di plastica e script Python custom, l’idea di dipendere da una API esterna, soggetta a censura, aggiornamenti arbitrari che rompono tutto e, soprattutto, invasioni della privacy, è un concetto che fa venire i brividi.
Certo, non è tutto rose e fiori. Far girare modelli decenti in locale richiede hardware che, ammettiamolo, pesa sullo stomaco (e sul portafoglio). Se vuoi token/s che non ti facciano venire voglia di tornare a scrivere in Assembly su un Commodore 64, ti serve una build che farebbe invidia a un render farm di Blender. Ma il vero valore non è solo nel throughput, è nel controllo. Niente ‘safety guardrails’ che ti dicono che non puoi scrivere un codice perché ‘potrebbe essere usato per scopi impropri’, niente dati che finiscono nel tritacarne dell’addestramento altrui.
Per noi maker e dev, questo è il cuore della questione: l’autonomia. Se possiamo modellare in 3D, scrivere motori grafici in Godot e far girare IA sul nostro hardware, perché dovremmo accettare il vendor lock-in come una condanna? La sfida tecnica è enorme, ma è esattamente il tipo di rompicapo che ci fa accendere il saldatore alle tre di notte.
Quindi, la domanda resta aperta: siete pronti a sacrificare la comodità dei giganti per la libertà di un modello locale, o preferite continuare a pagare il ‘pizzo digitale’ per un po’ di latenza in meno? Io, personalmente, sto già preparando il setup per il prossimo upgrade della GPU.
Source: Ask HN: Has anyone replaced Claude/GPT with a local model for daily coding?