E se vi dicessi che il vostro computer, quello che usate per guardare serie TV o scrivere codice, ha potenzialmente lo stesso ‘cervello’ di un server da migliaia di euro? Non è un trick da venditori di hardware, ma la promessa di Strata, il nuovo framework che sta facendo discutere la community.

Il problema dell’AI locale è sempre stato lo stesso: o hai una GPU da capogiro con una VRAM infinita, o ti accontenti di modelli mediocri che rispondono alla velocità di una tartaruga con l’artrite. Strata prova a scardinare questo limite con un approccio che potremmo definimento ‘democratico’. L’idea è quella di non lasciare risorse inutilizzate: se la tua scheda video è piena, Strata va a pescare nella RAM e coinvolge persino il processore, orchestrando un lavoro di squadra tra i vari componenti del PC.

Immaginate una cucina professionale: gli ingredienti che usate ogni secondo sono sul tagliere (la vostra GPU), ma il resto della dispensa e della cella frigorifera (RAM e SSD) sono pronti a intervenire non appena serve. È proprio questo il cuore del funzionamento di Strata. Il modello non deve per forza stare tutto interamente sulla scheda video; i suoi ‘esperti’ vengono spostati e caricati dinamicamente. Il risultato? Potete far girare modelli complessi, come il Qwen3.8-Flash-Next, anche se non possedete un supercomputer.

La cosa più interessante, e che farà impazzire chi usa agenti di coding o assistenti personali, è la compatibilità. Si comporta come un server OpenAI: basta puntare l’URL locale e il gioco è fatto. Potete collegarci Claude Code o qualsiasi app che parli il linguaggio standard delle API senza dover configurare mille dipendenze strane. E per chi ama sperimentare, c’è anche la gestione delle immagini e la possibilità di decidere quanto ‘pensare’ debba l’AI (da un modo istantaneo a uno più riflessivo e profondo).

Certo, non è tutto rose e fiori. Se la RAM finisce, il PC inizierà a rallentare vistosamente, trasformando la vostra sessione di lavoro in un test di pazienza estrema. E sebbene l’approccio sia geniale per chi vuole privacy totale e controllo locale, gestire i pesi dei modelli e i caricamenti manuali richiede comunque un minimo di dimestichezza con i terminali e i file di configurazione. Ma per noi appassionati, questo tipo di libertà e di ottimizzazione estrema è esattamente ciò che serve per smettere di dipendere dai cloud proprietari e dalle loro restrizioni.

In breve: se avete un PC con una discreta quantità di RAM e una GPU decente, Strata è la scusa perfetta per dare una nuova vita all’hardware che avete già sotto mano.

Source: Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

Dimenticate l’idea che per avere un assistente al coding che non allucini come un fumetto Marvel serva una farm di GPU grande quanto il quartier generale di Google.

C’è una novità che sta facendo saltare sulla sedia chiunque abbia almeno un MacBook con qualche GB di RAM o una vecchia RTX che ancora arranca con dignità. È arrivato Qwen 3.6 27B, e no, non è l’ennesimo hype passeggero che finisce nel dimenticatoio dopo due settimane di test su Twitter.

Il punto è questo: abbiamo passato mesi a inseguire modelli giganteschi, pesanti come un database legacy non documentato, che richiedevano risorse che solo un cluster di server enterprise può permettersi. Ma qui siamo nel mondo dei maker, di quelli che vogliono compilare, testare e sperimentare senza dover chiedere il permesso a nessun cloud provider. Il nuovo Qwen 27B sembra aver trovato il cosiddetto ‘sweet spot’. È abbastanza intelligente da essere utile davvero nel coding, ma abbastanza snello da girare decentemente su hardware consumer, grazie a strumenti che conosciamo bene come llama.cpp e OpenCode.

Per chi non mastica ancora il gergo, il trucco sta tutto nella quantizzazione e nell’ottimizzazione. Far girare un modello da 27 miliardi di parametri non è una passeggiata, ma se usi la tecnica giusta, puoi far sì che il tuo hardware locale faccia il lavoro sporco senza mandare in corto circuito l’alimentatore. È la vittoria dell’efficienza sull’astrazione selvaggia.

Perché dovrebbe interessarci? Perché non dobbiamo più temere che un aggiornamento dei termini di servizio o una nuova policy sulla privacy di qualche gigante della Silicon Valley ci taglino le gambe. Se il modello gira sul tuo ferro, il codice resta sul tuo ferro. Fine della discussione. Non è una questione di sovranità digitale da comizio politico, è pura libertà tecnica: se puoi farlo girare in casa tua, nessuno può dirti cosa puoi o non puoi scrivere.

Certo, non aspettatevi che sostituisca un team di sviluppatori senior, ma come compagno di pair programming locale mentre sorseggi un caffè e cerchi di capire perché quel test unitario fallisce sempre, è una bomba. Se avete una macchina che non sia un tostapane, andate a scaricarlo. È tempo di riportare l’intelligenza artificiale dove dovrebbe stare: sotto il nostro controllo, non sotto il loro cloud.

Source: Qwen 3.6 27B is the sweet spot for local development

Smettete di misurare il valore di un set di attrezzi solo in base a quanto è grande la cassetta. Se state cercando di far girare Qwen sul vostro setup locale sperando di ottenere le stesse prestazioni di Claude Opus, state solo perdendo tempo (e cicli di GPU).

È circolata un’ondata di hype secondo cui Qwen sarebbe ormai ‘quasi al livello di Opus’. Lo dico con la massima trasparenamente: chi spara queste cifre senza aver analizzato i casi d’uso reali sta solo cercando click. Come ha sottolineato Alex Ellis in un recente post, il punto non è se Qwen sia ‘meglio’ o ‘peggio’ di un modello proprietario gigante, ma che si tratta di due strumenti con scopi completamente diversi. È come se cercaste di usare un saldatore a punta finissima per fare una saldatura su un componente di un vecchio arcade: tecnicamente potreste farcela, ma sarebbe un delirio.

Il discorso è questo: i modelli come Opus sono mostri di parametri che vivono in data center enormi, con una latenza che dipende dal vostro ping e una privacy che… beh, diciamo che affidare i vostri script segreti o i vostri progetti di automazione a un server remoto non è mai l’idea più brillante se volete mantenere il controllo totale. Qwen, o qualsiasi modello che riusciamo a far girare localmente su una macchina che abbiamo assemblato noi, offre qualcosa che i big tech non vi daranno mai: la sovranità.

Per noi che amiamo smanettare con le macchine CNC, creare nuovi plugin per Blender o far girare vecchi motori di gioco, la vera figata non è avere la risposta più poetica del mondo, ma avere un’intelligenza che risponde istantaneamente, offline, senza che nessuno sappia cosa stiamo scrivendo nel file di configurazione. Il valore di un modello locale sta nella sua integrazione nel nostro workflow ‘dirty’: può analizzare i log della nostra stampante 3D, aiutarci a debuggare un pezzo di codice C++ per un progetto retrocomputing o generare asset per Godot, il tutto senza chiamate API che costano un occhio della testa o violano la privacy.

Quindi, smettiamola di inseguire i benchmark di marketing fatti dai vendor per gonfiare il proprio hype. Non cerchiamo il ‘migliore’ in assoluto, cerchiamo lo strumento più adatto al nostro banco da lavoro. Se un modello locale fa il suo lavoro senza richiedere un intero cluster di H100 e ci permette di mantenere i nostri dati sotto chiave nel nostro garage, allora è già una vittoria enorme.

Il futuro non è un unico modello onnisciente che vive nel cloud, ma una moltitudine di piccoli motori intelligenti, specializzati e, soprattutto, nostri.

Source: Local Qwen isn't a worse Opus, it's a different tool

Avete presente quella sensazione di quando provate a far girare un software troppo pesante sul vostro vecchio laptop e l’unica cosa che ottenete è il rumore di una turbina di un Boeing 747 in decollo? Ecco, far girare LLM in locale fino a ieri era un po’ così: molto entusiasmo, zero risultati utili e una dose massiccia di frustrazione.

Ma le cose sono cambiate. E non parlo del solito hype da comunicato stampa scritto da un ufficio marketing che ha abusato di parole come «disruptive» o «sinergia». Parlo di sostanza. Recentemente è emerso che far girare modelli locali non è solo possibile, è diventato—finalmente—decisamente divertente e produttivo. Grazie a pesi come quelli della nuova famiglia Gemma 4 di Google, stiamo entrando nell’era del coding agentico che gira sul proprio hardware, senza dover chiedere il permesso a un server in California.

Il punto non è solo che i modelli sono più intelligenti, ma che sono diventati abbastanza agili da permetterti di fare cose serie. L’autore di un recente post su Hacker News racconta come, usando un Mac M2 con 6ass 64GB di RAM, riesca a far girare tutto in locale usando strumenti come LM Studio o Ollama. Parliamo di refactoring di script Python, scrittura di unit test e persino di far gestire a un agente (tramite Docker, perché siamo gente seria e non vogliamo che l’AI ci cancelli l’intero file system) la creazione di repository da zero. Una cosa che sei mesi fa era pura fantascienza per un setup domestico.

Per noi che amiamo smanettare, questa è la vera bomba. Perché? Perché la libertà è tutto. Far girare tutto in locale significa che puoi guardare sotto il cofano. Puoi vedere come vengono processati i token, puoi tweakare la finestra di contesto, puoi cambiare la quantizzazione e vedere esattamente dove il tuo hardware inizia a soffrire. È come passare dal guidare un’auto a noleggio con il limite di velocità bloccato al possedere un vecchio motore di un’auto d’epoca da rimontare in garage ogni domenica.

Certo, non è ancora tutto perfetto. La velocità di inferenza può essere ancora un po’ lenta se provate a esagerare con il contesto, e i prompt template ogni tanto si rompono come un vecchio circuito stampato lasciato troppo tempo in umidità. E non parliamo della gestione della memoria: se non state attenti, la vostra RAM sparirà più velocemente di un bug in un codice scritto di venerdì pomeriggio.

Ma il potenziale è enorme. L’idea di avere un assistente che non solo risponde a domande, ma che può agire all’interno di un container sicuro, è la base per costruire automazioni che prima erano appannaggio solo delle grandi corporation. Quindi, se avete un vecchio Mac o una workstation con una GPU decente che prende polvere sotto la scrivania, è il momento di dare un’occhiata. La vera rivoluzione non è nel cloud, è nel nostro garage.

Source: Running local models is good now

Smettere di pagare un abbonamento mensile a un big tech per avere un assistente che scrive codice è il sogno proibito di ogni hacker che si rispetti. Ma quanto è davvero realistico far girare tutto in casa senza che il proprio PC esploda in una nuvola di silicio fuso?

Recentemente, su Hacker News è scoppiato un thread che ha fatto vibrare i server di chiunque abbia una GPU con almeno qualche GB di VRAM. La domanda è diretta, senza fronzoli: qualcuno di voi ha davvero sostituito Claude o GPT con un modello locale per il workflow di programmazione quotidiano? E non parlo di fare due esperimenti nei momenti di noia, ma di un passaggio totale, definitivo, ‘full switch’.

Il dibattito è acceso. Da una parte c’è la comodità del cloud, quella sensazione di avere un supercomputer che ti risponde istantaneamente senza preoccuparti se hai dimenticato di pulire i driver. Dall’altra, c’è il fascino (e la necessità) della sovranità tecnologica. Per noi che siamo abituati a smanettare con CNC, macchine per il riciclo di plastica e script Python custom, l’idea di dipendere da una API esterna, soggetta a censura, aggiornamenti arbitrari che rompono tutto e, soprattutto, invasioni della privacy, è un concetto che fa venire i brividi.

Certo, non è tutto rose e fiori. Far girare modelli decenti in locale richiede hardware che, ammettiamolo, pesa sullo stomaco (e sul portafoglio). Se vuoi token/s che non ti facciano venire voglia di tornare a scrivere in Assembly su un Commodore 64, ti serve una build che farebbe invidia a un render farm di Blender. Ma il vero valore non è solo nel throughput, è nel controllo. Niente ‘safety guardrails’ che ti dicono che non puoi scrivere un codice perché ‘potrebbe essere usato per scopi impropri’, niente dati che finiscono nel tritacarne dell’addestramento altrui.

Per noi maker e dev, questo è il cuore della questione: l’autonomia. Se possiamo modellare in 3D, scrivere motori grafici in Godot e far girare IA sul nostro hardware, perché dovremmo accettare il vendor lock-in come una condanna? La sfida tecnica è enorme, ma è esattamente il tipo di rompicapo che ci fa accendere il saldatore alle tre di notte.

Quindi, la domanda resta aperta: siete pronti a sacrificare la comodità dei giganti per la libertà di un modello locale, o preferite continuare a pagare il ‘pizzo digitale’ per un po’ di latenza in meno? Io, personalmente, sto già preparando il setup per il prossimo upgrade della GPU.

Source: Ask HN: Has anyone replaced Claude/GPT with a local model for daily coding?

C’è un momento preciso in cui smetti di essere un semplice utente e diventi un vero ‘tinkerer’: accade quando decidi che inviare i tuoi dati a un server remoto per farli processare da un modello cloud è un insulto alla tua privacy e alla tua libertà.

Recentemente ho deciso di dare una scossa al mio workflow, configurando un ambiente locale capace di non solo leggere testo, ma di ‘vedere’ attraverso gli screenshot. Il cuore di tutto? Un setup basato su llama.cpp (tramite l’ecosistema llama), con un occhio attento alla velocità di generazione.

Il setup che ho messo in piedi è un mix di potenza bruta e configurazione chirurgica. Utilizzando modelli come Gemma 4 o le varianti di Llama, ho configurato un server locale che gestisce input multimodali. La vera sfida non è solo far girare il modello, ma farlo girare *bene*. Usando il framework di `llama.cpp` e orchestrando tutto tramite un’interfaccia che punta a un server locale, ho reso possibile passare uno screenshot del mio terminale direttamente al modello, chiedendogli: ‘Perché questo comando fallisce?’.

Il segreto per non impazzire tra latenza e crash è l’uso di modelli quantizzati e, soprattutto, l’integrazione di un modulo di visione (il famoso ‘projector’). Senza il giusto file di proiezione, il modello è cieco. Con il setup corretto, invece, l’esperienza diventa fluida: carichi un’immagine, il modello la analizza e ti risponde in pochi secondi, tutto senza che un singolo bit esca dal tuo router.

Per chi vuole provare, il mio consiglio è di puntare su architetture che supportano nativamente la multimodalità e di non trascurare la gestione della memoria VRAM. Se hai una GPU decente o un chip Apple Silicon con un buon amount di memoria unificata, puoi far girare modelli che superano abbascamente le prestazioni dei servizi cloud più economici, con il vantaggio immenso di avere il controllo totale sui pesi del modello e sui tuoi dati.

In definitiva, costruire il proprio ‘brain server’ locale non è solo una questione di nerdismo fine a se stesso; è una dichiarazione di indipendenza tecnologica. È la differenza tra usare uno strumento e possedere l’officina.

Source: How to setup a local coding agent on macOS

Smettetela di contare i parametri come se fossero i punti in un gioco arcade; quello che conta è quanto quel codice gira bene senza far esplodere la vostra GPU.

Se pensavate che la corsa all’intelligenza artificiale fosse solo una competizione tra colossi per vedere chi riesce a occupare più VRAM possibile, preparatevi a ricalibrare i vostri setup. È appena uscito Qwen3.6-27B e, lasciatelo dire, non è la solita supercazzola da comunicato stampa. Siamo davanti a un modello ‘dense’ da 27 miliardi di parametri che punta dritto alla giugulare delle prestazioni, specialmente quando si parla di coding.

Il succo della questione è questo: i team di Alibaba hanno sfornato un modello che, nonostante le dimensioni contenute (per gli standard dei LLM moderni), offre prestazioni di livello ‘flagship’. In parole povere? È come trovare un modulo Arduino che ha la potenza di un server rack. La capacità di scrittura del codice è dichiarata come di altissimo livello, e la cosa interessante è che non hai bisogno di una farm di H100 per farlo girare. È un modello che punta all’efficienza pura, capace di gestire task complessi senza chiederti un mutuo per l’hardware.

Da smanettone che non vede l’ora di scaricare i pesi e testarli su una workstation che arranca, trovo questa notizia estremamente eccitante. Perché? Perché siamo nel pieno della rivoluzione ‘local-first’. Se un modello da 27B può competere con i giganti, significa che possiamo far girare assistenti di programmazione seriamente intelligenti direttamente sulla nostra macchina, senza dover mandare ogni singola riga di codice e ogni segreto del nostro progetto su un server proprietario in California. La privacy non è un optional, è il fondamento del nostro modo di lavorare.

Immaginate di poter integrare questo mostriciattolo nel vostro workflow su Godot o per scrivere script Python che controllano la vostra CNC, tutto offline, tutto sotto il vostro controllo. Niente subscription monthly, niente ‘out of tokens’ proprio mentre stai risolvendo quel bug infernale alle tre di notte.

Certo, restiamo con un piede in avanti: non dimentichiamoci che siamo ancora nell’ecosistema di un grande vendor. Ma se l’obiettivo è rendere l’AI accessibile, utilizzabile e ‘stabile’ su hardware che non costa quanto un garage, allora Qwen ha fatto un lavoro incredibile. Non è la soluzione magica per tutti i mali, ma è un pezzo di hardware (software, tecnicamente) che abbiamo bisogno per continuare a buildare, smontare e programmare senza restrizioni.

Preparate i driver e pulite la cache, perché questo qui potrebbe diventare il nuovo compagno di nottate nel vostro terminale.

Source: Qwen3.6-27B: Flagship-Level Coding in a 27B Dense Model