C’è un momento preciso in cui smetti di essere un semplice utente e diventi un vero ‘tinkerer’: accade quando decidi che inviare i tuoi dati a un server remoto per farli processare da un modello cloud è un insulto alla tua privacy e alla tua libertà.
Recentemente ho deciso di dare una scossa al mio workflow, configurando un ambiente locale capace di non solo leggere testo, ma di ‘vedere’ attraverso gli screenshot. Il cuore di tutto? Un setup basato su llama.cpp (tramite l’ecosistema llama), con un occhio attento alla velocità di generazione.
Il setup che ho messo in piedi è un mix di potenza bruta e configurazione chirurgica. Utilizzando modelli come Gemma 4 o le varianti di Llama, ho configurato un server locale che gestisce input multimodali. La vera sfida non è solo far girare il modello, ma farlo girare *bene*. Usando il framework di `llama.cpp` e orchestrando tutto tramite un’interfaccia che punta a un server locale, ho reso possibile passare uno screenshot del mio terminale direttamente al modello, chiedendogli: ‘Perché questo comando fallisce?’.
Il segreto per non impazzire tra latenza e crash è l’uso di modelli quantizzati e, soprattutto, l’integrazione di un modulo di visione (il famoso ‘projector’). Senza il giusto file di proiezione, il modello è cieco. Con il setup corretto, invece, l’esperienza diventa fluida: carichi un’immagine, il modello la analizza e ti risponde in pochi secondi, tutto senza che un singolo bit esca dal tuo router.
Per chi vuole provare, il mio consiglio è di puntare su architetture che supportano nativamente la multimodalità e di non trascurare la gestione della memoria VRAM. Se hai una GPU decente o un chip Apple Silicon con un buon amount di memoria unificata, puoi far girare modelli che superano abbascamente le prestazioni dei servizi cloud più economici, con il vantaggio immenso di avere il controllo totale sui pesi del modello e sui tuoi dati.
In definitiva, costruire il proprio ‘brain server’ locale non è solo una questione di nerdismo fine a se stesso; è una dichiarazione di indipendenza tecnologica. È la differenza tra usare uno strumento e possedere l’officina.