Quanto vi sentite liberi quando usate ChatGPT? Probabilmente per niente, perché in realtà siete solo inquilini in un enorme condominio digitale gestito da qualcuno che potrebbe decidere di cambiare le regole della casa (o alzare l’affitto) in qualsiasi momento.
Siamo abituati a pensare che per far girare un modello linguistico serio serva un data center grande quanto il Duomo di Milano, pieno di rack di GPU che appartengono a una multinanza e che ti mandano la fattura a fine mese. È un modello che ci rende dipendenti, passivi e, soprattutto, vulnerabili. Se il provider decide di aggiornare il modello e lo rende più stupido, o se decide che i tuoi dati non sono più al sicuro, tu non puoi fare nulla se non sperare che non ti abbiano già spiato.
Eppure, c’è una via d’uscita che profuma di pura libertà hacker: Mesh LLM.
L’idea dietro questo progetto (basato su iroh) è geniale nella sua semplicità: invece di rincorrere l’ultimo modello monolitico, perché non usiamo quello che abbiamo già? Hai un vecchio PC sotto la scrivania? Un server polveroso in garage? Un altro laptop che non usi più? Mesh LLM permette di unire le GPU e le memorie di queste macchine, facendole lavorare insieme come se fossero un unico, potentissimo supercomputer distribuito. E la cosa più bella? Per il tuo software, tutto questo appare come un semplice endpoint locale, compatibile con l’API di OpenAI. Basta puntare il client su http://localhost:9337/v1 e lasciar fare al mesh.
Ma non è solo un trick per risparmiare sulla bolletta. La vera magia tecnica sta nel modo in cui i modelli più giganti vengono gestiti. Se un modello è troppo grande per la singola macchina, entra in gioco il sistema «Skippy». Il modello viene letteralmente fatto a pezzi: alcuni strati (layers) girano sul nodo A, altri sul nodo B, e così via, in una pipeline che fluisce attraverso la rete.
Il tutto poggia su iroh, una libreria di networking che si occupa del lavoro sporco: hole-punching, superamento dei NAT e connessioni QUIC sicure tra peer. Non serve un server centrale che faccia da arbitro; ogni nodo ha la sua identità basata su chiavi pubbliche. È l’essenza stessa del peer-to-peer applicata all’intelligenza artificiale.
Naturalmente, non è tutto rose e fiori. Gestire la latenza in una rete distribuita dove i nodi possono sparire da un momento all’altro è una sfida tecnica brutale. Se la rete lagga, la tua risposta AI potrebbe arrivare con la stessa velocità di una tartaruga sotto sedativi. Però, rispetto al modello attuale di ‘centralizzazione forzata’ e dipendenza cieca dai big tech, questa direzione è una boccata d’ossigeno.
Siamo di fronte a un futuro dove il potere computazionale non è più concentrato in pochi enormi silos, ma è sparso, privato e, soprattutto, sotto il nostro controllo. Se funziona come promesso, la prossima vera rivoluzione AI non avverrà in un ufficio di San Francisco, ma nei nostri laboratori fatti in casa.