E se vi dicessi che potreste far girare un gigante da 744 miliardi di parametri direttamente sulla vostra workstation, senza dover chiedere un prestito in banca per noleggiare cluster di GPU in cloud? Sembra una follia, una di quelle promesse troppo belle per essere vere che solitamente finiscono con un crash di sistema e un caffè amaro. Eppure, Colibrì (o ‘Colibrì’ per gli amici) ci sta provando, e lo sta facendo con una grazia tecnica che merita un applaio.
Il progetto, nato da un lavoro di ottimizzazione estrema, punta a far girare modelli della famiglia GLM/DeepSeek (e simili) usando tecniche che sfidano le leggi della fisica del silicio. Il trucco non è la forza bruta, ma l’astuzia. Invece di caricare tutto il peso del modello nella RAM — cosa che manderebbe in sofferta qualsiasi computer domestico — Colibrì utilizza una strategia di ‘streaming’ intelligente. Il modello viene letto dal disco, processato e poi scartato, quasi come se fosse un film in streaming su Netflix, invece di essere scaricato interamente sul disco fisso.
Il cuore del miracolo è l’efficienza. Grazie a tecniche di quantizzazione spinta (portando i pesi a livelli bassissimi) e a una gestione magistrale del caricamento dei dati, l’autore è riuscito a far girare modelli che normalmente richiederebbero centinaia di GB di VRAM su hardware consumer. Non è tutto perfetto, ovviamente: la velocità di generazione è quella che si può immaginare per un sistema che deve leggere continuamente dal disco, ma l’idea di avere un ‘cervello’ così vasto accessibile localmente è rivoluzionaria.
Perché dovrebbe interessarci? Perché in un mondo dove i giganti del tech ci tengono prigionieri in ecosistemi chiusi, dove ogni nostra interazione passa per i server di una multinazionale, avere la possibilità di far girare modelli pesantissimi in locale significa privacy, sovranità digitale e, soprattutto, libertà. Non hai bisogno di un supercomputer da milioni di euro; ti serve solo un disco veloce e un codice scritto con l’ossessione per l’ottimizzazione.
Certo, non aspettatevi risposte istantanee come quelle di ChatGPT. Colibrì è un esperimento di ingegneria estrema, un esercizio di stile che spinge i limiti dell’hardware che già possediamo. È la dimostrazione che, quando la potenza di calcolo manca, l’intelligenza del codice può fare la differenza. È il trionfo del ‘fare tanto con poco’, una filosofia che non passa mai di moda, specialmente nell’era dell’open source.
Source: Show HN: Getting GLM 5.2 running on my slow computer