Esiste un certo fascino nel guardare un pezzo di hardware che ha visto più ere geologiche di un dinosauro e pensare: «E se ci facessi girare un’intelligenza artificiale?».
Spesso siamo abituati a pensare che l’era dell’AI sia una questione di sola forza bruta, di cluster di GPU che costano quanto un piccolo appartamento e di data center che consumano energia quanto una città media. Ma c’è una sottocultura di appassionati che rifiuta questa narrazione del «sempre più grande, sempre più costoso» e che preferisce il lusso del recupero hardware.
Recentemente è emersa una storia che definirei pura poesia cyberpunk. Un utente è riuscito a far girare Gemma 4 (nella sua versione più leggera) su un server che ha ormai l’età anagrafica di un buon vino. Parliamo di un hardware con processori che hanno circa tredici anni, una tecnologia che per il mondo tech attuale è praticamente preistoria.
Il trucco non è stata la potenza bruta, ma l’ingegno. Il problema? I moderni modelli linguistici sono ottimizzati per istruzioni che i vecchi processori semplicemente non sanno nemmeno come leggere. È come cercare di far suonare un vinile su un lettore CD: la traccia c’è, ma il meccanismo non lo capisce.
L’autore dell’impresa ha dovuto affrontare un vero e proprio incubo di debugging. Il core del problema risiedeva nelle istruzioni AVX, set di istruzioni moderne che i vecchi chip ignorano. Senza queste, il software va in crash o produce output che sembrano il delirio di un traduttore automatico sotto acidi. La soluzione è stata una profonda operazione di ‘chirurgia’ sul codice, bypassando le istruzioni mancanti e adattando i calcoli matematici affinché i vecchi core potessero farcela.
Il risultato? Una velocità di generazione che, sebbene non da record mondiali, è assolutamente sufficiente per compiti di automazione, analisi testuale o semplici chatbot personali. Non è la velocità della luce, ma è una velocità che non richiede un mutuo bancario per essere alimentata.
Questa impresa ci ricorda una cosa fondamentale: l’ottimizzazione del software è un’arma potente quanto l’hardware più recente. In un mondo che spinge sempre verso l’obsolescenza programmata e il consumo smisurato di risorse, dimostrare che l’intelligenza (anche quella artificiale) può risiedere in ciò che abbiamo già in cantina è un atto di resistenza tecnologica che merita rispetto.
Source: Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU