Se pensate che gestire una libreria di libri in un monolocale sia un incubo, provate a far girare un modello da 3 trilioni di parametri su un chip che ha la memoria di uno smartphone di fascia media.
Sì, avete letto bene. I modelli ‘frontier’ stanno crescendo con una fame insaziabile che farebbe sembrare un server farm di Google un buffet all’infinito. Il problema? I pesi di questi modelli sono talmente massicci che servirebbero terabyte di memoria solo per caricarli. E qui entra in gioco Cerebras, con la sua tecnologia wafer-scale che sembra uscita da un episodio di Star Trek.
Il cuore della questione è come Cerebras riesca a far girare modelli come Kimi K3 (un mostro da 3 trilioni di parametri) senza che tutto esploda in un mare di latenza. La loro strategia è meno ‘muro di potenza’ e più ‘catena di montaggio’. Invece di cercare di schiacciare tutto in un unico, mastodontico chip impossibile da costruire, usano una serie di wafer WSE-3T collegati tra loro.
Il trucco sta nel pipeline parallelismo. Immaginate una catena di montaggio in una fabbrica di automobili: ogni stazione fa un pezzo. Cerebras mappa i vari layer del modello su diversi wafer. Il peso del modello non si muove quasi mai; è l’attivazione (il risultato parziale del calcolo) che viaggia velocemente da un wafer all’altro tramite RDMA su Ethernet. È un passaggio che richiede circa 2 microsecondi. Praticamente, i dati sfrecciano più veloci dei vostri pensieri dopo l’ennesimo caffè corretto.
Per i puristi dell’ottimizzazione, la cosa interessante è come gestiscono la memoria. Usano la quantizzazione a 4-bit per ridurre il carico e decidono quanti layer mettere su ogni wafer in base al tipo di attenzione. I layer ‘dense’ sono quelli più pesanti perché devono gestire il KV cache, mentre quelli a ‘linear attention’ sono più snelli. Risultato? Riescono a servire migliaia di token al secondo. Una velocità che farebbe svenire qualsiasi interazione con un LLM tradizionale che si risponde con la calma di un burocrate in pausa pranzo.
Certo, c’è sempre il rischio che questa architettura spinga verso un ecosistema dove solo chi ha i budget di una nazione può permettersi di far girare l’intelligenza artificiale che conta. Ma finché la tecnologia rimane aperta e permette di far girare modelli open source con prestazioni da urlo, io sono qui a fare il tifo per i wafer. La vera sfida non è solo quanto è grande il modello, ma quanto siamo capaci di orchestrare questo caos di silicio senza far esplodere la bolletta elettrica.