Avete presente quando cercate di cambiare un modulo in un PC e vi accorgete che il produttore ha saldato tutto sulla scheda madre solo per fare i fighi? Ecco, AMD ha appena deciso di portare questo concetto a un livello cosmico, ma con l’aggiunta di un po’ di silicio e un sacco di potenza di calcolo.
La notizia è questa: AMD ha acquisito Taalas, una startup torontese che ha un approccio all’inferenza AI che definire ‘estremo’ è un eufemismo. Invece di caricare i pesi di un modello in una memoria RAM o HBM (che è il metodo standard, quello che permette ai nostri GPU di essere flessibili), Taalas propone di ‘inciderli’ direttamente nel silicio. Parliamo di MSIC, Model-Specific Integrated Circuits. In pratica, il modello non viene caricato: il modello *è* il chip.
I numeri, per chi mastica benchmark, sono da brividi. Le prime demo del chip HC1 hanno fatto girare Llama 3.1 8B a quasi 17.000 token al secondo. Per capirci, è una velocità che fa sembrare le attuali GPU di Nvidia dei vecchi modem 56k che cercano di scaricare un file ISO in formato torrent.
L’idea tecnica è affascinante: una parte del chip è dedicata alla memorizzazione permanente dei pesi (mask-ROM), mentre un’altra zona (SRAM) gestisce i dati dinamici come i KV cache e i piccoli adattatori tipo LoRA. Se tutto va bene, AMD potrebbe combinare la potenza bruta dei suoi rack Instinct con questi acceleratori ultra-veloci per creare dei mostri di efficienza capaci di generare testo quasi istantaneamente.
Però, fermiamoci un attimo. Non tutto è oro quello che luccica (o che brilla sotto la luce dei laser di litografia). C’è un enorme, enorme ‘ma’. Se incidi i pesi nel silicio, se domani esce un modello nuovo che spacca tutto, il tuo chip è diventato un fermacarte molto costoso. Cambiare il modello richiede un nuovo processo di produzione, un ‘re-spin’ dei chip che, anche se AMD dice sia più economico rispetto a rifare tutto da zero, resta comunque un incubo logistico e finanziario.
Qui entriamo nel territorio del pericolo: stiamo parlando di una tecnologia che premia solo chi ha già vinto la partita. È un ecosistema pensato per i giganti che hanno modelli stabili, tipo OpenAI o Meta, che possono permettersi di decidere ‘Ok, questo è il nostro modello per i prossimi sei mesi’. Per il resto del mondo, o per chi ama sperimentare con l’open source e cambiare architettura ogni martedì, questa è una gabbia dorata fatta di silicio.
In sintesi: se volete far girare un chatbot che risponde prima ancora che abbiate finito di digitare la domanda, AMD ha la soluzione definitiva. Se invece amate la libertà di aggiornare i vostri sistemi senza dover chiamare un fonde di Taiwan, meglio tenersi stretti i vecchi, gloriosi, flessibili GPU.
Source: AMD acquires Taalas to boost inference performance by etching models in silicon