E se vi dicessi che il server che vi serve per far girare l’IA più potente del momento non è in un data center in Virginia, ma è lì, sulla vostra scrivania, accanto alla tazza del caffè?
Sembra una promessa da venditori di fuffa, ma i recenti benchmark di Apple su MLX dicono altro. Il focus qui non è solo sulla potenza bruta, ma su come il nuovo ecosistema M5 (e la gestione distribuita tramite Thunderbolt) stia rendendo l’inferenza locale qualcosa di quasi scioccante. Parliamo di far girare modelli come Muse Spark Open, che vantano oltre 800 miliardi di parametri, con velocità che mettono in crisi l’idea stessa di ‘cloud computing’.
Ma andiamo con ordine, perché i numeri sono pesanti. Grazie all’integrazione dei Neural Accelerators direttamente nella GPU della famiglia M5 e all’uso di tecnologie come l’RDMA (che permette ai vari Mac Studio di parlarsi velocemente via Thunderbolt come se fossero un unico supercomputer), il tempo di risposta — il famigerato Time to First Token — è migliorato drasticamente. Parliamo di un incremento fino a 4.6 volte rispetto alla generazione precedente.
Per noi che mastichiamo codice e modelli, questo significa che l’era dell’agente AI locale è ufficialmente iniziata. Potete lanciare un server con `mlx_lm.server` e collegarlo a tool come OpenCode, gestendo tutto in locale, senza mandare i vostri dati sensibili o i vostri segreti industriali verso server di terze parti che non sapete mai dove si trovino davvero.
Certo, restiamo con i piedi per terra. Non è che domani il vostro MacBook Air da 13 pollici farà girare un modello da 800B senza surriscaldarsi come un fornetto elettrico. Qui parliamo di configurazioni serie, come i Mac Studio con M5 Ultra e una quantità di memoria unificata che farebbe piangere d’invidia qualsiasi setup consumer. È un ecosistema che si sta chiudendo su se stesso, creando un ambiente dove hardware e software sono fusi in modo quasi indissolubile: una comodità tecnica incredibile, ma che vi ricorda quanto sia facile restare intrappolati in un giardino recintato, per quanto lussuoso e performante possa essere.
In conclusione, se siete sviluppatori o ricercatori che cercano privacy e prestazioni senza la latenza del cloud, il futuro ha un odore di alluminio anodizzato e silicio ultra-efficiente. La sfida ora sarà vedere quanto la community open source riuscirà a sfruttare queste potenzialità prima che l’ecosistema diventi troppo autoreferenziale.
Source: Apple ML Research: Muse Spark Open with MLX on Mac Studio