Meta ha appena sputato fuori Llama 3.1 8B, e questa volta sembra averci azzeccato. Finalmente un modello che non richiede un data center per funzionare, ma che può girare su hardware normale, tipo quel Raspberry Pi che hai in cantina da tre anni.
Per chi non lo sapesse, Llama 3.1 8B è un modello di 8 miliardi di parametri che offre un buon compromesso tra qualità e velocità. Con solo 4.1 GB di memoria necessari, può girare su macchine con meno RAM di quelle che usavi per installare Windows XP.
Ma perché è una notizia così importante per noi che passiamo le notti a smanettare con Arduino e Raspberry Pi? Perché finalmente possiamo fare AI locale, senza dipendere dai server cloud di qualche corporate che ci fa pagare ogni singolo byte.
Con un contesto di 128K, questo modello è perfetto per applicazioni di chat, coding, e reasoning. E la cosa migliore? È open-source, quindi possiamo modificarlo, ottimizzarlo e farci quello che vogliamo.
Ma attenzione, non è tutto rose e fiori. Meta ha scelto un’architettura dense, il che significa che non è ottimizzata per il parallelismo. Quindi se pensavi di far girare questo modello su un cluster di Raspberry Pi, preparati a qualche delusione.
Tuttavia, per chi ha una scheda grafica decente o un buon server casalingo, Llama 3.1 8B è una manna dal cielo. Finalmente possiamo sperimentare con l’AI senza dover spendere una fortuna in hardware o in abbonamenti cloud.
E poi, ammettiamolo, c’è qualcosa di soddisfacente nel far girare un modello di AI sul proprio hardware, senza dover chiedere permesso a nessuno. È un po’ come tornare ai tempi del retrocomputing, quando potevi fare tutto con un Commodore 64 e un po’ di pazienza.
Quindi, se siete pronti a mettervi le mani in pasta e a sperimentare con l’AI locale, Llama 3.1 8B è il modello che fa per voi. E se avete bisogno di aiuto per installarlo, be’, sappiamo tutti che la community è sempre pronta a dare una mano.
Ora, scusate, ma devo andare a far girare questo modello sul mio vecchio PC. Chissà se riesce a battere il mio record di partite a Tetris.
Source: Can I run AI locally?