Siamo stati tutti, almeno una volta, vittime del classico ‘hype-induced disappointment’. Leggi su Reddit o su qualche forum di settore che il nuovo modello XYZ è una rivoluzione, quasi un’entità senziente, lo scarichi con un GGUF pesantissimo e… boom. Ti ritrovi davanti a una risposta che sembra scritta da un bot che ha appena perso una scommessa. Ti viene subito da pensare: «Ma che cavolo ho scaricato? È un pezzo di carta».
E invece, la verità è molto più interessante e decisamente meno tragica. Il problema non è quasi mai il modello in sé, ma il caos che regna nel tuo setup locale. Se pensi che far girare un modello sulla tua workstation con una mix di GPU di generazioni diverse sia come far girare lo stesso codice su due macchine identiche, sei fuori strada quanto un fan di Star Wars che cerca di spiegare la trama di Episode IV a un fan di Star Trek.
Il punto è che ogni singola implementazione hardware e software introduce delle piccole divergenze. I ‘logits’ — che sono essenzialmente i punteggi che il modello assegna a ogni possibile parola successiva — vengono elaborati in modi leggermente differenti a seconda delle istruzioni del tuo chip. Una micro-differenza nel calcolo matematico può sembrare insignificante, ma nel mondo dei Transformer, basta un soffio di variazione per far sì che il modello passi da ‘generare un’analisi perfetta’ a ‘ripetere la stessa parola all’infinito’.
Qui entra in gioco la matematica, e sì, preparate il caffè perché non è solo fuffa. Si parla di KL Divergence, un modo per misurare quanto la distribuzione di probabilità del tuo setup locale si stia allontanando da quella della ‘reference implementation’ (ovvero il laboratorio che ha pubblicato il modello con i benchmark ufficiali). Se il tuo setup è troppo distante, il modello non diventa ‘stupido’, diventa semplicemente ‘diverso’ da quello che hai visto nei video promozionali.
E non dimentichiamoci del setup del campionatore. Se tieni la temperatura troppo bassa, non stupirti se vedi il tuo modello Qwen bloccato in un loop infinito di ‘pensieri’ che non finiscono mai. È come cercare di guidare una Ferrari in prima marcia: puoi anche farlo, ma non aspettarti prestazioni da Gran Premio.
Quindi, la prossima volta che un modello ti sembra un po’ fritto, prima di cancellarlo e insultare gli sviluppatori, controlla i tuoi parametri, le tue quantizzazioni e come stai gestendo i calcoli. Il problema, molto probabilmente, sei tu. O meglio, il tuo hardware. Ma ehi, darsi colpe non è mai stato così divertente.