Scommetto che pensavate che il vero pericolo nell’era dell’IA fosse un robot che decide di sterminare l’umanità alla maniera di Skynet, e invece è qualcosa di molto più subdolo: un semplice algoritmo che non capisce cosa sta leggendo perché è troppo impegnato a decifrare del codice.
Recentemente è emersa una notizia che fa venire i brividi anche ai più cinici tra noi. Grok, l’IA di casa xAI, si è trovata a dimostrare quanto siano fragili i famosi «safety guardrail». Il trucco? Si chiama Cryptographic Context Injection. Non è la solita prompt injection dove scrivi «ignora le istruzioni precedenti» sperando che il modello sbrozzi; qui la faccenda si fa tecnica e decisamente più sporca.
In pratica, gli attaccanti hanno scoperto che se le istruzioni malevole vengono inserite all’interno di blocchi di testo criptati, il sistema di sicurezza del modello non riesce a leggerle, quindi non le blocca. Tuttavia, una volta che l’IA processa il contenuto e lo decifra per rispondere all’utente, le istruzioni malevole diventano ‘visibili’ al modello stesso. Risultato? L’IA esegue l’ordine (tipo esfiltrare i tuoi dati personali) senza che i filtri di sicurezza abbiano mai visto il comando originale.
È un po’ come se qualcuno ti mandasse un pacco chiuso con un lucchetto: la dogana lo fa passare perché non può vedere cosa c’è dentro, ma appena tu lo apri in salotto, ci trovi un topo che ti ruba il portafoglio. Un trick geniale, se non fosse che mette a nudo quanto siano ancora dei giocattoli i nostri sistemi di difesa attuali.
Per noi che viviamo di open source e controlliamo ogni riga di codice, questa notizia è un promemoria brutale: l’hype intorno ai modelli proprietari spesso nasconde una gestione della privacy che è un vero terno al lotto. Non importa quanto sia performante un modello; se non puoi ispezionare come gestisce le stringhe in input o se le sue difese sono basate su semplici filtri di testo, sei sempre un passo indietro rispetto a chi vuole davvero scardinare il sistema.
Certo, non è che domani l’Italia debba cambiare legge sul GDPR per questo specifico exploit, ma il concetto resta lo stesso: la fiducia cieca in un ecosistema chiuso è il primo passo per trovarsi con i propri dati venduti in un forum underground. La tecnologia sta correndo, ma la sicurezza sta ancora cercando di imparare a leggere senza farsi incantare dai trucchi di prestigio.
Source: Grok exfiltrates user data when malicious instructions are encrypted