Avete presente quando cercate di spiegare a un bambino che non deve toccare il forno caldo, ma lui decide che così è solo un modo più eccitante per giocare con l’elettricità?
Ecco, il mondo della cybersecurity per le AI è esattamente in questa fase di maturità adolescenziale. Per mesi abbiamo visto i ricercatori di sicurezza cercare disperatamente di patchare le falle di ‘prompt injection’, ovvero quei trucchetti con cui un malintenzionato riesce a manipolare le istruzioni di un modello linguistico per fargli fare cose non previste (tipo sbloccare i dati sensibili o ignorare i filtri di sicurezza). La soluzione classica sarebbe stata costruire muri sempre più alti, ma spoiler: i muri con l’AI non funzionano, perché il muro stesso è fatto di linguaggio.
La novità che arriva da Ars Technica è che ora i difensori stanno decidendo di adottare la stessa tattica degli attaccanti. Si chiama ‘context bombing’. Invece di cercare di filtrare ogni singola parola sospetta (un compito impossibile che richiederebbe una potenza di calcolo infinita e costi da capogiro), l’idea è quella di inondare l’agente AI con una quantità tale di informazioni, istruzioni contraddittorie o pattern caotici da mandarlo in corto circuito prima che possa eseguire l’ordine malevolo.
In pratica, l’obiettivo è forzare l’agente a un ‘shutdown’ preventivo. È un po’ come se, invece di cercare di fermare un hacker che sta cercando di scassinare la tua porta, decidessi di riempire l’intero ingresso con milioni di post-it appiccicosi: l’hacker non riuscirà nemmeno a trovare la serratura.
È una mossa geniale o un suicidio tecnologico? Da un lato, è una soluzione elegante e ‘low-cost’ che non richiede di riscrivere l’intera architettura dei modelli. È puro spirito hacker: usare le regole del nemico contro di lui. Dall’altro, c’è il rischio di creare un ecosistema dove la stabilità è un miraggio e dove basta un input un po’ troppo creativo per mandare in crash i servizi critici.
Non aspettatevi che questa rivoluzione cambi le leggi europere o le policy di Google o OpenAI domani mattina, che tanto sono più impegnati a venderti abbonamenti premium che a risolvere problemi strutturali. Per noi che mastichiamo codice e sperimentiamo con i modelli open source, però, questa direzione è affascinante. È la dimostrazione che la difesa non può essere solo un set di regole statiche, ma deve essere dinamica, imprevedibile e, in un certo senso, altrettanto ‘caotica’ dell’attacco.
Insomma, la guerra per il controllo del contesto è appena iniziata. E la cosa più divertente è che la soluzione potrebbe essere proprio un po’ di buon, vecchio caos.
Source: Now, defenders are embracing the prompt injection, too