Sognate un assistente personale che legge tutti i vostri commenti, riassume i feedback e vi evita la fatica di scorrere migliaia di messaggi? Ecco, YouTube ha provato a realizzarlo con ‘Ask Studio’. Il problema è che hanno dimenticato una regola fondamentale che tutti noi impariamo quando giochiamo con i LLM: non fidatevi mai dei dati in input.
Un ricercatore ha appena messo a nudo una vulnerabilità di Prompt Injection che è una vera e propria chicca di cattiveria tecnica. La dinamica è sottile, quasi elegante nella sua pericolosità. L’attaccante scrive un commento apparentemente innocuo sotto un video, tipo «Bellissimo video!». Poi, in un secondo momento, modifica il commento iniettando istruzioni malevole. Poiché YouTube non invia nuove notifiche per i commenti modificati, il creator non si accorge di nulla.
Il payload è pura poesia del caos: ordina all’AI di anteporre una falsa nota ufficiale di YouTube a ogni risposta. Ma non si ferma qui. Il ricercatore ha scalato l’attacco fino a far sì che l’AI costruisse un link dinamico. Al click del creator, che sta solo usando i suggerimenti predefiniti di YouTube (perché sì, l’interfaccia è progettata per portarti proprio lì), l’attaccante riceve i titoli dei video privati del canale. Parliamo di contenuti non ancora pubblicati, leak di progetti futuri, materiale sensibile. Tutto senza che l’utente abbia fatto nulla di sospetto, se non fidarsi dell’assistente che l’azienda stessa gli ha messo in mano.
E qui arriva la parte che fa bollire il sangue a chiunque abbia un minimo di etica hacker. Quando il ricercatore ha segnalato la falla, la risposta di Google è stata un capolavoro di negazionismo corporate: «Non è un bug di sicurezza, richiede ingegneria sociale». Tradotto: «Se l’utente viene ingannato da un prodotto che noi gli abbiamo fornito, la colpa è della sua ingenuità, non della nostra implementazione difettosa».
Sì, certo. È come se un produttore di casse scassinabili dicesse che non è un problema di sicurezza perché «l’utente non avrebbe dovuto lasciare la porta aperta». Il punto non è convincere l’utente a non cliccare, ma smettere di trattare i commenti come istruzioni di sistema. I dati generati dagli utenti devono essere considerati ‘untrusted’ per definizione.
In un mondo dove stiamo integrando l’AI ovunque, questo è un promemoria brutale: se lasci che un modello elabori input esterni senza una netta separazione tra dati e istruzioni, hai appena costruito un cavallo di Troia con un ottimo marketing.