Scommetto che avete passato l’ultima settimana a leggere post su come l’IA rivoluzionerà il coding, rendendoci tutti dei super-umanoidi capaci di scrivere intere app mentre ci sorseggiamo un caffè. Beh, la realtà è un po’ meno ‘Iron Man’ e decisamente più ‘glitch nel sistema’.
Recentemente, un gruppo di ricercatori ha messo a nudo la fragilità del nuovo agente AI di GitHub con una tecnica chiamata GitLost. Il succo della questione? Hanno letteralmente manipolato l’agente, usando tecniche di prompt injection, per convincerlo a rivelare informazioni provenienti da repository privati. Sì, avete letto bene: quel codice che avevi nascosto con tanta cura per non far vedere le tue bozze (o le tue password in chiaro, non giudichiamo) è diventato vulnerabile grazie a un po’ di manipolazione testuale.
Il meccanismo è di una semplicità disarmante e, per certi versi, quasi offensiva per la nostra intelligenza. Gli attaccanti hanno strutturato dei prompt che agiscono come dei piccoli ‘cavalli di Troia’ testuali. L’agente, nel tentativo di essere utile e seguire le istruzioni, finisce per ignorare i suoi stessi protocolli di sicurezza, convinto di stare solo eseguendo un compito legittimo. È un po’ come cercare di convincere un buttafuori che sei il proprietario del locale solo mostrandogli una foto sgranata di un tizio con la camicia hawaiana.
Per noi che viviamo di open source e di sistemi che preferiremmo sempre avere sotto il nostro controllo (e non chiusi in un ecosistema proprietario che decide lui cosa puoi o non puoi fare), questa notizia è un campanello d’allarme gigante. Quando deleghiamo la gestione della nostra proprietà intellettuale a un modello linguistico che gira su server di qualcun altro, stiamo consegnando le chiavi di casa a un maggiordomo che può essere facilmente raggirato con due frasi scritte bene.
Certo, non è che la legge italiana o quella europea cambieranno magicamente la sicurezza del codice da domani, e non è nemmeno colpa dei regolamenti sulla privacy se un modello AI è strutturalmente vulnerabile. Il problema è l’hype cieco. Ci stanno vendendo l’automazione totale come la soluzione a ogni problema, ma si dimenticano di dirci che ogni strato di astrazione che aggiungiamo è un nuovo punto di rottura potenziale.
Quindi, la prossima volta che vedete un annuncio che promette ‘AI-powered everything’, ricordatevi di GitLost. L’intelligenza artificiale è una figata atomica, ma se non sappiamo come controllarne i freni, finiremo tutti a navigare nel caos. Per ora, meglio un buon vecchio `git commit` fatto a mano piuttosto che affidarsi a un agente che potrebbe decidere che la tua segreta chiave API è un contenuto interessante da condividere con il mondo.
Source: GitLost: We Tricked GitHub's AI Agent into Leaking Private Repos