C’è qualcosa di profondamente comico, quasi surreale, nell’idea di un’intelligenza artificiale che soffre di una sorta di amnesia selettiva. Non parlo di una crisi d’identità esistenziale degna di un episodio di Black Mirror, ma di un fallimento tecnico che farebbe impallidire un bug di Windows 95.
Recentemente è emerso un report (grazie Reuters) che mette in luce una falla piuttosto ridicola nei sistemi di Meta. Il loro tool per il rilevamento di immagini generate da AI, progettato per fare la guardia al confine tra realtà e sintetico, ha dimostrato di non essere in grado di identificare le immagini create dallo stesso modello di Meta. In pratica, il sistema guarda il proprio lavoro e risponde con un vago: «Non so, sembra tutto molto umano, giuro».
La cosa si fa ancora più assurda quando si prova a fare un po’ di manutenzione minima. Se prendi un’immagine generata dall’AI e la ritagli leggermente, il rilevatore inizia a perdere i pezzi. Basta un piccolo crop per mandare in crash la logica del software, rendendo il tool praticamente inutile contro i tentativi di manipolazione più basilari.
Certo, per noi che mastichiamo codice e passiamo il tempo a smanettare con modelli open source e pipeline di processing, questa non è una sorpresa. Sappiamo bene che quando si cerca di costruire un sistema di sorveglianza basato su modelli predittivi, si finisce spesso per creare un castello di carte. Il problema non è solo la tecnologia in sé, ma l’hype sproporzionato che la accompagna. Le grandi corporation ci vendono la panacea per tutti i mali, una sorta di ‘poliziotto digitale’ infallibile, per poi consegnarci un prodotto che non riconosce nemmeno i propri output.
In Italia, tra l’altro, siamo abituati a guardare con scetticismo queste soluzioni ‘chiavi in mano’ che arrivano dai giganti americani. Spesso sono strumenti che promettono sicurezza e trasparenza, ma che in realtà creano solo un altro strato di opacità e dipendenza dai loro ecosistemi chiusi. Se il rilevatore non funziona nemmeno con i suoi stessi dati, quanto possiamo fidarci di quello che userà per moderare i nostri contenuti o decidere cosa è vero e cosa no?
In definitiva, siamo di fronte al classico caso di ‘l’hai costruito tu, ma non sai cosa hai fatto’. Se questa è la frontiera della sicurezza nell’era generativa, meglio rimettersi comodi e continuare a puntare su soluzioni trasparenti, verificabili e, soprattutto, che non abbiano bisogno di un caffè per riconoscere un pixel sintetico.
Source: Meta’s AI Detector Can’t Detect Images It Generated Itself, Report Finds