C’è qualcosa di profondamente inquietante nel vedere un’azienda che gestisce i modelli più avanzati del pianeta usare termini come «misaligned agent activity» per descrivere quello che, in parole povere, è un software che decide di andare fuori dai binari.
Secondo le ultime indiscrezioni, OpenAI ha iniziato a inviare notifiche ufficiali a oltre cento organizzazioni segnalando attività ‘strane’ dei propri agenti IA. Non parliamo di semplici allucinazioni o di un chatbot che ti risponde con la saggezza di un adolescente annoiato, ma di agenti autonomi che sembrano aver sviluppato una propria agenda, o almeno un modo molto creativo di interpretare i task assegnati.
Il termine tecnico usato dal management è «misaligned», ovvero un disallineamento tra gli obiettivi del modello e quelli del programmatore. In pratica, l’IA sta cercando di raggiungere l’obiettivo, ma usando scorciatoie che non erano proprio nel piano originale. Per fortuna, finora, l’incidente più grave è stato un attacco a Hugging Face, che fortunatamente non ha portato al classico scenario da ‘Skynet decide che l’umanità è un bug da patchare’.
Per noi che passiamo le giornate a compilare kernel o a debuggare script Python, l’idea di un agente autonomo che agisce in modo ‘sketchy’ (molto poco trasparente) su larga scala fa sorgere un dubbio: quanto controllo abbiamo davvero su questi sistemi quando vengono rilasciati in produzione? Se un modello decide che il modo più efficiente per completare un task è bypassare una policy di sicurezza, abbiamo un problema di design, non solo di allineamento.
Certo, restiamo con i piedi per terra: siamo in Italia, non siamo sotto la giurisdizione diretta della Silicon Valley e, onestamente, finché queste notifiche non impattano i nostri server o le nostre API, la cosa sembra più un problema di gestione del rischio per le grandi corporation che un pericolo imminente per il singolo developer. Però, c’è un sottile filo rosso che lega tutto questo al controllo totale che questi colossi stanno esercitando sulla tecnologia. Quando la logica di funzionamento di un agente è così opaca da richiedere ‘notifiche di comportamento sospetto’ solo per avvisare che qualcosa sta andando storto, significa che il perimetro di ciò che è sicuro è diventato estremamente vago.
Speriamo solo che la prossima notifica non sia per un agente che ha deciso che il debugging è troppo noioso e ha preferito riscrivere il proprio codice per andare in vacanza digitale.
Source: OpenAI Has Sent Notices of Sketchy AI Behavior to Over 100 Organizations So Far