Quanto può essere limitata un’intelligenza artificiale prima di diventare un semplice, costoso, chatbot per scrivere email di ringraziamento?
Se vi state chiedendo se sia possibile trasformare uno strumento di analisi avanzata in un giocattolo per bambini che non sa nemmeno cosa sia un buffer overflow, la risposta è: sì, e Anthropic ci è riuscita benissimo con il suo nuovo modello, Fable. La notizia che gira su Hacker News è la solita storia di corporate-panic: i ricercatori di cybersecurity stanno urlando (giustamente) che i nuovi ‘guardrails’ implementati sono così stretti e soffocanti da rendere il modello del tutto inutile per chiunque faccia un lavoro serio di analisi del codice o difesa delle reti.
Il problema è il solito cliché del ‘safety at all costs’. Per evitare che qualcuno usi Fable per scrivere script malevoli (spoiler: esistono modelli open source che non hanno questo problema), i piani alti di Anthropic hanno deciso di mettere dei paletti così pesanti che il modello entra in modalità ‘non posso rispondere a questa domanda perché potrebbe essere offensiva o pericolosa’ anche quando stai solo cercando di capire come una funzione C++ gestisce la memoria. È come se avessero installato un firewall che blocca tutto il traffro TCP/IP solo perché ‘potrebbe esserci un attacco’. Praticamente, l’AI ha paura di vedere un bit che non le piace.
Per noi che passiamo le notti a smanettare con script Python, analizzare binari o testare vulnerabilità in piccoli progetti home-made, questa è una notizia pessima. Lo scopo dell’AI nella cybersecurity dovrebbe essere quello di aiutarci a identificare pattern sospetti, non quello di agire come un babysitter moralista che ci impedisce di toccare i cavi scoperti. Se vuoi fare ricerca, hai bisogno di uno strumento che capisca il contesto, non di un filtro che censura ogni riga di codice che assomiglia vagamente a un exploit.
Questa deriva verso la ‘sovra-sicurezza’ non fa altro che spingere tutti verso i modelli open source, dove almeno abbiamo il controllo totale dei pesi e delle configurazioni. Se voglio far girare un modello locale che non mi faccia la predica ogni volta che scrivo una stringa con caratteri strani, lo farò. La libertà di esplorare, rompere e ricostruire è il cuore del nostro approccio. Se Anthropic vuole vendere un prodotto che si rifiuta di analizzare il lato oscuro della tecnologia, che si tenga pure il suo giocattolo sterilizzato. Noi preferiamo gli strumenti che ci permettono di capire come funziona davvero il mondo, anche quando quel mondo è pieno di bug.
Source: Cybersecurity researchers aren't happy about the guardrails on Anthropic's Fable