Scommetto che nessuno di voi, mentre debugga un pezzo di codice o cerca di far girare un container Docker senza far esplodere la RAM, ha mai pensato che un errore di logica potesse causare un missile che colpisce una scuola.
Per fortuna, per ora, i nostri bug si limitano a crashare server o a renderci la vita impossibile durante una deadline. Purtroppo, per altri, la realtà è molto più brutale. Il Pentagono ha appena ammesso che l’eccessivo affidamento sull’intelligenza artificiale ha contribuito a un attacco missilistico contro una scuola in Iran. Sì, avete letto bene. Non è uno script di Python che va in loop infinito, è un errore cinetico di proporzioni tragiche.
Il succo della questione è questo: si è creato un loop di fiducia cieca verso l’output di un modello. Invece di usare l’IA come uno strumento di supporto — ovvero, un assistente che ti dà una mano ma che tu controlli sempre prima di premere ‘commit’ — l’hanno usata come l’oracolo definitivo. Quando deleghi la decisione critica a un sistema che opera su probabilità e pattern statistici, senza un layer di validazione umana che sappia distinguere un obiettivo militare da un edificio scolastico, finisci dritto nel territorio del film horror di fantascienza che speravamo di aver superato.
Per noi che viviamo di open source e di analisi critica di ogni singola riga di codice, questa notizia è un red flag gigante. Il problema non è la tecnologia in sé, ma l’arroganza di chi pensa che ‘automatizzare’ significhi ‘eliminare la responsabilità’. È lo stesso vizio mentale che vediamo applicato in molti software commerciali: l’idea che se un modello è addestrato su miliardi di parametri, allora la sua risposta sia verità assoluta e non una semplice proiezione statistica.
Certo, a noi che stiamo in Italia e ci preoccupiamo più di un aggiornamento kernel che rompe i driver della GPU, un conflitto in Medio Oriente sembra un evento distante. Ma il pattern è globale. La mentalità del ‘lasciamo fare alla macchina perché è più efficiente’ sta venendo iniettata ovunque, dai sistemi di sorveglianza alle decisioni legali, fino alla logistica militare.
Smettiamola di inseguire l’hype come se fosse l’ultima release di un framework miracoloso. Se non siamo in grado di spiegare *perché* un modello ha preso una decisione (il classico problema della Black Box), non dovremmo nemmeno permettergli di prenderla. La tecnologia deve essere uno strumento per potenziare l’intelligenza umana, non un modo per bypassare il giudizio critico. Altrimenti, l’unico upgrade che otterremo sarà un mondo molto più instabile e imprevedibile.
Source: Pentagon says overreliance on AI contributed to missile strike on Iran school