Hai mai avuto la sensazione che l’IA sia un po’ come quel amico che ti dice sempre «trust me, I know what I’m doing» mentre sta per combinare un casino epico? Ecco, Google Health AI ci ha appena regalato un altro esempio lampante.
La notizia è che Google ha dovuto rimuovere alcune delle sue AI health summaries dopo che un’indagine ha scoperto «flaws pericolosi». In particolare, l’algoritmo stava dando consigli medici completamente sbagliati, tipo suggerire di mangiare il fegato per migliorare la funzionalità epatica. Sì, avete capito bene: «ehi, perché non ti mangi un bel fegatino fresco?».
Ma andiamo con ordine. AI Overviews, il servizio di Google che fornisce riassunti automatici, stava sbagliando clamorosamente con le informazioni sui test epatici. Gli esperti hanno definito gli errori «alarmanti», e non a torto. Immagina di essere un paziente preoccupato che cerca informazioni su un test medico e ti ritrovi con un algoritmo che ti dice di fare il contrario di quello che dovresti fare. Non è esattamente la fiducia che vorresti riporre nella tecnologia.
Da smanettone, la prima cosa che mi viene da dire è: ma come cavolo è possibile che un algoritmo del genere sia stato rilasciato senza un test adeguato? Sappiamo tutti che i dataset sono fondamentali, e se il dataset di partenza è sporco o incompleto, l’algoritmo farà cilecca. Eppure, sembra che Google abbia deciso di buttare tutto in produzione senza un controllo serio. Forse perché «move fast and break things» è ancora il motto segreto di Big G?
Ma la domanda che mi pongo è: cosa significa tutto questo per noi maker e hacker? Beh, intanto ci ricorda che anche le grandi aziende tech possono fare cilecca. Non è che perché hai un server farm grande come una città e un algoritmo che si chiama «DeepMind» sei immune dagli errori. Anzi, a volte più è grande il sistema, più grande è il casino quando qualcosa va storto.
Poi, c’è la questione della fiducia. Se anche i giganti della tech possono sbagliare in modo così clamoroso, forse è il caso di essere un po’ più scettici verso le soluzioni «pronunciare la parola magica: AI» che ci vengono vendute come la panacea di tutti i mali. Non sto dicendo che l’IA non sia utile, anzi, ma dobbiamo ricordarci che è uno strumento, e come tutti gli strumenti, può essere usato male.
Infine, c’è un aspetto pratico: se sei uno di quelli che ama smanettare con i dati e creare modelli, questa storia è un ottimo promemoria per testare, testare e testare ancora. Non fidarti mai del tuo primo modello, non fidarti mai dei tuoi dati, e soprattutto, non fidarti mai di te stesso. Verifica, verifica, verifica.
In conclusione, Google Health AI ci ha regalato un altro esempio di come l’hype tecnologico possa a volte prendere il sopravvento sulla buona vecchia ingegneria. Ma non preoccupatevi, sono sicuro che tra qualche anno ci saranno altri algoritmi che ci consiglieranno di fare cose assurde. Intanto, se avete un dubbio medico, forse è meglio chiedere al vostro dottore di fiducia piuttosto che a un algoritmo. E se proprio dovete smanettare con l’IA, ricordatevi di mettere un bel «try-catch» intorno ai vostri modelli. Chissà, magari eviterete di suggerire a qualcuno di mangiare il fegato.
Source: Google removes some AI health summaries after investigation finds “dangerous” flaws