Smettetela di cercare la funzione matematica magica che risolva tutto, perché la realtà ha una brutta abitudine a non essere derivabile in ogni suo punto.
Avete presente quel momento in cui state cercando di calibrare un encoder su una CNC fatta in casa e, nonostante tutti i calcoli sulla carta sembrino perfetti, il pezzo esce completamente storto perché il motore ha un micro-slittamento imprevedibile? Ecco, l’attuale hype dell’Intelligenza Artificiale sta vivendo lo stesso identico momento di crisi, ma su scala planetaria. Recentemente, un pezzo su Astral Codex Ten ha sollevato un dubbio che molti dei ‘big tech evangelist’ preferirebbero ignorare: l’idea che funzioni matematiche eleganti e ‘morbide’, come la sigmoide, possano catturare la complessità caotica del mondo reale.
Il punto è questo: stiamo costruendo modelli basati su funzioni di attivazione che tendono a ‘appiattire’ i valori estremi, cercando di creare una regolarità dove invece regna il disordine. Le sigmoidi sono bellissime, sono lisce, sono matematicamente rassicuranti. Ma il mondo non è una curva di regressione perfetta. Il mondo è fatto di discontinuità, di picchi improvvisi, di eventi che non seguono una distribuzione gaussiana così carina. Se provi a modellare un sistema fisico reale — tipo una macchina che ricicla plastica che deve gestire variazioni di temperatura e densità del polimero — usando solo logiche che tendono all’appiattimento, prima o poi il sistema va in allucinazione o, peggio, fallisce miseramente.
Da smanettone che passa le serate a debuggare script in Python o a modellare parti in Blender, trovo che questa discussione sia fondamentale. Spesso ci incaponiamo a cercare la soluzione ‘elegante’ nel codice, dimenticando che l’hardware e la fisica hanno una loro voce, spesso molto rumorosa e tutt’altro che smooth. Il rischio dell’attuale corsa all’IA è quello di creare dei ‘modelli prigionieri’ della propria matematica: sistemi che sembrano intelligenti finché la situazione resta entro i binari prestabiliti, ma che diventano completamente inutili non appena accade qualcosa di veramente nuovo o imprevisto.
Per noi che amiamo il low-level, il retrocomputing e la costruzione di macchine reali, questo è un promemoria vitale. Non fidatevi ciecamente di ciò che appare ‘fluido’ o ‘ottimizzato’ da un black box proprietario. La vera ingegneria sta nel capire dove la curva si rompe e nel saper gestire il rumore. Se i modelli di domani non impareranno a gestire l’imprevedibilità delle funzioni discontinue, resteranno solo dei bellissimi giocattoli matematici, incapaci di interagire con il ferro, i circuiti e la materia che noi, ogni giorno, cerchiamo di domare nel nostro garage.
Source: The sigmoids won't save you