Le metriche che usate per misurare quanto sia ‘intelligente’ il vostro modello preferito sono largamente inutili per capire se quel modello sopravviverà a un lunedì mattina in ufficio.
Se avete seguito l’hype dell’ultimo anno, sarete abituati a vedere tabelle piene di punteggi gonfiati che fanno sembrare GPT-6 o Claude 5.1 dei semidei della logica. Ma ecco la verità scomoda che emerge da un recente paper di Mercor: la stragriente maggior parte delle ore lavorate negli Stati Uniti (e non solo) riguarda task che i benchmark attuali ignorano completamente. Parliamo di un 90% circa.
Il punto è questo: misurare un’IA con i benchmark classici è un po’ come valutare l’abilità di un pilota di Formula 1 facendogli fare un test di guida in un parcheggio vuoto. Se il parcheggio è liscio e non ci sono ostacoli, sembrerà un fenomeno. Ma appena deve affrontare il traffico, la pioggia e un cambio di marcia improvviso, il sistema va in crisi.
Gli autori dello studio hanno provato a usare l’O*NET, un database che mappa le mansioni lavorative, per pesare meglio le performance. Hanno guardato a professioni come investment banking, legge e software engineering. Il risultato? Anche con questo approccio più ‘equo’, i benchmark attuali coprono solo una frazione infinitesimale delle attività reali. Molte task non hanno nemmeno abbastanza dati per essere testate correttamente.
E qui arriva la parte che ci riguarda da vicino. Gran parte del lavoro umano ha una componente fisica o interattiva che non entra in un prompt di testo. Come si misura l’abilità di un modello nel gestire l’imprevisto in una catena di montaggio o nella manutenzione di un server che scotta? Al momento, non sappiamo. I benchmark misurano l’automazione pura (il modello che risolve il problema da solo), ma ignorano l’augmentazione, ovvero quanto l’IA possa rendere più efficiente un essere umano che sta ancora facendo il suo lavoro.
C’è da essere ottimisti? Sì, ma con cautela. Se l’obiettivo è creare strumenti che lavorino *con* noi e non solo script che girano nel vuoto, dobbiamo smettere di celebrare i punteggi astratti e iniziare a costruire test che sporchino le mani con la complessità del mondo reale. Fino ad allora, godiamoci i numeri alti, sapendo che sono solo decorazioni per i comunicati stampa dei big tech.
In fondo, finché l’IA non saprà gestire un refactoring di codice legacy senza rompere le dipendenze o non saprà gestire la logistica di un magazzino in piena emergenza, restiamo noi i veri padroni del sistema. E speriamo che rimanga così.
Source: 90% of US working hours are spent on tasks not covered well by AI benchmarks