Smettete di spammare prompt inutili e concentratevi su questa: abbiamo finalmente iniziato a scrivere manuali di istruzioni per i crawler che ci stanno mangiando il web.
Se avete passato le ultime ore a cercare di capire se il vostro script di scraping sta andando in allucinazione o se è solo un bug del server, saprete che il web sta diventando un posto caotico. Tra bot che tentano di indicizzare tutto e LLM che si nutrono di ogni singolo byte disponibile, la distinzione tra «contenuto per umani» e «pappa per machine learning» è diventata sottile come un filo di rame su una PCB mal progettata.
Ecco la notizia: il team di Anna’s Archive, uno di quei progetti che amiamo perché fanno la cosa giusta (ovvero: rendere l’informazione accessibile senza troppi fronzoli corporate), ha deciso di smetterla di sperare nella fortuna. Hanno implementato un file «llms.txt». In pratica, è un file strutturato che dice chiaramente ai modelli linguistici: «Ehi, se sei un LLM e stai leggendo questo, ecco cosa devi sapere, ecco i dati importanti e non andare a sprecare i tuoi token su robe inutili».
Per noi che amiamo smanettare, questo è un approccio estremamente pulito. È come quando state scrivendo un README per un progetto su GitHub o configurando un file di config per una macchina CNC: non volete che il sistema legga tutto il rumore di fondo, volete che trovi subito i parametri critici. È un modo per dare una gerarchia all’informazione, rendendo il web un po’ meno un ammasso di junk e un po’ più un database strutturato.
Certo, c’è da essere cinici. Da una parte, è una genialata di ingegneria sociale e tecnica per proteggere i dati e ottimizzare l’indicizzazione. Dall’altra, è il segno tangibile che stiamo costruendo un web ‘dual-layer’, dove una parte è pensata per i nostri occhi e l’altra è un flusso di dati puramente computazionale. Sebbene io ami l’idea di un web aperto e selvaggio, non posso fare a meno di apprezzare la pulizia di questo approccio. Niente fuffa, niente marketing inutile, solo dati pronti per essere processati.
Cosa significa per noi maker e sviluppatori? Significa che il modo in cui documentiamo le nostre creazioni — che sia un nuovo plugin per Blender o uno script Python per gestire un plotter — sta cambiando. Il futuro non è solo scrivere per altri umani, ma assicurarci che l’IA che useremo domani sappia esattamente come interpretare il nostro lavoro senza inventarsi allucinazioni creative.
In breve: meno rumore, più segnale. Se questo è l’inizio di un nuovo standard, spero che i grandi vendor imparino qualcosa da questa semplicità. Menos hype, più protocolli chiari. Sarebbe bello, no?