Sapete quanto costano le calorie di un processo di mining? Probabilmente molto meno di quanto costino i cicli CPU che gli scraper dell’IA stanno bruciando sui server di git.kernel.org.
C’è una nuova, fastidiosa forma di inquinamento digitale che sta rendendo la vita impossibile ai manutentori del kernel Linux. Non parliamo di hacker russi o di DDoS spettacolari alla Hollywood, ma di qualcosa di molto più subdolo e, onestamente, un po’ stupido: crawler progettati per addestrare LLM che, invece di usare il metodo più logico e veloce (fare un semplice ‘git clone’ dell’intero repository), preferiscono navigare ogni singolo commit come se fossero utenti umani, cliccando freneticamente su ogni link per scaricare l’HTML generato.
Il risultato? Un carico di lavoro costante che occupa circa 14-16 core su 90, solo per renderizzare pagine che non servono a nessuno se non a nutrire i modelli di linguaggio. È il paradosso dell’automazione: usiamo macchine ultra-sofisticate per compiere l’azione più inefficiente possibile.
Il problema si è complicato quando i bot hanno smesso di identificarsi con un User-Agent onesto e hanno iniziato a camuffarsi da browser comuni. Ma il vero colpo basso arriva dalla vostra rete domestica. Per evitare di bannare interi range di IP (che includerebbero anche noi sviluppatori che usiamo script di automazione legittimi), i bot si stanno spostando su migliaia di IP residenziali. In pratica, le app che girano sulle vostre smart TV o sui vostri gadget IoT vengono usate come proxy per far sembrare il traffico ‘umano’. La vostra lavaggio intelligente sta probabilmente aiutando a addestrare il prossimo chatbot.
I manutentori hanno provato a rispondere con ‘Anubis’, una sorta di sfida matematica (un Proof-of-Work rudimentale) che obbliga il client a risolvere un calcolo prima di accedere. Funzionava. Poi i bot hanno iniziato a risolvere anche quelli, alzando l’asticella della difficoltà e facendo scaldare i processori degli utenti legittimi come se stessero minando Bitcoin.
Al momento, la situazione è in stallo. I server di git.kernel.org stanno iniziando a tagliare le funzioni per limitare la superficie di attacco. Non è una questione di legislazione o di privacy (che tanto in Italia diciamo sempre che non ci interessa finché non toccano i nostri dati), ma di pura sopravvivenza infrastrutturale. Se non riusciamo a fermare questa ‘radiazione di fondo’ di traffico inutile, rischiamo di trovarci con repository sempre più limitati e meno accessibili.
Insomma, la prossima volta che vedete il vostro router che surriscalda mentre state dormendo, ricordatevi che potrebbe essere impegnato a rendere commit del kernel in HTML per qualche startup della Silicon Valley che non sa nemmeno cos’è un file .patch.
Source: Creepy Crawlies