Immaginate di dover spiegare a un amico che per far girare un semplice script non serve un supercomputer della NASA, ma solo un po’ di buona volontà e zero overhead inutile. Ecco, l’autore di Handy ha avuto esattamente questo pensiero, e invece di lamentarsi solo sui forum, ha deciso di scriverci una libreria.
Parliamo di transcribe.cpp. Se seguite il mondo dell’AI locale, sapete bene quanto possa essere un incubo gestire l’inferenza speech-to-text su diverse piattaforme. Al momento, o vi attaccate a whisper.cpp o provate a usare ONNX, sperando che i driver non facciano i capricci e che la performance non sia quella di un vecchio Commodore 64. La situazione attuale è un po’ come cercare di montare un set della LEGO usando pezzi di un castello della Disney e di un kit della Technic: funziona, ma è un delirio di compatibilità e manutenzione.
L’idea dietro transcribe.cpp è pura filosofia maker: risolvere un problema che ti sta facendo impazzire mentre sviluppi il tuo progetto. L’autore ha creato una libreria basata su ggml che supporta oltre 60 modelli di diverse famiglie ASR. La cosa veramente figa? Non è solo un altro wrapper che promette mari e monti. Qui c’è stata una validazione numerica e test WER (Word Error Rate) sistematica per garantire che l’output sia identico alla reference implementation. Niente allucinazioni improvvise perché il modello ha deciso di interpretare la vostra voce come un ronzio di zanzara.
E per quanto riguarda la potenza di calcolo? Accelera su tutto quello che è decente: Vulkan, Metal, CUDA e persino TinyBLAS. L’obiettivo è rendere l’inferenza locale così accessibile che persino un chip anemico come quello di un RK356 approcci il tempo reale senza esplodere. È la risposta definitiva a quel modello di sviluppo dove tutto deve finire in un server remoto, processato da algoritmi proprietari che mangiano i vostri dati a colazione.
La libreria è in versione v0.1.0, quindi sì, ci sono ancora qualche spigolo vivo da smussare (come ogni software che non è stato scritto da un comitato di marketing di una Big Tech). Però, con binding ufficiali per Python, JS/TS, Rust e ObjC/Swift, sembra che l’autore abbia pensato seriamente a chi, come noi, deve integrare queste tecnologie in app desktop o mobile senza dover riscrivere metà del kernel.
In breve: se volete far girare la trascrizione vocale sul vostro laptop, sul vostro Raspberry o sul vostro smartphone senza dover chiedere il permesso a nessun server in California, tenetevi d’occhio questo repository. È il classico esempio di software che nasce dal bisogno reale di chi sporca le mani con il codice, lontano dai megafoni dell’hype aziendale.
Source: Transcribe.cpp