Chi ha detto che l’intelligenza artificiale deve per forza parlare come un poeta depressivo che riflette su ogni singola parola prima di pronunciarla? Se avete mai provato a usare un modello generativo per un compito semplice, come classificare un JSON o decidere se un comando Git è un suicidio assistito per il vostro repository, sapete di cosa parlo: un’attesa infinita che spegne l’entusiasmo più di un aggiornamento di Windows mentre sei in call.
Eppure, c’è una via d’uscita che non passa per i server della Silicon Valley. Si chiama Ollaya, ed è il tipo di progetto che ti fa tornare a credere nel progresso open source. Il concetto è brillante nella sua semplicità: invece di far generare testo parola per parola (un processo lento, costoso e spesso inutile per compiti logici), Ollaya punta sui ‘decision models’.
Parliamo di modelli che effettuano un singolo passaggio in avanti (one forward pass) per darti una risposta calibrata, con probabilità e certezze, in pochi millisecondi. Sul test bench con una RTX 4090, parliamo di cifre che fanno sembrare le API commerciali dei vecchi modem 56k. Vedere un modello che risponde a una query complessa in 178ms non è solo tecnicamente figo, è quasi una liberazione.
La vera goduria, però, è che tutto gira in locale. Niente dati che volano su cloud di terze parti, niente abbonamenti mensili che ti prosciugano il conto, niente ‘token-based pricing’ che ti fa venire l’ansia ogni volta che lanci uno script. È il paradiso dei maker: carichi i pesi da Hugging Face, li verifichi con lo sha256 (perché la sicurezza non è un optional, nemmeno per noi) e li fai girare sulla tua macchina, che sia un Mac con chip Apple Silicon o un server Linux con una GPU NVIDIA che scotta.
Il setup è una bava: è compatibile con l’API di TypeSafe, il che significa che se avete già del codice che comunica con altri servizi AI, potete puntare l’URL sul vostro localhost e via, senza riscrivere mezza riga. Il sistema ti restituisce risposte strutturate, con percentuali di confidenza che puoi usare per impostare dei trigger reali. Ad esempio: «Se la probabilità di errore è superiore al 20%, blocca l’esecuzione e chiedi conferma a me».
Certo, non è una bacchetta magica che risolve i problemi esistenziali, ma per automatizzare workflow, analizzare log o filtrare contenuti in tempo reale senza svuotare il portafoglio, è una bomba. Se cercate qualcosa che faccia davvero il lavoro sporco senza l’hype inutile delle big tech, fate un salto su ollaya.dev. La vostra GPU vi ringrazierà.
Source: Ollaya – Ollama for open-source, Jev-style decision models