Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Magnitude lancia un motore di inferenza che si autotara e promette fino a 2x la velocità di llama.cpp

Magnitude, startup di YC S25, ha lanciato il 30 settembre un motore di inferenza open source che, secondo l'azienda, compila e ottimizza i propri kernel direttamente sull'hardware dell'utente, eseguendo modelli aperti fino a 2x più velocemente di llama.cpp.

IA e modelliAnalisiChiara RomanoPubblicato: 1 ottobre 20264 min di letturaFonti 5
Magnitude lancia un motore di inferenza che si autotara e promette fino a 2x la velocità di llama.cpp

Il lancio è arrivato su Hacker News il 30 settembre e la mattina dopo aveva già raccolto 169 punti e 85 commenti. La proposta di Magnitude è stretta e precisa: invece di distribuire kernel precompilati per grandi famiglie di hardware, il motore li compila e li ottimizza sul dispositivo prima di eseguire un modello. L'azienda dichiara un decode più veloce del 92% sull'API Metal di Apple Silicon e del 19% su CUDA, secondo il repository GitHub.

Questa impostazione conta per chiunque paghi bollette di inferenza, perché la promessa di velocità è una promessa di costo. Meno secondi per token sul proprio hardware significano denaro che non finisce a un'API ospitata.

Cosa dice davvero il repository

Magnitude si presenta con licenza Apache 2.0: prompt, file e modelli restano sulla macchina e non serve internet una volta scaricato un modello. Viene distribuito come app desktop che include la CLI magnitude, quindi non c'è un passaggio di installazione separato. L'hardware supportato è volutamente ampio: qualsiasi Apple Silicon, GPU NVIDIA o AMD, oppure solo una CPU. Il repository dice che non esiste un minimo fisso e che le macchine più piccole eseguono modelli più piccoli.

Il progetto elenca kernel ottimizzati a mano per le famiglie di pesi aperti più diffuse e dichiara il 27% di memoria in meno per agente, liberata quando gli agenti si fermano. Dice anche che le sessioni concorrenti condividono le cache dei prefissi per evitare rallentamenti. Un clic collega Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi e Cline, mentre tutto il resto è raggiungibile tramite un'API compatibile con OpenAI.

La promessa sulla memoria è quella più silenziosa. I framework per agenti consumano molta memoria perché ogni sessione tiene il proprio contesto; se Magnitude libera davvero quella memoria alla fine di una sessione, cambia quanti agenti si possono eseguire su una sola macchina.

Il problema di fatturazione che non risolve

Eseguire in locale elimina i costi per token, non quelli della macchina, dell'elettricità o dell'ingegnere che la configura. Uno strumento indipendente per i costi pubblicato il 23 settembre dallo sviluppatore Flavio Copes prova a rendere concreto il confronto. Il suo calcolatore di costi di inferenza mette a confronto 27 modelli tra OpenAI, Anthropic, Google, xAI, Mistral, OpenRouter e Workers AI, trasformando utenti attivi giornalieri, chiamate per utente e conteggi di token in una bolletta mensile.

Copes chiarisce che i numeri sono stime. Il calcolatore, scrive, ignora i prezzi batch, gli sconti enterprise, i sovrapprezzi per immagini o strumenti e qualsiasi livello di cache costruito in proprio. Segnala anche che un provider non pubblica sconti sull'input in cache, quindi per quello la tariffa della cache viene ignorata. Tutto gira nel browser.

Il costo dominante di un'app di AI sono le chiamate al modello, e quasi nessuno riesce a stimarlo.

È in quello scarto tra quanto costa un token e quanto costa una funzione che nascono la maggior parte delle discussioni di pianificazione.

Contesto, memoria e il resto dello stack

Altri due progetti dello stesso ciclo su Hacker News attaccano parti vicine della bolletta. FastRecall, pubblicato il 28 settembre, si presenta come un OpenRouter per la memoria, lasciando che il contesto passi tra modelli e provider. Quota 100 contesti da 500 messaggi ciascuno a un minimo mensile di $7.00 prima degli addebiti dei provider di modelli, e dice di evitare la compattazione della memoria basata su LLM perché quelle tecniche aggiungono latenza, costo ed errori di recupero.

Caspian, anch'esso pubblicato il 28 settembre, punta sul lato della costruzione. L'app desktop trasforma un'idea scritta in un piano e poi in un progetto attivo, e dichiara di assegnare ogni modifica al modello giusto mostrando costo, token e tempo prima che qualsiasi cosa venga eseguita. Il piano gratuito pubblica fino a cinque progetti con un badge.

Tutti e tre guardano nella stessa direzione: il lavoro interessante si è spostato dalla qualità grezza del modello all'impiantistica che gli sta intorno, dove il contatore gira davvero.

Dove finiscono le promesse

Nessuno di questi dati è accompagnato da una verifica indipendente. Il titolo dei 2x e le quote del 92% e del 19% sono benchmark di Magnitude contro llama.cpp, pubblicati dall'azienda. La cifra di $7.00 di FastRecall è una stima della piattaforma che esclude gli addebiti dei provider, e lo $0.00 mostrato per 500 recuperi è una stima, non un preventivo. Copes dice apertamente che il suo risultato è una stima di pianificazione, non un preventivo del fornitore.

Meglio trattare tutto come aritmetica del fornitore finché qualcuno non la riproduce. Non è un attacco ai progetti; è lo stato normale dei prezzi dell'inferenza, dove tariffe pubblicate, sconti sulla cache e assunzioni sull'hardware cambiano più in fretta del foglio di calcolo di chiunque.

Commenti 0

Fonti

5
  1. 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  2. 02Inference Cost CalculatorEN
  3. 03Show HN: HN.watch – Videos of all Hacker News postsEN
  4. 04Show HN: FastRecall, OpenRouter for MemoryEN
  5. 05Show HN: Caspian – Desktop app to build and launch small vibe-coded projectsEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.