Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Costi dell'inferenza su due binari: i motori open si ottimizzano da soli, i produttori di chip tagliano l'hardware

Un motore di inferenza open source pubblicato su GitHub il 30 settembre sostiene che i modelli aperti girano fino a 2 volte più veloci di llama.cpp, perché compila e ottimizza i propri kernel sul dispositivo dell'utente. MaxLinear, dal canto suo, afferma che il nuovo chip DOCSIS Puma 9 può ridurre del 30% al 50% i costi delle apparecchiature presso il cliente.

IA e modelliAnalisiChiara RomanoPubblicato: 1 ottobre 20265 min di letturaFonti 11
Costi dell'inferenza su due binari: i motori open si ottimizzano da soli, i produttori di chip tagliano l'hardware

Magnitude, azienda di Y Combinator S25, ha pubblicato il repository il 30 settembre con licenza Apache 2.0. L'app desktop ottimizza i kernel su Apple Silicon, NVIDIA, AMD o semplici CPU prima che un modello parta. MaxLinear ha usato un briefing del 29 settembre per sostenere che il silicio Puma 9 riduce del 30% al 50% i costi di modem e gateway rispetto al predecessore, il Puma 8 lanciato nel 2023.

I numeri di Magnitude sono precisi: il README dichiara un decode più veloce del 92% su Metal e del 19% su CUDA rispetto a llama.cpp, il 27% di memoria in meno per ogni agente, liberata quando gli agenti si fermano, e cache di prefisso condivise tra sessioni concorrenti. Si collega a Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi e Cline, mentre tutto il resto passa da un'API compatibile OpenAI. L'azienda dice che prompt, file e modelli restano sulla macchina e che, una volta scaricato un modello, non serve internet. Questo è il messaggio promozionale. Se regga sul vostro hardware è un'altra questione: il benchmark è quello del fornitore e il repository non pubblica alcuna replica di terzi.

L'affermazione di MaxLinear si basa su un altro tipo di ottimizzazione. Il Puma 9 supporta DOCSIS 4.0, DOCSIS 3.1+ e DOCSIS 3.1, aggiunge il supporto Wi-Fi 8 e passa per la prima volta nella linea Puma a un'architettura ARM, che MaxLinear ha ereditato con l'acquisizione nel 2020 della divisione Home Gateway Platform di Intel.

Una fonte del settore vicina al silicio ha detto a Light Reading che il passaggio ad ARM aiuta a ridurre i consumi e alcuni costi di licenza. MaxLinear afferma che continuerà a supportare i prodotti x86 e che la piattaforma software RDK rende l'architettura della CPU sottostante in gran parte trasparente per i clienti. Di fronte alla carenza di DDR4, il Puma 9 supporta anche DDR5. Puneet Sethi, SVP e GM della business unit network infrastructure and carrier di MaxLinear, ha detto che l'azienda ritiene che l'ecosistema DDR5, i prezzi e l'approvvigionamento diventeranno più distesi rispetto allo stress visto con DDR4. Jeff Heynen di Dell'Oro Group ha detto a Light Reading che la maggior parte dei fornitori passerà a DDR5 per le unità Wi-Fi 8 più avanzate, per la memoria aggiuntiva che app e diagnostica potrebbero richiedere.

MaxLinear dice di avere diversi impegni per il Puma 9, indica Askey, Fritz! GmbH e Gemtek come partner CPE e ha il supporto dell'operatore australiano NBN Co. I modem e i gateway basati su questo chip sono attesi nel 2027.

La pressione sui costi non riguarda solo i modem. In sanità, Endpoints News si è chiesto il 1 ottobre se l'AI stia alzando i costi invece di ridurli, e ha inquadrato la domanda sull'onda di finanziamenti: Parakeet Health ha raccolto 10.000.000 di dollari per automatizzare il contatto con i pazienti e Devoted Health ha raccolto 1.200.000.000 di dollari, entrambe notizie del 1 ottobre. CleanTechnica ha riportato il 29 settembre che l'analisi di Transport & Environment stima i costi di esercizio delle auto elettriche a meno della metà di quelli del diesel per chilometro, con gli automobilisti a diesel che pagano 32 euro in più per pieno rispetto all'inizio dell'anno, circa 16 dei quali di margine di raffineria aggiuntivo. La stessa testata ha riferito il 28 settembre degli operatori di data center che si rivolgono a generatori portatili a metano, e della più vecchia battaglia sui gas di scarico diesel seguita alla classificazione del 2012 da parte dell'Organizzazione Mondiale della Sanità come cancerogeno.

Anche i produttori di hardware cercano di togliere costo dalle batterie. Electrek ha riportato il 29 settembre che Ultium Cells, la joint venture di GM con LG Energy Solution, produrrà in serie celle prismatiche LMR a Spring Hill, nel Tennessee, dichiarando una densità energetica superiore del 33% rispetto alle LFP a costo comparabile. Il vicepresidente di GM Kurt Kelty ha detto che aggiungere LMR mette l'azienda nelle condizioni di superare le chimiche oggi più economiche. Gli aggiornamenti partono più avanti quest'anno e dovrebbero concludersi entro il 2028, con 500 posti di lavoro in più su una forza lavoro di 1.700; il primo veicolo con batterie LMR è atteso nel 2028.

Esercizio più economico, costruzione più cara

Il modello che emerge dal dossier è che inferenza e operazioni costano meno, mentre gli asset sotto restano costosi. Xpeng ha accorpato quattro linee di prodotto in due per concentrare la R&D e tagliare i costi, ha riportato 36Kr lunedì tramite CnEVPost. I numeri dietro la decisione: le consegne sono calate del 10,49% a 243.111 veicoli nei primi otto mesi del 2026, le spese di R&D sono salite del 32,1% su base annua a 2.910.000.000 di yuan nel secondo trimestre e la perdita netta trimestrale si è allargata a 1.340.000.000 di yuan da 480.000.000 di yuan un anno prima. Gli operatori tlc seguono la stessa strada. Light Reading ha riportato il 30 settembre che StarHub e M1 sono in trattative di fusione a Singapore, dove secondo le indiscrezioni Singtel deteneva a giugno una quota mobile del 43%, M1 il 22%, StarHub il 21% e Simba il 14%. In Nuova Zelanda, 2degrees e OneNZ hanno proposto di unire le loro reti di accesso radio in un'entità a proprietà congiunta, con la Commerce Commission che dovrebbe decidere l'anno prossimo. L'accordo 5G tra China Telecom e China Unicom, il più grande del genere, copre 1.500.000 stazioni base e rivendica 56.000.000.000 di dollari di risparmi in capex.

La ricerca sta limando anche il lato software. Un articolo inviato ad arXiv il 29 settembre, Demographic Pluralism, riporta una riduzione della distanza di Jensen-Shannon dall'8,4% al 26,4% rispetto a Modular Pluralism su quattro backbone su GlobalOpinionQA e VITAL, senza dati di addestramento sulla distribuzione delle opinioni né fine-tuning specifico per il compito. Un secondo articolo accettato a NeurIPS 2026, FluxLite, riporta miglioramenti rispetto ai baseline standard di Monte Carlo sequenziale di Feynman-Kac fino a due ordini di grandezza in KL terminale su un benchmark CTMC a stati finiti, e riduzioni dell'MSE di correlazione di riga sul campionamento 2D Ising di 5-7 volte in media geometrica e fino a 55 volte al picco.

Microsoft Research ha sostenuto il 23 settembre che eseguire l'inferenza di AI fisica solo su GPU di bordo limita prestazioni, durata della batteria e scala dei robot, e che spostarla su GPU di edge o cloud ha migliorato i tassi di successo e il tempo operativo su carichi di manipolazione mobile. Ha anche introdotto strumenti basati su Kubernetes per containerizzare e orchestrare i carichi robotici tra robot, edge e cloud.

Un'avvertenza attraversa tutto. Le cifre sulle prestazioni di Magnitude, Ultium Cells e MaxLinear sono dei fornitori stessi, e i guadagni di efficienza dei due articoli arXiv sono misurati su benchmark accademici, non su traffico di produzione.

Commenti 0

Fonti

11
  1. 01Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  2. 02MaxLinear claims new 'Puma 9' DOCSIS chip is a big cost-cutterEN
  3. 03Is AI jacking up healthcare costs?EN
  4. 04Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  5. 05The Human Cost Of Data Center PollutionEN
  6. 06GM's new EV battery tech will cut costs without sacrificing rangeEN
  7. 07Xpeng reportedly consolidates product lines to cut R&D costsEN
  8. 08Singapore, New Zealand operators seek partnerships to cut costsEN
  9. 09Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
  10. 10FluxLite: Inference-Time Proposal Control for Discrete Diffusion ModelsEN
  11. 11Offloaded inference for real-world physical AI roboticsEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Chiara Romano

Chiara Romano

IA, modelli e tecnologie

Chiara Romano scrive di tecnologia, IA e modelli, media e internet per FLASH24, partendo da documentazione tecnica, repository e specifiche invece che da comunicati stampa. Per ogni modello o piattaforma che segue controlla versioni, licenze, parametri e benchmark, e verifica i numeri confrontandoli con i dati originali o con test indipendenti. Confronta le schede tecniche tra fornitori, parla con sviluppatori e amministratori di sistema, e tiene d'occhio le finestre di rilascio e le modifiche ai termini d'uso. Fuori dalla redazione gestisce self-hosting e reti domestiche, esperienza che le serve per capire come funzionano davvero i servizi che racconta. Non pubblica una notizia se la fonte primaria non è verificabile.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.