Claude Haiku 5.5 taglia del 90% i prezzi delle API, mentre i costi di inferenza cambiano

Anthropic ha rilasciato Claude Haiku 5.5 l'8 ottobre. È il modello piccolo più veloce ed economico dell'azienda. Il rilascio punta su compiti ad alto volume come le query sui dati e l'assistenza clienti.

Secondo The Decoder, il modello costa circa il 75 percento in meno rispetto al predecessore Haiku 4.5. Anthropic sostiene che i prompt fino a 100.000 token coprono all'incirca il 90 percento delle richieste arrivate in precedenza a Haiku. Per quelle richieste i prezzi scendono fino al 90 percento. I token di input ora costano 0,10 dollari per milione, contro 1,00 dollari di prima. I token di output scendono a 0,50 dollari per milione da 5,00 dollari.

Il taglio dei prezzi arriva mentre il resto dello stack diventa più caro. Pavan Davuluri, responsabile di Windows in Microsoft, ha ammesso nel podcast Inside Windows che l'aumento dei costi della memoria spinge l'azienda a far usare meno RAM a Windows 11. Davuluri ha definito la memoria un tema "in cima ai pensieri" per il settore. Ha osservato che i produttori stanno riportando sul mercato portatili da 8GB. Secondo Windows Latest, Microsoft ha reso l'"ottimizzazione della memoria per 8GB e oltre" una priorità ufficiale per il resto del 2026.

Prezzi per token più bassi non significano sempre bollette totali più basse. Artificial Analysis colloca Haiku 5.5 in testa alla classe dei modelli piccoli, con un punteggio di 43 sul suo Intelligence Index. La piattaforma segnala però un consumo di token molto più alto. Al livello di sforzo massimo Haiku 5.5 usa circa 162.000 token di output per compito. Sono all'incirca tre volte i 50.000 token necessari a GPT-6 Luna di OpenAI.

Il compromesso sull'efficienza

Anche a prestazioni paragonabili il divario resta. Con l'impostazione di sforzo "high" Haiku 5.5 segna 38 con circa 55.000 token per compito. GPT-6 Luna raggiunge lo stesso punteggio con circa 50.000. Sull'efficienza paretiana, cioè il rapporto tra prestazioni e uso delle risorse, il modello di OpenAI esce avanti. Passare da "xhigh" a "max" su GPT-6 Luna aggiunge appena due punti, ma aumenta il consumo di token di 1,8 volte.

Anthropic fa notare che Haiku 5.5 usa un tokenizer aggiornato, che consuma leggermente più token per compito rispetto al predecessore. È successa la stessa cosa con i modelli Opus 4.x, dove l'uso di token è salito di circa il 30 percento solo per il cambio di tokenizer. I risparmi reali sono probabilmente inferiori a quanto suggeriscono i prezzi per token. La sfumatura complica il racconto di una guerra dei prezzi pura.

Pressioni su hardware e infrastruttura

Mentre i fornitori di API competono sul prezzo, l'infrastruttura fisica necessaria a servire questi modelli resta un collo di bottiglia. HPCwire osserva che i sistemi di inferenza AI si guastano in modo diverso dai servizi web tradizionali. La latenza media può sembrare buona mentre gli utenti sono già insoddisfatti, perché le richieste restano in coda in attesa che si formino i batch. Il comportamento di cold start è un altro problema. Avviare un worker di inferenza significa scaricare i modelli, caricare i pesi in memoria e inizializzare lo stato dell'acceleratore. Kubernetes può mostrare un pod come attivo, ma questo non vuol dire che il sistema abbia già capacità di servizio effettiva.

Questa complessità alimenta la domanda di hardware specializzato e di ottimizzazioni software. Magnitude, motore di inferenza open source lanciato a settembre, dichiara di ottimizzare i kernel per hardware specifici, per eseguire modelli aperti fino a 2 volte più velocemente di llama.cpp. Lo strumento compila e regola i kernel sul dispositivo dell'utente, puntando su Apple Silicon, NVIDIA, AMD o ambienti solo CPU. Mira a ridurre l'uso di memoria del 27 percento per agente, un fattore critico mentre i costi della RAM salgono.

Anche la posizione conta. Data Center Knowledge riferisce di un progetto per un data center di 20 piani nel centro di Kansas City, pensato per sfruttare la connettività densa dei carrier e ottenere un'inferenza a bassa latenza. Steve Austin, fondatore di Revitalization Unlimited, sostiene che l'inferenza deve avvenire vicino all'utente perché la latenza conta. Il progetto affronta costi di costruzione più alti, stimati in 183.000.000 di dollari, ovvero circa 1.300 dollari per piede quadrato, rispetto alle strutture in periferia. Questo sovrapprezzo si giustifica solo per carichi di lavoro specifici, come le transazioni finanziarie o le interazioni AI in tempo reale.

Anche il controllo normativo si fa più stretto sulle pratiche di prezzo. La FTC ha inviato lettere a 24 grandi aziende di servizi sanitari il 5 ottobre, mettendole in guardia contro i prezzi ingannevoli. Non è un intervento diretto sull'AI, ma segnala un interesse più ampio del governo per la trasparenza dei prezzi. Allo stesso modo, McDonald's è stata citata in giudizio il 2 ottobre per aver presumibilmente usato uno strumento di AI per determinare i prezzi tra i franchise. I querelanti sostengono che questo violi le leggi antitrust, favorendo la fissazione algoritmica dei prezzi.

Il contesto di mercato più ampio

La spinta verso un'inferenza più economica non riguarda solo Anthropic. I ricercatori su arXiv pubblicano articoli su come mitigare l'affidamento eccessivo al momento dell'inferenza e sulla valutazione efficiente delle politiche. Un articolo inviato il 7 ottobre propone un framework basato solo sui campioni per valutare le politiche Best-of-N. Aiuta a scegliere i budget di campionamento più efficaci senza bisogno di accesso completo alla verosimiglianza. Questo lavoro accademico è alla base degli sforzi ingegneristici per rendere l'inferenza più economica e affidabile.

Anche i fornitori cloud stanno adattando le loro strategie. AWS avrebbe aumentato i prezzi della capacità GPU del 15 percento a fine settembre, una mossa che contrasta con i tagli alle API di Anthropic. La divergenza suggerisce che, mentre i costi del calcolo grezzo salgono, la concorrenza a livello applicativo costringe i fornitori a cercare efficienze altrove. Il risultato è un mercato in cui il costo dell'intelligenza si sta separando dal costo del silicio che la alimenta.

Per gli sviluppatori il messaggio è chiaro: il token più economico non è sempre la soluzione più conveniente. Il costo totale di proprietà ora dipende dall'efficienza dei token, dall'utilizzo dell'hardware e dai requisiti specifici di latenza del carico di lavoro. Mentre l'inferenza diventa il campo di battaglia principale per l'AI, l'attenzione si sposta dalla capacità grezza del modello all'economia della fornitura.