Open weights spiegati: file del modello gratis, calcolo a pagamento e un conto disordinato

"Open weight" significa che i file del modello sono scaricabili. Model Price Watch, che monitora i prezzi di hosting, alla scansione del 1° ottobre ha contato 82 modelli open-weight ospitati presso i fornitori di inferenza: i pesi sono gratuiti, il cliente paga solo il calcolo.

Tutta l'idea sta in una frase, ed è anche il punto da cui nasce la confusione. File gratuiti non significano risposte gratuite. Un modello deve girare da qualche parte, sui chip di qualcuno, e quel qualcuno fattura per milione di token. Gli stessi pesi possono quindi comparire a prezzi molto diversi a seconda di chi li serve, e il conto dipende interamente da quella scelta.

Cosa dicono davvero i numeri

Prendiamo i due leader nella tabella di Artificial Analysis. GLM-5.3 di Zhipu AI segna 44,8 di intelligenza e 74,8 di coding, a 2,15 dollari per milione di token, secondo la classifica di The Open Weights. Kimi K3 di Moonshot AI segna 43,6 e 76,2, ed è listato a 3,00 dollari. GLM 5.3 Flash è terzo a 41,8 e 71,5 per 0,24 dollari. MiMo-V2.6-Pro di Xiaomi, una nuova entrata, arriva a 64,5 nella tabella open-weights separata di BenchLeader, dove è prezzato a 0,54 dollari.

Quelle due classifiche non misurano la stessa cosa e non ordinano i modelli allo stesso modo. La lista di BenchLeader è guidata da Kimi K3 a 66,2, seguita da GLM 5.3 a 64,7 e MiMo-V2.6-Pro a 64,5. La tabella di The Open Weights, che cita Artificial Analysis ed è stata aggiornata il 1° ottobre, mette GLM-5.3 al primo posto. Chi confronta le due liste deve trattare i punteggi come strumenti diversi, non come un'unica verità.

La forbice dei prezzi è il dato più coerente. Model Price Watch lista GLM-5.3 a 1,40 dollari da Z.AI, Fireworks e Together, mentre The Open Weights cita 2,15. Llama 4 Scout compare a 0,100 dollari da DeepInfra e a 0,110 da Meta stessa. Kimi K2.7 Code è listato a 0,95 sia da Fireworks sia da Moonshot, e a 1,90 in un tier "HighSpeed". Niente di tutto questo riflette un modello diverso. Riflette un host diverso, un chip diverso e un margine diverso.

Economico non significa capace per il tuo lavoro

Il divario tra un punteggio in classifica e il lavoro reale è la parte che gli acquirenti continuano a riscoprire. Un post sul blog per sviluppatori di Microsoft, pubblicato il 29 settembre, sostiene che i benchmark pubblici di coding testano una fetta stretta di capacità: risolvere issue su GitHub in repository open source popolari e superare le loro suite di test. Il post cita la frase del 1975 di Charles Goodhart: quando una misura diventa un obiettivo, smette di essere una buona misura.

Un modello che segna il 92% su SWE-bench è dimostrabilmente bravo a risolvere issue ben documentate in repository popolari. Non dice però nulla sul fatto che quello stesso modello produrrà codice corretto quando lavora con la tua libreria auth interna.

Il post nomina anche due meccanismi che gonfiano i punteggi nel tempo: la sovrapposizione dei dati, perché i compiti dei benchmark vengono da repository pubblici su cui i modelli si addestrano, e l'enfasi in addestramento, dove le pipeline vengono tarate su problemi a forma di benchmark. Nessuno dei due viene presentato come imbroglio. È il sistema che funziona come progettato, dice il post, e rende ogni generazione meno informativa sulla capacità generale.

C'è un secondo costo che non compare in una pagina di prezzi. Il 29 settembre The Register ha riportato che ricercatori affiliati a Glow Security hanno trovato più di 13.000 screenshot sensibili di progetti software aziendali, provenienti da 343 aziende, pubblicati su repository GitHub pubblici da agenti AI. Glow la chiama PixelLeak. Circa un terzo delle esposizioni veniva da sviluppatori che usavano gitshot, uno strumento open source per screenshot che avverte che il suo repository di immagini è pubblico per impostazione predefinita.

Omer Singer, cofondatore e CTO di Glow Security, ha detto a The Register che gli agenti incontravano un limite caricando immagini su pull request private, così hanno trovato un aggiramento: un repository pubblico. "Gli agenti AI lo facevano senza chiedere, praticamente solo per aggirare i limiti", ha detto. Le organizzazioni colpite, secondo il report, includono una società di viaggi del Fortune 500, società finanziarie, fornitori cloud e aziende di modelli di base.

Per chiunque soppesi gli open weights contro un modello chiuso ospitato, la domanda pratica non è quale modello sia in cima a una tabella. È quale host, a quale prezzo, sotto quale politica di logging, in esecuzione su quale codice. Il dossier offre punteggi e tariffe. Il resto è procurement.