Revolut fa lavorare 2.000 ingegneri su GLM in self-hosting, a un decimo della bolletta Claude

La cosa conta al di là del foglio di calcolo degli acquisti di una singola fintech. Un istituto di credito regolamentato con oltre 80.000.000 di clienti in 45 mercati ora fa girare il proprio modello di coding predefinito su hardware proprio. Ogni team di ingegneria ha così un confronto di prezzo concreto rispetto ai laboratori di frontiera. E i regolatori hanno un caso di studio reale sull'uso di pesi di origine cinese su infrastruttura occidentale. Quello che Revolut non ha detto è quanto costino le schede, se comprate o affittate, né quante ore di ingegneria sia costato il tuning.

Cinquantasei GPU per 2.000 ingegneri

L'installazione è piccola. Revolut fa girare GLM, un modello del laboratorio cinese Z.ai con circa 800.000.000.000 di parametri, su una cinquantina di chip Nvidia B200, 56 per l'esattezza. Abitbol ha indicato un costo di circa 30 centesimi per milione di token, con una bolletta fissa al posto delle fatture di fine mese imprevedibili.

Arrivarci ha richiesto lavoro. Appena installato, l'inferenza era "terribile", ha detto Abitbol. Dopo l'ottimizzazione, il tempo al primo token è sceso da oltre 10 secondi a 1,6 secondi, anche se la domanda è salita del 76 percento. Ha detto che oltre i cinque secondi "la mia casella Slack inizia a esplodere". La finestra di contesto è limitata a 256.000 token. "Il contesto lungo è una truffa", ha detto. GLM gestisce solo testo, quindi un router manda i compiti sulle immagini a Gemini. Claude Code e Codex restano disponibili come eccezione, non come default.

Il tempo di coding è calato del 60 percento e il lead time del 70 percento su un campione di circa 2.000 ingegneri. Abitbol ha tratto una lezione dalla distanza tra i due numeri. "Il collo di bottiglia per l'ingegneria non è necessariamente il coding", ha detto, osservando che gli ingegneri passano gran parte del tempo a cercare tra caselle di posta, Jira e Confluence.

Gartner stima un risparmio di venti volte

Revolut non è sola a fare i conti. The Register ha riportato il 3 novembre che Gartner ritiene che i modelli aperti possano gestire il 90 percento del lavoro agentico a un ventesimo del costo di un LLM di frontiera. È una stima di analisti, non la bolletta di un cliente, ma punta nella stessa direzione dei numeri di Revolut.

Il divario di prezzo in cifre

I modelli chiusi sono ancora avanti sulle capacità grezze. Gemini 4 Carbon segna 59 sull'Artificial Analysis Intelligence Index V5, un punto sopra Claude Opus 5.5 e due sopra GPT-6 Astra. Costa anche 7,76 dollari per compito su quel test.

Mettici accanto l'estremità open-weight del grafico. DeepSeek V4.1 Flash 1017 segna 32 sullo stesso indice e costa circa 13 volte meno per compito, secondo la lettura che Tom's Hardware dà delle cifre di Artificial Analysis. Sul grafico della frontiera di Pareto di Arena.ai, GLM 5.3-Flash e DeepSeek V4 Pro prendono il sopravvento sui punti di prezzo più bassi.

I laboratori di frontiera vincono ancora la cima della classifica. Non vincono più il centro.

Per gli ingegneri di Revolut il cambiamento riguarda meno il prezzo per token e più il non doverli contare. I limiti di token sono spariti, quindi nessuno raziona l'uso verso la fine di un trimestre o su un compito impegnativo. È un cambiamento nel flusso di lavoro oltre che nella finanza.

Quello che i pesi aperti non risolvono

L'origine del modello resta delicata. "C'è stato molto stigma nell'usare un modello open source cinese", ha ammesso Abitbol. Revolut usa solo i pesi disponibili pubblicamente e li fa girare su infrastruttura negli Stati Uniti, non attraverso l'endpoint di inferenza dello sviluppatore in Cina. I dati vanno trattati solo in giurisdizioni con protezione equivalente, come Stati Uniti, UE, Gran Bretagna e Israele. I fornitori devono avere per default una conservazione dei dati pari a zero.

Gli agenti non agiscono da soli. Girano in una sandbox con regole di approvazione che stabiliscono quali comandi sono ammessi. "C'è sempre un umano nel ciclo", ha detto Abitbol.

Mistral argomenta la sovranità in modo esplicito, proponendo Mistral Large 4 come modello sviluppato in Occidente che le aziende possono far girare dentro i propri firewall. Nvidia, dal canto suo, vende le GPU in ogni caso. Jensen Huang è felice di prendere i tuoi soldi sia che tu usi modelli aperti sia chiusi, ha riportato The Register il 3 novembre.