Beam di Reflection: un modello aperto da 501 miliardi punta sull'efficienza, non sui punteggi grezzi

Beam è un progetto sparse mixture-of-experts addestrato su 23,8 trilioni di token. La fase di reinforcement learning ha impegnato 10.500 GPU Nvidia GB300 per quattro settimane e ha prodotto più di 100 milioni di rollout. I dati arrivano da l'annuncio di Reflection.

Secondo Reflection, il risultato non è un primato nei benchmark, ma un token più economico. Su Terminal Bench v2.1 Beam segna 80,1 contro 88,3 di Kimi K3 e 88,2 di GLM 5.3. Su SWE Bench Pro v2-Hard si ferma a 77,2, dietro GLM 5.3 a 84,3 e Kimi K3 a 88,2. Reflection lo ammette senza giri di parole: i modelli aperti di frontiera come Kimi K3 restano avanti sulle capacità grezze. Per chi compra, la proposta sposta la decisione: conta meno chi sta in cima alla classifica e più il costo per singolo task completato su grandi volumi. Reflection sostiene che Beam arriva a punteggi di ragionamento paragonabili a GLM-5.2 usando 3 o 4 volte meno calcolo di inferenza, e dice che il divario si allarga contro modelli da oltre 2 trilioni di parametri come Qwen 3.8-Max.

Nessuno fuori da Reflection ha ancora verificato qualcosa. I pesi, il report tecnico e la model card sono promessi per la fine del mese, e nel frattempo l'azienda raccoglie iscrizioni per l'accesso anticipato. I numeri dei benchmark pubblicati dal fornitore prima di esecuzioni indipendenti vanno letti come dichiarazioni, non come risultati.

Anche il fronte dei benchmark si muove

GitHub ha pubblicato ReviewBench, un benchmark aperto per la revisione del codice con l'AI costruito da un'analisi di 103,9 milioni di pull request. Il dataset vero e proprio conta 219 pull request da 187 repository pubblici in 19 linguaggi, con ogni rilievo etichettato per gravità e categoria. GitHub dice che ingegneri senior hanno validato il golden set in modo indipendente e che ora il benchmark lo aiuta a prevedere se le modifiche alla revisione del codice di Copilot reggeranno in produzione.

Liquid AI ha sfruttato lo stesso giorno per rilasciare d1, il suo primo modello decisionale, che restituisce probabilità invece di generare token. Liquid dice che una decisione testuale richiede da 200 a 300 millisecondi, che d1 eguaglia o batte GPT-6.1 Sol su quattro delle sei applicazioni testate e che costa da 19 a 200 volte meno di GPT-6.1 Sol o di Claude Opus 5.5. Anche questi confronti arrivano dal fornitore.

Un terzo rilascio è andato nella direzione opposta, piccolo invece che grande. Jeff-Code, fork dell'agente di coding Pi, abbina un modello decisionale da 0,8 miliardi di parametri a Qwen 3.8-27B, che ne ha 27 miliardi. L'autore riporta un tasso di successo del 62,4% contro il 62,8% del solo Qwen su 1.242 task appaiati, con un tempo per task pari a 0,68 volte la baseline. L'intervallo al 95% sul tasso di successo va da meno 2,6 a più 2,1 punti, quindi la differenza di qualità non è dimostrata. La velocità è l'argomento.

Cosa i numeri non chiariscono

Interfaze ha pubblicato Interfaze 1.1 Lite, un modello mixture-of-architectures che gira su una singola GPU da 80 GB. La sua tabella lo mette a 85,9 su GPQA Diamond contro 92,4 di Interfaze e 82,8 di GPT-5.4-Mini, e a 83,8 su olmOCR-Bench contro 85,7 di Interfaze. Una pagina di punteggi autodichiarati su cinque concorrenti è difficile da verificare, ma l'ingombro su una sola GPU è un vincolo di deployment concreto che chi legge può controllare.

Resta poi la domanda se questi benchmark misurino ciò che serve a chi compra. Veris ha fatto girare 14 stack vocali su 2.694 chiamate simulate su VAmoS Pro Bench e ha trovato che il completamento dei task aggregato scende dal 38,7% all'8,6% quando dietro il chiamante va in onda un televisore. Nove dei 14 stack hanno completato meno del 5% di quelle chiamate. Phonic guida la classifica con il 57,5% di completamento; Grok Voice, che la pagina mette in evidenza, è secondo al 44,7%.

I ricercatori della UC Riverside hanno offerto un motivo per diffidare in generale degli output sicuri di sé. In uno studio pubblicato il 23 settembre hanno esaminato Llama-3.1-8B di Meta e Gemma-2-9B di Google, da 8 e 9 miliardi di parametri, con sparse autoencoder e hanno trovato che le feature legate alla sicurezza e quelle legate alla correttezza sono separabili. Sopprimere le feature di incertezza taglia netto l'accuratezza. La sicurezza, in altre parole, non è un indicatore dell'essere nel giusto.

La dichiarazione di efficienza di Reflection avrà lo stesso trattamento quando arriveranno i pesi. Fino ad allora, la cosa più utile di Beam è la forma dell'argomento: non che vince, ma che costa meno perdere di poco.