Beam dichiara 501 miliardi di parametri e 3-4 volte meno calcolo in inferenza rispetto a GLM 5.2

I numeri sono arrivati prima del modello. Il post di lancio di Reflection descrive Beam come un modello sparse Mixture-of-Experts da 501 miliardi di parametri, con 23 miliardi attivi. È pensato per coding, ragionamento e carichi di lavoro agentici. L'azienda dice che Beam è ancora in fase di "final red-teaming and evaluations". Pesi, report tecnico, model card e artefatti per gli sviluppatori arriveranno "later this month".

Per ora, quindi, tutto è una dichiarazione su un grafico.

I dati sull'addestramento nel post sono precisi. Reflection afferma di aver fatto pretraining su 23.800 miliardi di token presi dal web e da dataset proprietari su licenza. Poi ha eseguito una fase di reinforcement learning che ha prodotto oltre 100 milioni di rollout su 10.500 GPU NVIDIA GB300 in quattro settimane. L'azienda considera quel ciclo di RL l'elemento di differenziazione, non il corpus di pretraining. Se i benchmark pubblicati reggano una volta che test indipendenti abbiano i pesi, è la domanda aperta. Non si può rispondere nella prima settimana di ottobre.

Cosa dice davvero la tabella dei benchmark

La tabella di confronto mette Beam contro Inkling, Nemotron 3 Ultra, GLM 5.2, GLM 5.3, Kimi K3, Qwen 3.8 Max e DeepSeek V4.1 Flash. Il risultato migliore di Beam è su SWE Bench Pro v2-Hard, con 77.2. È davanti a Inkling, fermo a 56.9, e a GLM 5.2, a 62.1, ma dietro Kimi K3, a 88.2. Su Terminal Bench v2.1 Beam segna 80.1 contro 88.2 di GLM 5.3 e 90.6 di DeepSeek V4.1 Flash. Su SWE-bench Verified riporta 80.9, senza alcun numero per i tre modelli cinesi in quella riga.

Reflection non rivendica un vantaggio di capacità, e il post lo dice apertamente: Kimi K3 "remain[s] ahead on raw capability". La proposta è l'efficienza. Sui benchmark di ragionamento avanzato, Reflection afferma che Beam eguaglia GLM 5.2 "while using 3-4x less inference compute". Sostiene che il divario si allarga contro modelli della famiglia da 2.000 miliardi di parametri e oltre, come Qwen 3.8 Max. La riga AIME 2026 dà a Beam 97.8 contro 99.2 di GLM 5.2. HLE con strumenti mette Beam a 51.2 contro 62.5 di GLM 5.3 e 63.9 di DeepSeek V4.1 Flash. Non sono vittorie, e l'azienda non le presenta come tali.

La dichiarazione sull'efficienza poggia sulla misurazione del calcolo in inferenza fatta da Reflection stessa, e il post non dice come sia stata ottenuta.

Una settimana affollata sul fronte delle misurazioni

Beam non è stato l'unico benchmark pubblicato il 5 ottobre. GitHub ha usato lo stesso giorno per rilasciare ReviewBench, un benchmark aperto per la revisione del codice con l'AI. Ha costruito il benchmark partendo dall'analisi di 103,9 milioni di pull request su GitHub. Il dataset in sé è di 219 pull request provenienti da 187 repository open source pubblici in 19 linguaggi. GitHub dice che ingegneri senior hanno etichettato in modo indipendente i veri positivi prima del rilascio. Dice anche che la sua valutazione interna della revisione del codice di Copilot ora segue meglio gli esperimenti in produzione. Il dataset è pubblico.

Veris ha pubblicato lo stesso giorno una classifica di agenti vocali con un risultato meno lusinghiero per la categoria. Sul suo VAmoS Pro Bench, una televisione accesa dietro chi chiama ha fatto scendere il completamento dei task aggregato dal 38.7% all'8.6%. Nove delle quattordici stack vocali hanno completato meno del 5% delle chiamate con la TV accesa. La stack migliore in classifica, phonic, arriva al 57.5% di completamento dei task con 1.42 secondi di latenza; Grok Voice è seconda al 44.7%. Veris vende servizi di benchmarking, cosa da ricordare quando si legge la sua classifica.

Poi c'è il discorso dei modelli piccoli, che taglia di traverso tutta l'impostazione dei modelli grandi. Un progetto GitHub chiamato Jeff-Code inserisce un modello decisionale da 0,8 miliardi di parametri nel ciclo dell'agente attorno a Qwen 3.8-27B, cioè 27 miliardi di parametri. Riporta 1.242 task appaiati con un tasso di successo del 62.4% contro il 62.8% del solo Qwen, con un tempo per task a 0.68x. L'intervallo di confidenza sul tasso di successo va da -2.6 a +2.1 punti. Lo stesso repository è schietto su dove fallisce. Non mostra alcuna accelerazione chiara su Terminal-Bench 2.0 (0.96x) né su SkillsBench (0.91x), e circa il 5% dei task ha richiesto oltre 30 minuti in più rispetto alla baseline.

L'alternativa a un modello più grande

Il d1 di Liquid AI, annunciato il 5 ottobre, fa una scommessa simile dalla direzione opposta. È un modello decisionale: legge testo, immagini o entrambi in un solo passaggio in avanti e restituisce probabilità invece di generare token. Una decisione su testo richiede da 200 a 300 ms. Liquid dice che d1 eguaglia o batte GPT-6.1 Sol su quattro delle sei applicazioni testate, con un costo da 19x a 200x inferiore. Sono numeri del fornitore su task scelti dal fornitore.

Lo schema dietro tutte queste uscite è lo stesso. Le dichiarazioni di capacità diventano sempre più difficili da separare da quelle di costo. E i costi li misura di solito chi vende il modello.

Sean Goedecke ha dato la versione strutturale di questo argomento in un post del 5 ottobre sui cosiddetti modelli System One come Jev. Il suo punto è che un classificatore generale usato con un prompt genera esattamente i dati etichettati che servono per addestrare un classificatore più economico e più ristretto sullo stesso task. "For serious work, a specific hand-built classifier will always be cheaper and faster than Jev", scrive. Se regge, la corsa all'efficienza sulla frontiera è in parte una corsa a costruirsi il proprio sostituto.

Cosa manca nel quadro di Beam

Il post di Reflection include una riga chiamata AA Omniscience, marcata "public split only (our results)". Lì Beam segna 13.0 contro 22.6 di GLM 5.3 e 14.2 di Inkling. È l'unica riga in cui i test dell'azienda stessa la mettono dietro a un modello che altrove dichiara di eguagliare. L'etichetta suggerisce che il confronto non è omogeneo. Diverse altre celle riportano NR, cioè non riportato. Una tabella di benchmark con dei vuoti è normale al lancio; non è nemmeno una prova.

L'infrastruttura di valutazione indipendente sta arrivando nello stesso periodo. UC Riverside ha pubblicato il 23 settembre una ricerca secondo cui fiducia e correttezza nascono da caratteristiche interne diverse nei grandi modelli linguistici. Il lavoro ha usato Llama-3.1-8B di Meta, cioè 8 miliardi di parametri, e Gemma-2-9B di Google, cioè 9 miliardi di parametri. Het Patel, primo autore, ha detto che l'assunto principale del settore è che la fiducia predica la correttezza, e che i controesempi sono ben documentati. Sopprimere le caratteristiche legate solo all'incertezza ha ridotto nettamente l'accuratezza. Questo suggerisce che i segnali interni sono intrecciati in modi che un punteggio di benchmark non mostrerà mai.

Niente di tutto ciò stabilisce se Beam sia buono. Stabilisce cosa lo stabilirebbe: i pesi, un report tecnico e qualcuno senza interessi nel risultato che rifaccia gli stessi test. Reflection dice che tutte e tre le cose arriveranno questo mese. Fino ad allora, il dato dei 501 miliardi di parametri e la dichiarazione sulle 3-4 volte meno di calcolo sono un comunicato stampa con una tabella allegata.