Beam di Reflection: 501 miliardi di parametri, pesi non ancora rilasciati, benchmark autodichiarati

Il post sul blog è uscito il 5 ottobre e su un punto è prudente: Beam non è finito. "Beam is undergoing final red-teaming and evaluations", scrive l'azienda, e pesi, report tecnico, model card e artefatti per gli sviluppatori sono promessi "later this month". L'accesso anticipato passa da un modulo di registrazione.

Quello che Reflection ha pubblicato è una scheda tecnica e una tabella di punteggi benchmark misurati in casa. La distinzione conta per chi pensa di valutare il modello sui propri carichi di lavoro. Nel post non c'è nulla che dica quando esisterà una verifica indipendente.

L'architettura è un Mixture-of-Experts sparso: 501 miliardi di parametri totali con 23 miliardi attivi per token, preaddestrato su 23,8 trilioni di token che Reflection descrive come dati web più dataset proprietari su licenza. La fase di reinforcement learning ha girato su oltre 100 milioni di rollout, con 10.500 GPU NVIDIA GB300 e quattro settimane di addestramento. Sono cifre dell'azienda. Sono anche il tipo di numero che un soggetto esterno fa fatica a verificare.

L'efficienza è l'argomento di vendita

Reflection presenta Beam come un modello da lavoro quotidiano, non come un leader di frontiera. Nella sua tabella Beam segna 80,9 su SWE-bench Verified contro 77,6 di Inkling e 70,7 di Nemotron 3 Ultra. Su Terminal Bench v2.1 riporta 80,1, dietro GLM 5.3 a 88,2, Kimi K3 a 88,3 e Qwen 3.8 Max a 86,6.

L'azienda ammette il divario di capacità senza giri di parole. "Where frontier open models like Kimi K3 remain ahead on raw capability, Beam's advantage is efficiency at inference time", si legge nel post. Sostiene di ottenere punteggi paragonabili a GLM 5.2 sui benchmark di ragionamento avanzato usando da 3 a 4 volte meno calcolo di inferenza, con uno scarto più ampio rispetto ai modelli della famiglia da oltre 2.000 miliardi di parametri come Qwen 3.8 Max.

Se regge, cambia i conti per i team che fanno girare agenti di coding in volume. È il costo di inferenza, non la posizione in classifica, a decidere se un agente lavora su ogni pull request o solo su quelle segnalate da una persona. Mette anche pressione sui laboratori cinesi di modelli open-weight, che finora hanno guidato sul prezzo per token. Restano ignoti la licenza, il formato dei pesi e se la promessa di efficienza sopravvive a un harness di terze parti. Niente di tutto questo è nel post.

I benchmark hanno una settimana tutta loro

La coincidenza è scomoda ma utile. Lo stesso giorno GitHub ha pubblicato ReviewBench, un benchmark aperto per la revisione del codice con l'AI costruito a partire dall'analisi di 103,9 milioni di pull request sulla piattaforma. Il dataset contiene 219 pull request provenienti da 187 repository open source pubblici in 19 linguaggi, con distribuzioni per linguaggio e dimensione del repository allineate a quelle di GitHub nel suo complesso. GitHub dice che ingegneri senior hanno etichettato in modo indipendente i veri positivi prima del rilascio, e che la dimensione delle pull request è stata volutamente spostata verso "the reviewable middle and tail" invece di rispecchiare la piattaforma alla lettera.

GitHub aggiunge che il benchmark ha migliorato la sua capacità di prevedere se le modifiche a Copilot code review avrebbero aiutato in produzione. È la parte interessante: un benchmark usato internamente come filtro prima del rilascio, non come classifica.

Team più piccoli fanno lo stesso ragionamento partendo dal lato opposto. Un rilascio per sviluppatori di Jeff-Code, datato 5 ottobre, inserisce un modello decisionale da 800 milioni di parametri nel loop dell'agente di coding Pi accanto a Qwen 3.8-27B. Su 1.242 attività appaiate riporta un tasso di successo del 62,4% contro il 62,8% del solo Qwen, una differenza appaiata di meno 0,2 punti con intervallo al 95% da meno 2,6 a più 2,1, mentre il tempo medio per attività scende a 0,68 volte la baseline. Il progetto dichiara esplicitamente che l'accelerazione non è uniforme: riporta 0,96 volte su Terminal-Bench 2.0 e 0,91 volte su SkillsBench, cioè nessun guadagno chiaro su nessuno dei due.

Questo tipo di trasparenza è più raro di quanto dovrebbe. Rende anche la cifra aggregata più credibile di una singola percentuale in evidenza.

Modelli decisionali, visione e la spinta sui modelli piccoli

Liquid AI ha usato il 5 ottobre per lanciare d1, che definisce il suo primo modello decisionale e il primo capace di gestire immagini oltre al testo. I modelli decisionali restituiscono probabilità per un insieme di domande in un solo passaggio in avanti invece di generare token. Liquid dice che una decisione su testo richiede da 200 a 300 ms, che d1 eguaglia o supera GPT-6.1 Sol su quattro delle sei applicazioni di test e che costa da 19 a 200 volte meno sia di quel modello sia di Claude Opus 5.5.

L'azienda riporta una precisione tra l'85 e il 97% nello smistamento di pezzi buoni e difettosi in una demo di ispezione industriale sul dataset pubblico VisA, e sostiene che il modello non è mai stato addestrato per quel compito. Riporta anche di aver rimosso il 52% dei token in un test di compattazione del contesto per un agente di coding, mantenendo ogni output necessario all'attività. Sono numeri del fornitore, misurati dal fornitore, e vanno letti così.

La stessa cautela vale per Interfaze 1.1 Lite, modello open-weight con architettura mista pubblicato su Hugging Face il 5 ottobre. Abbina un nucleo di ragionamento a modelli specialistici per documenti, voce, segmentazione e previsioni, e gli autori dicono che il tutto gira su una singola GPU da 80 GB senza servizi esterni. La tabella comparativa pubblicata lo mette a 73,2 su MMMU-Pro contro 71,1 di Interfaze e 40,4 di GPT-5.4-Mini, e a 3,01 di word error rate su VoxPopuli-Cleaned contro 2,4 di Interfaze. Risultati misti nella griglia del fornitore stesso.

Nello stesso gruppo, Veris ha pubblicato il 5 ottobre una classifica di agenti vocali costruita su 2.694 chiamate simulate a un servizio di fatturazione. Ha rilevato che un televisore acceso dietro il chiamante riduceva il completamento aggregato delle attività dal 38,7% all'8,6%, e che nove delle quattordici stack vocali completavano meno del 5% di quelle chiamate. La prima in classifica, Phonic, ha completato il 57,5% delle attività con 1,42 secondi di latenza. Un solo esame, le politiche di una sola azienda di servizi, come nota Veris stessa.

Perché i pesi mancanti contano

La promessa di Reflection è la più rilevante del gruppo perché riguarda il costo su larga scala. È anche l'unica che nessuno fuori dall'azienda può ancora mettere alla prova. L'azienda ha detto che gli artefatti arriveranno questo mese. Fino ad allora Beam è una promessa con un conteggio di parametri attaccato.

Il resto dei rilasci della giornata va nella stessa direzione: modelli più piccoli, modelli specialistici e harness che decidono quando un modello grande deve pensare. È una direzione più economica di un altro trilione di parametri. È anche più difficile da misurare, ed è per questo che i dataset aperti pubblicati insieme ai modelli potrebbero finire per contare più dei modelli stessi.