I benchmark sono ovunque, ma misurano meno di quanto dichiarano i laboratori

GitHub ha pubblicato ReviewBench il 5 ottobre. È un benchmark aperto per la revisione del codice con l'AI, costruito su 219 pull request pubbliche in 19 linguaggi. L'azienda dice di aver modellato l'insieme su 103.900.000 pull request passate da GitHub. Ingegneri senior hanno etichettato i veri positivi prima del rilascio. GitHub afferma che il dataset è pubblico e pronto ad accogliere nuovi sistemi di revisione del codice.

La tempistica conta meno di come è costruito. ReviewBench valuta i revisori su quattro metriche. Etichetta ogni rilievo per gravità e categoria, così un team può vedere se un modello intercetta bug critici o produce solo rumore. GitHub dice anche che la sua valutazione offline della revisione del codice di Copilot ora predice meglio se una modifica sarà utile in produzione. È questa l'affermazione da mettere alla prova: un benchmark guadagna fiducia solo quando i suoi punteggi seguono ciò che vedono gli utenti.

Un agente vocale che cede quando la TV è accesa

Veris ha pubblicato lo stesso giorno i risultati del suo VAmoS Pro, con un dato che sembra un'etichetta di avvertenza. Il test ha eseguito 2.694 chiamate telefoniche simulate per un compito di fatturazione di una utility. Una televisione accesa dietro il chiamante ha fatto scendere il tasso di completamento aggregato dal 38,7% all'8,6%. Il rumore di strada allo stesso livello non è costato nulla, secondo la classifica. Nove dei quattordici sistemi vocali hanno completato meno del 5% delle chiamate con la TV accesa.

Veris mette Phonic al primo posto con il 57,5% di completamento e una latenza di 1,42 secondi. Seguono Grok Voice Think Fast 2.0 al 44,7% e Gemini 3.8 Live al 40,1%. Lo stack Whisper, gpt-oss-120b e Kokoro di Hugging Face è ultimo al 19,0%. Veris precisa che si tratta di un solo esame sulle politiche di una sola utility. L'ordine va letto come un'istantanea, non come un giudizio sui fornitori.

La stessa scheda ha testato otto modelli decisionali su quando un agente deve parlare. Clef Flash di Cloudflare e Nimble hanno interrotto meno i chiamanti. Clef Flash ha risposto circa un secondo prima di Nimble. In una prova separata da 600 chiamate, Veris ha dichiarato che le interruzioni sono scese dal 52% dei turni del chiamante all'11% con il rilevamento semantico dei turni. Quel numero viene dai test del fornitore, non da una verifica indipendente.

Le dichiarazioni di efficienza meritano lo stesso esame

Reflection ha presentato il 5 ottobre Beam, il suo primo modello a pesi aperti. È un design sparse mixture-of-experts con 501.000.000.000 di parametri totali e 23.000.000.000 attivi. L'azienda dice di aver fatto il pretraining su 23.800.000.000.000 di token. Ha eseguito il reinforcement learning su 10.500 GPU Nvidia GB300 per quattro settimane. Sostiene anche che Beam eguaglia GLM 5.2 sul ragionamento avanzato usando da 3 a 4 volte meno potenza di calcolo in inferenza.

La tabella di Beam ridimensiona il titolo. Su SWE Bench Pro v2-Hard, Kimi K3 segna 88,2 contro il 77,2 di Beam. Su Terminal Bench v2.1, Kimi K3 arriva a 88,3 contro 80,1. Reflection lo presenta con onestà come un vantaggio di efficienza, non di capacità. I pesi, il rapporto tecnico e la model card arriveranno più avanti questo mese.

I progetti più piccoli fanno promesse più piccole. Un fork dell'agente di coding Pi chiamato Jeff-Code abbina un modello decisionale da 800.000.000 di parametri a Qwen 3.8-27B. Riporta un tasso di successo del 62,4% contro il 62,8% del solo Qwen, una differenza appaiata di meno 0,2 punti. Riduce anche il tempo medio per compito a 0,68 volte. Il modello decisionale d1 di Liquid AI è uscito il 5 ottobre con supporto alle immagini. Risponde in 200 o 300 ms senza generare token, dice l'azienda. Costa da 19 a 200 volte meno di GPT-6.1 Sol e Claude Opus 5.5.

Due cose restano ignote. Nessuno fuori dai laboratori ha provato questi sistemi su compiti che non fossero scelti da loro. I fornitori non hanno pubblicato i casi di fallimento dietro le loro medie. Fino ad allora, un punteggio di benchmark è un punto di partenza per una decisione d'acquisto, non la decisione.