Valutare il ragionamento dell'IA diventa più difficile, e i numeri diventano più strani
Un ricercatore ha analizzato 27.489 CVE appena pubblicati con un modello decisionale locale. Ha scoperto che il 16,9% non indica mai un impatto sulla sicurezza, un risultato che dice tanto su come i sistemi di IA valutano i testi quanto sui report stessi.

L'esperimento è piccolo e personale. Jerry Gamblin fa parte dei gruppi di lavoro Quality, Automation and Consumer del CVE Program. Ha eseguito i modelli Clef di Cloudflare su un portatile, su ogni CVE pubblicato tra il 4 agosto e il 3 ottobre 2026. Ha pubblicato i risultati il 4 ottobre.
Il dato principale: fuori dal kernel Linux, 989 descrizioni su 23.736, cioè il 4,2%, non dicono mai cosa potrebbe fare un attaccante. Includendo il kernel, la cui policy lascia l'impatto all'utente, la cifra sale a 4.650 su 27.489, il 16,9%.
Perché conta: è così che appare la valutazione automatizzata quando esce dal laboratorio. Un modello da 9.000.000.000 di parametri ha risposto a due domande tipizzate su ogni record in meno di un secondo. Non servivano chiavi API né bollette, secondo il resoconto di Gamblin. Ora chiunque può valutare un corpus a casa. Resta da capire se quei punteggi reggono fuori dalla configurazione di un singolo ricercatore. Nessuno ha provato la pipeline su una seconda macchina o su un secondo corpus.
Gamblin su questo è prudente. Ha verificato la pipeline a due passaggi su 129 CVE etichettati a mano. Ha individuato 15 dei 16 che aveva giudicato privi di impatto. Non ha mai segnalato come negativo uno dei suoi esempi positivi. Clef 27B ha riletto tutto ciò che Clef Flash aveva marcato come privo di impatto e ne ha ribaltato 1.198 su 2.187, il 54,8%. Flash da solo, scrive, è troppo severo.
Perché tutti costruiscono un benchmark
La stessa settimana, OpenAI ha pubblicato il resoconto di uno sforzo coordinato per estrarre il ragionamento protetto dai suoi modelli. L'attività è iniziata il 1° luglio, secondo l'azienda. Ha avuto un picco il 24 e 25 luglio con 16.000 richieste basate su uno schema di estrazione da più di 4.000 utenti. OpenAI dice di aver interrotto un cluster collegato di oltre 15.000 utenti entro il 28 luglio. Attribuisce un cluster centrale a persone legate a Moonshot AI, lo sviluppatore di Kimi.
Quello è un incidente di sicurezza, non un benchmark. Ma mostra la stessa pressione. Una volta misurata, la capacità di un modello diventa un bersaglio. La misurazione stessa diventa una superficie d'attacco.
OpenAI afferma che gli operatori non hanno violato la crittografia né raggiunto conversazioni archiviate. Hanno manipolato le interazioni con il modello in modo che il ragionamento nascosto potesse essere riprodotto in forma visibile.
I benchmark sono diventati il volto pubblico di quella capacità. Il volume di nuovo lavoro di valutazione negli ultimi giorni è notevole. Google ha aperto il 3 novembre un benchmark di ingegneria da 85 attività e una competizione per agenti, secondo la lista di titoli che circolava quel giorno. OpenAI ha introdotto lo stesso giorno un benchmark LifeVal per le attività quotidiane. Artificial Analysis ha rifatto il suo indice alla versione v5 il 29 ottobre. Ha riportato che l'IA agentica ha portato a 12 punti il vantaggio dei modelli proprietari.
Ognuno di questi è un'affermazione su quanto bene ragionano le macchine. Nessuno risolve la questione. Un benchmark è un campione. Il campione lo sceglie l'azienda che viene misurata o un rivale.
I numeri che vengono citati
Prendiamo i punteggi di ragionamento che hanno dominato la copertura. Startup Fortune ha riportato il 4 ottobre che GPT-6 Astra di OpenAI ha raggiunto il 62,7% su quello che ha chiamato il test di ragionamento più difficile per l'IA. Ha anche riportato che il suo punteggio su ARC-AGI-3 ha più che raddoppiato il precedente primato. NewsBytes ha riportato il 3 ottobre che Gemini 3.1 Pro di Google ha ottenuto il 77,1% su ARC-AGI-2. Sono test diversi con tetti diversi, e i titoli raramente lo dicono.
Poi ci sono prezzo e coding. Startup Fortune ha riportato il 3 ottobre che Claude Opus 5.5 batteva Astra di OpenAI sui benchmark di coding e sul prezzo. SitePoint ha pubblicato lo stesso giorno una guida su cosa significa il punteggio FrontierCode di Claude Opus 5 con sforzo medio.
Mettiamo insieme le due cose e salta fuori un problema noto. Un modello impostato per consumare meno calcolo ottiene un punteggio diverso dallo stesso modello a sforzo pieno. La voce in classifica raramente riporta l'impostazione.
La revisione v5 di Artificial Analysis ammette la stessa cosa. Quando l'indice cambia, i punteggi storici smettono di essere confrontabili. L'azienda ha detto che il divario tra modelli agentici proprietari e aperti si è allargato a 12 punti con la nuova versione. È un dato reale sulla nuova versione. Non è necessariamente un dato sui modelli.
"I nostri risultati dimostrano che gli approcci basati sulla teoria dell'informazione per mitigare il collasso sono efficienti, e suggeriscono nuovi metodi per mantenere la diversità multi-agente."
Quella frase viene da un articolo inviato ad arXiv il 1° ottobre da Lewis Mitchell, unico autore all'Università di Bristol, secondo la scheda. Il lavoro riguarda il collasso dei modelli, non le classifiche, ma appartiene alla stessa conversazione. Mitchell ha eseguito un esperimento di fine-tuning QLoRA su sei generazioni con Llama-3.1-8B. Ha scoperto che filtrare il testo di addestramento con una stima del tasso di entropia, calcolata dal testo grezzo senza alcun modello, produceva il 42% di trigrammi unici in più, il 30% di vocabolario in più e il 19% di ripetizioni in meno rispetto a una corsa senza filtro. Il baseline basato sui logprob, il metodo consolidato, non mostrava alcun beneficio significativo su nessuna metrica.
La lezione per chi guarda i benchmark è scomoda. Una metrica può sembrare rigorosa e misurare comunque la cosa sbagliata. Il filtro di Mitchell non aveva bisogno di un modello per assegnare un punteggio. Proprio per questo si poteva testare a basso costo e più volte. La maggior parte dei benchmark di ragionamento non può dire lo stesso.
Modelli locali come valutatori
La configurazione di Gamblin è l'esempio più chiaro del cambiamento. Ollama 0.35.1 ha aggiunto un endpoint decisionale che riceve uno stato e una serie di domande tipizzate. Restituisce scelte, probabilità e punteggi, senza testo da interpretare. Clef è un modello da 27.000.000.000 di parametri con fine-tuning da Qwen 3.8. Clef Flash è un modello da 9.000.000.000 di parametri con fine-tuning da Qwen 3.5. Entrambi sono Apache 2.0, con i pesi su Hugging Face, ed entrambi girano in locale dalla libreria Ollama.
Il download di Flash è di circa 10 GB.
Questo cambia chi può valutare cosa. Un team di sicurezza può assegnare un punteggio a migliaia di record in una notte su un portatile. Un ricercatore singolo può riprodurre la corsa. Il problema è la calibrazione. Gamblin ha avuto bisogno del modello più grande per ricontrollare quello più piccolo, e anche così ha validato su un insieme di 129 etichettato a mano. A quella scala, pochi errori di etichettatura spostano la percentuale.
Lui è esplicito sui limiti. La cifra del 4,2% esclude il kernel. Quella del 16,9% lo include, e la policy del kernel è il motivo per cui i suoi record non dicono nulla sull'impatto. Nessuno dei due numeri è un verdetto sul CVE Program. Entrambi misurano quanto coerentemente chi scrive compila un campo.
Cosa lasciano fuori i punteggi
I prodotti di IA per i consumatori fanno lo stesso scambio. Google limiterà l'accesso ai modelli Gemini per gli account personali a partire dal 9 ottobre, secondo un documento di supporto aggiornato riportato da 9to5Google il 3 ottobre. Gli utenti gratuiti saranno limitati a Flash-Lite. Gli abbonati AI Plus a 4,99 dollari al mese perdono Pro e mantengono Flash-Lite e Flash. AI Pro a 19,99 dollari e AI Ultra a 99,99 o 199,99 dollari mantengono tutti e tre. THE DECODER ha riportato la stessa suddivisione in livelli il 4 ottobre. Ha notato che i clienti AI Pro guadagnano anche l'opzione Deep Think.
Leggete questo insieme ai titoli dei benchmark e appare uno schema. I modelli che vengono valutati sono sempre più quelli dietro un paywall. Un utente che confronta Gemini, ChatGPT e Claude su una classifica pubblica può non toccare mai la configurazione che ha prodotto il punteggio.
Gli annunci di OpenAI al Dev Day, riportati da TechCrunch il 29 settembre, spingono ancora nella stessa direzione. ChatGPT, che secondo l'azienda ha 1.200.000.000 di utenti settimanali, suggerirà app dentro la conversazione. 16 partner iniziali hanno aderito a Sign in with ChatGPT.
Niente di tutto questo rende inutili i benchmark. Li rende parziali. I numeri più citati della settimana, 62,7% su un test di ragionamento e 77,1% su un altro, descrivono corse specifiche con impostazioni specifiche. La cifra del 16,9% sui CVE descrive il portatile di un ricercatore, un weekend e una coppia di modelli aperti. Tutti e tre sono onesti se si legge il metodo. Tutti e tre ingannano se si legge solo il numero.
Manca uno standard condiviso per riportare l'impostazione accanto al punteggio. Né Google né OpenAI hanno detto che pubblicheranno i livelli di sforzo e l'accesso ai livelli accanto ai risultati dei benchmark. Finché qualcuno non lo farà, i confronti continueranno a scivolare.
Fonti
8- 01Decision Models vs. CVE DataEN
- 02Gemini app limiting what models free and AI Plus users can accessEN
- 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
- 04Disrupting a coordinated model-distillation campaignEN
- 05No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
- 06OpenAI's latest features take direct aim at the app store modelEN
- 07Anthropic asks Claude users to share voice data for AI model trainingEN
- 08Ideogram 4.5: The most precise edit modelEN
Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.
I contenuti sono stati preparati dalla redazione con il supporto dell'IA.
Commenti
0- Nessun commento — sii il primo.