L'évaluation du raisonnement des IA devient plus difficile, et les chiffres plus étranges
Un chercheur a fait passer 27 489 CVE récemment publiées dans un modèle de décision local. Il a constaté que 16,9 % n'indiquent jamais d'impact de sécurité. Ce résultat en dit autant sur la façon dont les systèmes d'IA notent un texte que sur les rapports de vulnérabilité eux-mêmes.

L'expérience est modeste et personnelle. Jerry Gamblin siège aux groupes de travail Qualité, Automatisation et Consommateurs du programme CVE. Il a fait tourner les modèles Clef de Cloudflare sur un ordinateur portable face à toutes les CVE publiées entre le 4 août et le 3 octobre 2026. Il a publié les résultats le 4 octobre.
Le constat principal : hors noyau Linux, 989 descriptions sur 23 736, soit 4,2 %, ne disent jamais ce qu'un attaquant pourrait faire. En incluant le noyau, dont la politique laisse l'impact à l'appréciation de l'utilisateur, le chiffre monte à 4 650 sur 27 489, soit 16,9 %.
Pourquoi c'est important : voilà à quoi ressemble l'évaluation automatisée quand elle sort du laboratoire. Un modèle 9B, soit 9 000 000 000 de paramètres, a répondu à deux questions typées sur chaque enregistrement en moins d'une seconde. Il n'a demandé ni clé API ni facture, écrit Gamblin. N'importe qui peut désormais noter un corpus chez soi. Ce qui reste inconnu, c'est la solidité de ces scores hors du montage d'un seul chercheur. Personne n'a testé la chaîne sur une seconde machine ni sur un second corpus.
Gamblin reste prudent sur ce point. Il a confronté la chaîne en deux étapes à 129 CVE qu'il avait étiquetées à la main. Elle a repéré 15 des 16 qu'il jugeait sans impact déclaré. Elle n'a jamais classé en négatif l'une de ses étiquettes positives. Clef 27B, soit 27 000 000 000 de paramètres, a relu tout ce que Clef Flash marquait comme sans impact et en a invalidé 1 198 sur 2 187, soit 54,8 %. Flash seul, écrit-il, est trop strict.
Pourquoi tout le monde construit un benchmark
La même semaine, OpenAI a publié le récit d'un effort coordonné pour extraire le raisonnement protégé de ses modèles. L'activité a commencé le 1er juillet, selon l'entreprise. Elle a culminé les 24 et 25 juillet avec 16 000 requêtes utilisant un schéma d'extraction, émises par plus de 4 000 utilisateurs. OpenAI dit avoir démantelé le 28 juillet un groupe lié de plus de 15 000 utilisateurs. Elle attribue un noyau de ce groupe à des personnes associées à Moonshot AI, le développeur de Kimi.
C'est un incident de sécurité, pas un benchmark. Mais il montre la même pression. Dès qu'une capacité de modèle est mesurée, elle devient une cible. La mesure elle-même devient une surface d'attaque.
OpenAI affirme que les opérateurs n'ont pas cassé le chiffrement ni atteint des conversations stockées. Ils ont manipulé les interactions avec le modèle pour que le raisonnement caché puisse être reproduit sous forme visible.
Les benchmarks sont devenus la vitrine publique de cette capacité. Le volume de nouveaux travaux d'évaluation ces derniers jours frappe. Google a ouvert le 3 novembre un benchmark d'ingénierie de 85 tâches et une compétition d'agents, selon la liste de titres qui circulait ce jour-là. OpenAI a lancé le même jour un benchmark LifeVal pour les tâches du quotidien. Artificial Analysis a refondu son indice en v5 le 29 octobre. La société a indiqué que l'IA agentique portait l'avance des modèles propriétaires à 12 points.
Chacun de ces éléments est une affirmation sur la qualité du raisonnement des machines. Aucun ne tranche la question. Un benchmark est un échantillon. L'échantillon est choisi par l'entreprise mesurée ou par un rival.
Les chiffres que l'on cite
Prenez les scores de raisonnement qui ont dominé la couverture. Startup Fortune a rapporté le 4 octobre que GPT-6 Astra d'OpenAI atteignait 62,7 % sur ce qu'il appelle le test de raisonnement le plus dur de l'IA. Le même média indiquait que son score ARC-AGI-3 faisait plus que doubler le précédent record. NewsBytes a rapporté le 3 octobre que Gemini 3.1 Pro de Google obtenait 77,1 % sur ARC-AGI-2. Ce sont des tests différents avec des plafonds différents, et les titres le disent rarement.
Vient ensuite le prix et le code. Startup Fortune a rapporté le 3 octobre que Claude Opus 5.5 battait Astra d'OpenAI sur les benchmarks de programmation et sur le prix. SitePoint a publié le même jour une explication sur ce que signifie le score FrontierCode de Claude Opus 5 à effort moyen.
Mettez les deux côte à côte et un problème familier apparaît. Un modèle réglé pour dépenser moins de calcul n'obtient pas le même score que le même modèle à pleine puissance. La ligne du classement porte rarement ce réglage.
La refonte v5 d'Artificial Analysis est l'aveu de la même chose. Quand l'indice change, les scores historiques cessent d'être comparables. La société a indiqué que l'écart entre modèles agentiques propriétaires et ouverts s'était creusé à 12 points sous la nouvelle version. C'est un constat réel sur la nouvelle version. Ce n'est pas forcément un constat sur les modèles.
"Nos résultats montrent que les approches issues de la théorie de l'information pour limiter l'effondrement sont efficaces, et suggèrent de nouvelles pistes pour maintenir la diversité entre agents."
Cette phrase vient d'un article soumis à arXiv le 1er octobre par Lewis Mitchell, unique auteur à l'université de Bristol, selon la notice. Le travail porte sur l'effondrement des modèles, pas sur les classements, mais il appartient à la même discussion. Mitchell a mené une expérience de réglage fin QLoRA sur six générations de Llama-3.1-8B, soit 8 000 000 000 de paramètres. Il a constaté qu'un filtrage du texte d'entraînement par une estimation du taux d'entropie, calculée sur le texte brut sans aucun modèle, produisait 42 % de trigrammes uniques en plus, 30 % de vocabulaire en plus et 19 % de répétition en moins par rapport à une exécution sans filtre. La référence fondée sur les logprobs, méthode établie, n'a montré aucun bénéfice significatif sur aucune métrique.
La leçon pour les observateurs de benchmarks est inconfortable. Une métrique peut sembler rigoureuse et mesurer la mauvaise chose. Le filtre de Mitchell n'avait besoin d'aucun modèle pour noter. C'est précisément pourquoi il pouvait être testé à moindre coût et de façon répétée. La plupart des benchmarks de raisonnement ne peuvent pas en dire autant.
Les modèles locaux comme correcteurs
Le montage de Gamblin est l'exemple le plus clair de ce basculement. Ollama 0.35.1 a ajouté un point d'accès de décision qui prend un état et un ensemble de questions typées. Il renvoie des choix, des probabilités et des scores, sans texte à analyser. Clef est un modèle 27B affiné à partir de Qwen 3.8. Clef Flash est un modèle 9B affiné à partir de Qwen 3.5. Les deux sont sous Apache 2.0, avec des poids sur Hugging Face, et les deux tournent en local depuis la bibliothèque Ollama.
Le téléchargement de Flash fait environ 10 GB.
Cela change qui peut évaluer quoi. Une équipe de sécurité peut noter des milliers d'enregistrements en une nuit sur un ordinateur portable. Un chercheur seul peut reproduire l'exécution. Le piège, c'est la calibration. Gamblin a eu besoin du grand modèle pour contester le petit, et même ainsi il a validé sur un ensemble de 129 cas étiquetés à la main. À cette échelle, quelques étiquettes fausses déplacent le pourcentage.
Il reconnaît franchement les limites. Le chiffre de 4,2 % exclut le noyau. Celui de 16,9 % l'inclut, et la politique du noyau explique que ses enregistrements ne disent rien de l'impact. Aucun des deux chiffres n'est un verdict sur le programme CVE. Tous deux mesurent la régularité avec laquelle les rédacteurs remplissent un champ.
Ce que les scores laissent de côté
Les produits d'IA grand public font le même arbitrage. Google va restreindre l'accès aux modèles Gemini pour les comptes personnels à partir du 9 octobre, selon un document d'assistance mis à jour et rapporté par 9to5Google le 3 octobre. Les utilisateurs gratuits seront limités à Flash-Lite. Les abonnés AI Plus à 4,99 dollars par mois perdent Pro et gardent Flash-Lite et Flash. AI Pro à 19,99 dollars et AI Ultra à 99,99 ou 199,99 dollars conservent les trois. THE DECODER a rapporté la même grille le 4 octobre. Il notait que les clients AI Pro gagnent aussi l'option Deep Think.
Lisez cela à la lumière des titres sur les benchmarks et un schéma apparaît. Les modèles notés sont de plus en plus ceux qui se trouvent derrière un paywall. Un utilisateur qui compare Gemini, ChatGPT et Claude sur un classement public ne touchera peut-être jamais la configuration qui a produit le score.
Les annonces d'OpenAI au Dev Day, rapportées par TechCrunch le 29 septembre, poussent plus loin dans la même direction. ChatGPT, que l'entreprise crédite de 1 200 000 000 d'utilisateurs hebdomadaires, suggérera des applications dans la conversation. 16 partenaires de lancement ont rejoint Sign in with ChatGPT.
Rien de tout cela ne rend les benchmarks inutiles. Cela les rend partiels. Les chiffres les plus cités de la semaine, 62,7 % sur un test de raisonnement et 77,1 % sur un autre, décrivent des exécutions précises dans des réglages précis. Le chiffre de 16,9 % sur les CVE décrit l'ordinateur portable d'un chercheur, un week-end et une paire de modèles ouverts. Les trois sont honnêtes si l'on lit la méthode. Les trois trompent si l'on ne lit que le nombre.
Ce qui manque, c'est une norme commune pour publier le réglage à côté du score. Ni Google ni OpenAI n'a annoncé qu'il publierait les niveaux d'effort et l'accès par offre à côté des résultats de benchmark. Tant que personne ne le fera, les comparaisons continueront de dériver.
Sources
8- 01Decision Models vs. CVE DataEN
- 02Gemini app limiting what models free and AI Plus users can accessEN
- 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
- 04Disrupting a coordinated model-distillation campaignEN
- 05No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
- 06OpenAI's latest features take direct aim at the app store modelEN
- 07Anthropic asks Claude users to share voice data for AI model trainingEN
- 08Ideogram 4.5: The most precise edit modelEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.