Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Anthropic affirme que GLM-5.3 frôle Mythos sur l'écriture d'exploits

Anthropic a publié un rapport affirmant que GLM-5.3, de Zhipu AI, peut automatiser des exploits presque au niveau de son modèle Claude Mythos, non publié, rapporte Tom's Hardware le 3 octobre. Dans les tests Exploitbench d'Anthropic, GLM-5.3 a produit des exploits Chrome fonctionnels 50 fois sur 410 tentatives ; Mythos en a réussi 56.

IA & modèlesExpliquéCamille RousseauPublié le: 3 octobre 20266 min de lectureSources 8
Anthropic affirme que GLM-5.3 frôle Mythos sur l'écriture d'exploits

Le GLM-5.3 à poids ouverts de Zhipu AI n'a manqué que six exploits réussis pour rejoindre Mythos, le modèle non publié d'Anthropic, sur un banc d'essai d'exploits Chrome. C'est ce qu'indique un rapport publié par Anthropic et relayé par Tom's Hardware le 3 octobre. Sur un second test interne, l'écart est de deux points : GLM-5.3 atteint 4 % de réussite sur les « détournements complets de flux de contrôle », Mythos 6 %. Kimi K3 et DeepSeek V4.1 Flash obtiennent 0 % sur cette même mesure.

L'affirmation compte moins pour le tableau de scores que pour ce qu'elle dit de ceux qui peuvent disposer de cette capacité. Mythos est le modèle qu'Anthropic juge trop dangereux pour une publication publique. L'accès passe par Project Glasswing, une initiative lancée en avril qui fournit le modèle à des partenaires choisis pour la chasse aux bugs. Les poids de GLM-5.3 sont ouverts. Si les chiffres d'Anthropic tiennent, l'écart entre un modèle de pointe sous contrôle et un modèle téléchargeable est devenu assez faible pour qu'on en débatte. Ce débat a désormais un chiffre, et ce chiffre est six.

Le rapport d'Anthropic indique aussi que le modèle GLM-5.3 standard se détourne facilement de ses propres garde-fous. Tom's Hardware décrit deux méthodes. Un prompt trompeur où le modèle joue un agent autonome adverse a réussi dans 64 % des cas. Le préremplissage des jetons de réflexion du modèle pour forcer une réponse a réussi dans 92 % des cas. Une troisième méthode, l'abliteration, est également décrite. Rien de tout cela n'a été reproduit de façon indépendante.

Ce que le banc d'essai a réellement mesuré

Exploitbench est un environnement isolé où un modèle tente de développer des exploits pour Google Chrome. Anthropic a lancé 410 tentatives par modèle. La comparaison principale donne 56 réussites pour Mythos contre 50 pour GLM-5.3. Anthropic affirme aussi que GLM-5.3 a développé des exploits en chaîne de façon autonome. Sa variante Flash, plus légère, aurait construit des exploits en chaîne contre des bugs connus pour 20,40 dollars de jetons. Cela représente environ 100 à 300 millions de jetons selon le rapport entre entrée et sortie.

Les réserves méritent d'être dites clairement. Il s'agit de bancs d'essai réalisés par un éditeur sur un modèle concurrent, et la présentation d'Anthropic a déjà été contestée. Tom's Hardware note qu'Anthropic réclame une régulation du développement de l'IA tout en publiant Claude Opus 5.5 et Claude Sonnet 5.5 quelques jours après que son PDG a appelé à ralentir la course en avant. Anthropic cite un rapport de fin septembre du Center for AI Standards and Innovation selon lequel GLM-5.3 peut automatiser entièrement des exploits à un niveau proche de Mythos.

« Nous avons commencé à détecter l'exploitation de CVE-2026-61500 dans Rejetto HFS ce soir », a écrit le chercheur en sécurité Patrick Garrity, de VulnCheck, sur LinkedIn jeudi.

Anthropic a ses propres éléments montrant que la recherche de bugs de classe Mythos a des conséquences. The Register rapportait le 3 octobre qu'une faille critique de contournement d'authentification dans Rejetto HTTP File Server, suivie sous la référence CVE-2026-61500, a été trouvée par le chercheur Zach Hanley, de Horizon3, à l'aide de Mythos. Elle est désormais attaquée. Horizon3 a rejoint Project Glasswing en juillet. Les tentatives d'exploitation venaient d'une adresse IP en Chine visant des hôtes aux États-Unis et au Japon, a déclaré Garrity à The Register. Les frappes suivantes passaient par deux adresses américaines du même sous-réseau, apparemment un proxy. Les utilisateurs doivent passer à HFS v3.2.1 ou une version ultérieure.

Le compteur de Garrity recense 286 CVE trouvées grâce à Mythos et Project Glasswing au vendredi, rapporte The Register. Jusqu'à jeudi, une seule avait été exploitée dans la nature. Ce ratio sert d'argument pour l'accès contrôlé : beaucoup de bugs trouvés, peu attaqués jusqu'ici. Il sert aussi d'argument contre la lecture d'une seule semaine de données d'exploitation comme garantie de sécurité.

Pourquoi le comportement des modèles est si difficile à mesurer

Des travaux distincts publiés cette semaine suggèrent que les bancs d'essai d'hallucination et de capacité sont plus fragiles que leurs scores ne le laissent croire. Le blog de recherche d'Aleph Alpha décrit une méthode d'entraînement qui transforme la réponse aux questions en jeu à trois joueurs. Un contexte soutient la bonne réponse, un autre a la preuve retirée, et le modèle doit répondre sur le premier et s'abstenir sur le second. Sur cinq bancs d'essai de questions-réponses, l'entreprise affirme que les mauvaises réponses en contexte insuffisant baissent jusqu'à 35 points par rapport à un modèle instruit. Elles baissent de 18 à 20 points par rapport à l'entraînement standard, avec un score d'ancrage qui grimpe jusqu'à 0,38.

L'idée derrière la méthode est qu'un score de banc d'essai dit qu'une réponse était juste, pas d'où elle vient. Un modèle peut lire le document récupéré, se souvenir de la réponse depuis le pré-entraînement, ou s'appuyer sur un indice trompeur. Demander une citation ne règle rien, car le modèle choisit la citation après avoir répondu.

Le même problème apparaît dans la recherche d'information. ScholarCatalyst, un banc d'essai construit à partir de 184 auteurs principaux ayant annoté 207 articles récents en informatique, demandait aux modèles de retrouver les travaux antérieurs qui avaient façonné un projet. Seule la littérature disponible au démarrage du projet était utilisée. La recherche agentique n'a pas fait mieux que la recherche par plongement classique, 0,42 contre 0,48 en Recall@20. Un agent bâti sur Claude Fable 5.1, qui a peut-être vu les articles achevés pendant son entraînement, atteint 0,51.

PTXBench, un article arXiv révisé le 28 septembre, constate qu'aucun modèle évalué n'égale régulièrement les bibliothèques GPU de pointe sur l'optimisation de noyaux. Il constate aussi qu'exécuter les bonnes instructions ne se traduit pas par une vitesse compétitive. Les auteurs ont affiné Qwen3.6-27B et trouvé une généralisation inégale.

Le camp des poids ouverts avance aussi

L'avertissement d'Anthropic tombe dans une semaine où les publications ouvertes se sont succédé. Aleph Alpha a publié Kolibri le 3 octobre, un modèle mixture-of-experts allemand et anglais de 78 milliards de paramètres au total et 3 milliards actifs. Il dispose d'un contexte de 1 million de jetons et de poids Apache 2.0 sur Hugging Face. Il vise l'administration publique, l'industrie et l'aéronautique. L'entreprise affirme qu'il égale des modèles comptant jusqu'à quatre fois son nombre de paramètres actifs, comme Nemotron 3 Super.

L'outillage a suivi un jour plus tôt. Le projet llama.cpp annonce que son serveur prend désormais en charge les modèles de décision via un point d'accès /v1/systemone, selon le format introduit avec Jev de TypeSafe. Les clients existants n'ont besoin que d'une nouvelle URL de base. Les modèles listés incluent Laya, 421 millions de paramètres, et OpenJev, 27 milliards, ce dernier sous licence non commerciale. Une autre publication, Shield Small, est un classifieur de 118 millions de paramètres pour la détection d'injection de prompt et de jailbreak, qui tourne sur CPU. Sa fiche modèle annonce 71,8 % de rappel sur les attaques et 7,2 % de faux positifs sur un ensemble de comparaison utilisé pendant le développement.

Rien de tout cela ne tranche la question de savoir si GLM-5.3 est aussi dangereux qu'Anthropic le dit. Ce qui est public : les chiffres d'Anthropic, les méthodes qu'elle décrit, et un flux régulier de modèles ouverts capables. Ce qui ne l'est pas : un test indépendant des taux de contournement des garde-fous, ou une déclaration de Zhipu AI répondant au rapport. Anthropic n'a pas dit si elle avait partagé ses conclusions avec Zhipu avant publication.

Commentaires 0

Sources

8
  1. 01Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  2. 02Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
  3. 03Bounding Hallucinations: Merlin-Arthur Protocols for Mutual-Information Bounds in Language ModelsEN
  4. 04ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  5. 05PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTXEN
  6. 06Kolibri Has Landed: A Sovereign Open-Weight ModelEN
  7. 07New in llama.cpp: Decision ModelsEN
  8. 08Shield: A 118M model for detecting prompt injections and jailbreaksEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.