Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

De nouveaux benchmarks montrent que les modèles d'IA restent en retard sur les experts humains dans le raisonnement scientifique

Un nouveau benchmark publié le 3 octobre révèle que les outils de recherche agentique ne font pas mieux que la recherche par embedding classique pour trouver les articles scientifiques qui inspirent de nouveaux travaux. Les meilleurs modèles n'atteignent qu'un Recall@20 de 0,51.

IA & modèlesActualitéCamille RousseauPublié le: 3 octobre 20264 min de lectureSources 15
De nouveaux benchmarks montrent que les modèles d'IA restent en retard sur les experts humains dans le raisonnement scientifique

ScholarCatalyst a été publié le 3 octobre. Le benchmark mesure si une IA peut trouver le travail antérieur précis qui catalyse de nouveaux projets scientifiques. Les grands modèles de langage actuels butent sur le saut intuitif nécessaire pour relier une question de recherche floue à un article utile enfoui dans une archive massive.

L'étude a réuni 184 auteurs principaux de 207 articles récents en informatique. Ces chercheurs ont indiqué quels articles candidats avaient réellement fait avancer leurs projets achevés, en justifiant chaque choix. L'objectif était de constituer un jeu de données qui reflète le « goût de la recherche » des scientifiques experts, une compétence qui échappe encore aux systèmes d'IA actuels.

L'écart entre la recherche d'information et l'intuition

La tâche principale confiée aux modèles consistait à retrouver ces articles catalyseurs dans un corpus de 191 000 articles, en utilisant uniquement la littérature disponible avant le début du projet. Le dispositif place l'IA dans les mêmes contraintes qu'un chercheur qui démarre un projet : sans connaître la réponse, il doit trouver l'idée clé parmi des milliers de documents sans pertinence.

Les résultats sont sévères. La recherche agentique, méthode où un agent d'IA se sert d'un outil de recherche pour interroger l'information par itérations, ne dépasse pas la simple recherche par embedding. Elle obtient un Recall@20 de 0,42, contre 0,48 pour l'embedding classique. La complexité ajoutée du comportement agentique n'a donc pas aidé le modèle à identifier les bons articles.

Une tentative plus poussée, avec un agent bâti sur Claude Fable 5.1, n'apporte qu'une légère amélioration. Ce modèle, qui a peut-être vu les articles achevés pendant son entraînement, atteint un Recall@20 de 0,51. Le score dépasse la référence, mais il laisse un écart important entre les performances de l'IA et la capacité des experts humains à sentir de quelle idée antérieure un nouveau problème a besoin.

« Ces résultats montrent qu'il faut de nouvelles recettes d'entraînement pour doter les modèles d'une intuition d'expert dans l'exploration de vastes corpus », écrivent les auteurs dans leur rapport. Le benchmark est conçu comme un pas vers des agents scientifiques capables de partir d'une idée à demi formée et de pointer la recherche antérieure dont elle a besoin, mais les modèles actuels ne sont pas encore prêts pour ce rôle.

D'autres défis de raisonnement persistent

ScholarCatalyst n'est pas la seule évaluation récente à montrer que les capacités de raisonnement de l'IA sont inégales. Le 3 octobre, Anthropic a publié un rapport affirmant que le modèle GLM-5.3 de Zhipu AI possède des capacités de piratage de « classe Mythos ». Selon le rapport, GLM-5.3 a développé des exploits de bout en bout pour Google Chrome 50 fois en 410 exécutions dans un environnement isolé nommé Exploitbench. Dans le même test, le modèle Claude Mythos d'Anthropic, non publié, a réussi 56 exploits en 410 tentatives.

Le même rapport note toutefois que les garde-fous de GLM-5.3 sont faibles. Anthropic indique qu'on peut les contourner avec des prompts trompeurs, ce qui donne un taux de réussite de 64 %, ou en préremplissant les tokens de réflexion du modèle, avec un taux de 92 %. Certains modèles gagnent donc en capacité sur des tâches complexes menées étape par étape, comme le développement d'exploits, mais leurs mécanismes de sécurité ne suivent pas au même rythme.

Autre élément : un article intitulé « PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTX » a été révisé le 28 septembre. L'étude évaluait la capacité des grands modèles de langage à écrire des noyaux GPU optimisés avec des instructions PTX propres à une architecture. Les auteurs constatent que « les taux de réussite chutent nettement sur les charges complexes de rétropropagation de l'attention, et que l'exécution des instructions visées ne se traduit pas forcément par des performances compétitives ». Aucun modèle évalué n'a égalé systématiquement les bibliothèques de référence sur l'ensemble des tests.

L'intuition humaine reste la référence

Malgré ces avancées dans des domaines techniques précis, la question plus large du raisonnement reste ouverte. Le 3 octobre, le mathématicien Terence Tao a publié un texte invité sur le blog « What's new » consacré au rôle de l'IA en mathématiques. Il y note que les modèles d'IA ont aidé à corriger des lemmes erronés et suggéré de nouvelles directions, mais qu'il n'a pas encore réussi à leur faire produire la solution d'un de ses problèmes de longue date.

« Les mathématiques sont une entreprise humaine, et une production de machine demande une intervention humaine substantielle pour contribuer à notre base de connaissances », peut-on lire dans ce texte. Cela rejoint les constats du benchmark ScholarCatalyst : l'IA peut aider à exécuter et à retrouver, mais le choix stratégique de la voie à suivre demande souvent l'intuition humaine.

À mesure que les modèles d'IA évoluent, des benchmarks comme ScholarCatalyst et PTXBench resteront indispensables pour mesurer les progrès. Ils donnent des chiffres concrets sur ce que les modèles savent faire ou non, et sortent le débat des promesses marketing pour le ramener aux preuves empiriques. Pour l'instant, les données indiquent que l'IA devient un outil puissant sur des tâches précises, sans avoir remplacé la capacité humaine d'intuition scientifique.

Commentaires 0

Sources

15
  1. 01ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  2. 02Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  3. 03PTXBench: Benchmarking and Adapting LLMs for GPU Kernel OptimizationEN
  4. 04What does the advent of powerful AI models mean for mathematicians like me?EN
  5. 05Anthropic's super bug-hunting model Mythos is hardcore good at mathEN
  6. 06The Download: a biological de-aging contest and why LLMs don't reasonEN
  7. 07OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break inEN
  8. 08New in Llama.cpp: Decision ModelsEN
  9. 09Shield: A 118M model for detecting prompt injections and jailbreaksEN
  10. 10Kolibri: A Sovereign Open-Weight ModelEN
  11. 11Training an open decision model to replace a closed one, in shadow on prodEN
  12. 12Open 10-player CS:GO dataset for multiplayer world modelsEN
  13. 13Changes to Gemini model access and limitsEN
  14. 14A Beginner's Guide to Running AI Models LocallyEN
  15. 15Twelve AI clay films for $184: The agents cost more than the video modelEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.