Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Le banc GPQA retiré de l'évaluation de Soofi S après la découverte de questions de test dans ses données d'entraînement

Un consortium de recherche allemand a retiré le banc scientifique GPQA de son évaluation de Soofi S, un modèle ouvert de 30B, après avoir découvert que des questions de test reformulées avaient fui dans les données d'entraînement publiées, selon son rapport de pré-entraînement.

IA & modèlesActualitéSophie LeclercPublié le: 27 septembre 20266 min de lectureSources 2
Le banc GPQA retiré de l'évaluation de Soofi S après la découverte de questions de test dans ses données d'entraînement

Le consortium, coordonné par le KI Bundesverband, a publié la version 3.0 de son rapport de pré-entraînement et documenté lui-même la contamination. Le jeu de données concerné, QA-base, était censé ne contenir que des découpages d'entraînement reformulés issus de 25 bancs standards : des questions d'exercice qui apprennent à un modèle le format des tests, pas les vraies épreuves. Il contenait aussi des questions reformulées du jeu de test GPQA, dont la variante plus difficile GPQA Diamond, en anglais et en allemand traduit automatiquement.

La cause tient à une bizarrerie d'étiquetage, pas à un raccourci délibéré.

Sur Hugging Face, GPQA est livré sans découpage d'entraînement distinct. Tout son matériel de test se trouve sous l'étiquette par défaut « train ». Le pipeline de données du consortium sélectionnait les contenus par nom de découpage, si bien que les questions de test ont été aspirées avec les questions d'exercice. Un audit déclenché par la découverte a révélé trois autres bancs présentant le même schéma : TruthfulQA, BLiMP et Inverse Scaling. Aucun de ces trois n'entre dans l'évaluation de Soofi S.

Un gain qui semblait normal

Ce qui frappe dans le rapport, c'est que personne n'a repéré le problème pendant l'entraînement. Le modèle progressait régulièrement sur les tâches GPQA contaminées, passant de 32,3 à 43,4 points, mais les auteurs affirment que ce gain restait dans la plage normale et ne se distinguait pas de la progression sur les autres tests. Aucun pic n'aurait pu servir d'alerte.

La correction est procédurale. L'équipe recoupe désormais automatiquement ses données d'entraînement avec toutes les questions de test, au lieu de se fier aux étiquettes de découpage, que le rapport décrit comme souvent trompeuses.

En réponse à la fuite, le consortium a retiré GPQA de son évaluation et recalculé les résultats globaux pour les 16 modèles comparés, afin que le classement repose sur la même base. Selon les auteurs, l'ordre du classement n'a pas changé.

Nicolas Flores Herr, du Fraunhofer IAIS et participant au projet, voit dans l'incident la preuve que l'approche ouverte fonctionne : la communauté n'a pu trouver le problème que parce que les données étaient publiques. L'équipe indique avoir rendu disponibles environ 152 000 résultats individuels pour vérification. Une évaluation distincte menée par Ellamind, partenaire du consortium, sur des données de test volontairement retenues et que le modèle n'avait aucune chance d'avoir vues à l'entraînement, a confirmé les résultats. Le consortium précise que la portion concernée représente une infime fraction du corpus total.

Le calendrier tombe mal pour les affirmations fondées sur des bancs d'évaluation en général. Des publications distinctes de ces derniers jours, dont des travaux de Stanford HAI, ont remis en question la capacité des tests actuels d'IA à noter correctement les systèmes auxquels ils s'adressent.

Ce qu'est réellement Soofi S

Soofi S 30B-A3B est un modèle à mélange d'experts. Il totalise 31 600 000 000 paramètres mais en active environ 3 200 000 000 par token généré, ce qui rapproche son coût de calcul de celui d'un modèle 3B plutôt que d'un 30B classique. Le consortium a repris sans modification l'architecture du Nemotron 3 Nano de Nvidia : une conception hybride qui combine des couches Mamba-2 avec des couches d'attention classiques.

La différence pratique se joue sur le comportement mémoire. Dans un transformeur classique, le cache KV qui conserve les tokens précédents croît linéairement avec la longueur du contexte, et son rechargement devient un goulot d'étranglement sur les entrées longues et les requêtes parallèles nombreuses. Seules 6 des 52 couches de Soofi S maintiennent un tel cache. Avec une longueur de contexte de 40 000 tokens et 32 requêtes parallèles, le consortium rapporte que Soofi S génère environ huit fois plus de tokens par seconde et par GPU que les modèles denses de la plage 14 à 24 milliards de paramètres, soit 24 000 000 000 au maximum. Le débit reste presque plat de 4 000 à 256 000 tokens, tandis que les modèles classiques décrochent. Le seul modèle affichant un comportement similaire dans les mesures, selon le rapport, est le Qwen3.5 35B-A3B d'Alibaba, qui utilise lui aussi une architecture hybride, avec 35 000 000 000 de paramètres.

L'entraînement s'est déroulé entièrement sur l'Industrial AI Cloud de Deutsche Telekom à Munich, ce qui fait de Soofi S l'un des premiers grands modèles de langage construits sur cette infrastructure. Le mélange d'entraînement est délibérément pondéré vers l'allemand.

Sur les bancs du consortium, le modèle dépasse d'autres systèmes entièrement ouverts, dont OLMo 3 32B (32 000 000 000 de paramètres) et Apertus 70B (70 000 000 000 de paramètres), sur des tâches en allemand, en anglais et en programmation. Les variantes instruct et raisonnement affinées sont en phase de bêta et doivent sortir sous licence permissive dans les prochaines semaines. Le modèle plus grand Soofi L est déjà en entraînement.

L'argument du surentraînement

Après le lancement, des critiques ont soutenu que Soofi S était fortement surentraîné au regard des lois d'échelle de Chinchilla, que Google DeepMind a publiées en 2022 pour décrire comment équilibrer taille du modèle et données d'entraînement à budget de calcul fixe. Le point d'équilibre identifié était d'environ 20 tokens par paramètre. Soofi S le dépasse largement. Avec environ 27 000 000 000 000 tokens et 30 000 000 000 de paramètres, il atteint plusieurs centaines pour un. En ne comptant que les 3 200 000 000 de paramètres actifs par token, le ratio grimpe à plusieurs milliers pour un.

Michael Fromm, membre de la direction technique du projet, rejette cette lecture. Il estime que les anciennes règles ne s'appliquent pas aux architectures à mélange d'experts. « De nouvelles recherches montrent que les anciennes lois d'échelle des modèles denses ne valent plus pour les architectures MoE », a déclaré Fromm. La raison, selon lui, tient à la construction : chaque expert profite de voir les mêmes documents, si bien que des données répétées dans un grand ensemble de qualité posent moins problème que pour un modèle dense. Comme point de comparaison, il cite Nvidia, qui a entraîné ses propres modèles sur jusqu'à 25 000 000 000 000 tokens.

Les données contaminées étaient du matériel de test, pas des exercices, et le pipeline ne pouvait pas faire la différence à cause d'une étiquette.

Voilà la partie gênante de l'épisode. La fuite n'est pas le cas d'un laboratoire entraînant discrètement son modèle sur un jeu de test. C'est une convention de nommage sur un jeu de données public, appliquée à grande échelle par un pipeline automatisé, qui a échappé à tout le monde jusqu'à ce que les données soient publiques et que quelqu'un aille regarder. La réponse du consortium, recouper chaque élément d'entraînement avec chaque question de test, est le type de contrôle qui coûte du calcul et du temps et que peu d'équipes décrivent publiquement.

Le contexte plus large de cette sortie est une culture du banc d'évaluation sous tension. Un observatoire publié sur stale.jock.pl en septembre recense les dates de sortie et les coupures d'entraînement de 20 modèles actuels issus de 8 laboratoires, et note que seuls 10 sur 20 affichent une coupure réellement publiée par le laboratoire. Ses auteurs soutiennent qu'un modèle peut sortir en septembre et avoir cessé de lire en avril, et que les outils de recherche masquent l'écart plutôt que de le combler. Sur 2 000 appels mesurés à travers 16 modèles, chacun disposant d'un outil de recherche web, ils rapportent que les modèles de pointe ont tranché correctement presque à chaque fois, tandis que les plus faibles répondaient de mémoire à des questions réglées après que la réponse avait changé.

Les bancs d'évaluation et les fiches de modèle forment le vocabulaire partagé du secteur sur ce qu'un système sait faire. Soofi S en montre les deux faces : une fuite documentée et traitée en public, et une série de chiffres de débit et de performance qui dépendent désormais d'une évaluation corrigée. Les variantes instruct et raisonnement, ainsi que le tableau comparatif recalculé, seront les prochaines choses à vérifier.

Commentaires 0

Sources

2
  1. 01German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and GermanEN
  2. 02How stale is your AI? Release age and training cutoff for 20 modelsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.