Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Poids ouverts : Nvidia Kumo Tabular en tête d'une semaine de petites sorties

Nvidia a publié Kumo Tabular le 30 septembre, un modèle de fondation ouvert pour la prédiction tabulaire. L'entreprise affirme qu'il ne demande ni entraînement, ni réglage, ni ingénierie des variables, et qu'il se classe premier sur quatre benchmarks. Il arrive dans une semaine chargée en publications à poids ouverts, d'un modèle vocal de 164 Mo à un modèle de langage de 145 000 000 de paramètres préentraîné par des bénévoles.

IA & modèlesAnalyseSophie LeclercPublié le: 30 septembre 20265 min de lectureSources 9
Poids ouverts : Nvidia Kumo Tabular en tête d'une semaine de petites sorties

Kumo Tabular est le nom le plus connu du lot, mais ce n'est pas un modèle de langage. Face à un tableau dont les lignes sont étiquetées, il prédit les étiquettes des nouvelles lignes en une seule passe avant. L'entreprise annonce trois tailles, de 28 000 000 à 215 000 000 de paramètres, et un préentraînement sur des données artificielles uniquement. Le modèle sort sous licence OpenMDW-1.1 pour un usage commercial, et Nvidia revendique la première place sur TabArena, BeyondArena, TALENT et ScoringBench.

Petits modèles, petits téléchargements

L'objet le plus frappant de la semaine n'est pas le plus capable. Fermion Research a publié Phonon-2 le 30 septembre, un modèle ouvert de reconnaissance vocale en anglais qui tient dans un téléchargement de 164 Mo. L'entreprise annonce un taux d'erreur moyen de 5,21 pour cent sur les sept ensembles de test anglais du Open ASR Leaderboard. Elle affirme aussi que tout modèle ouvert qui fait mieux est au moins 5,8 fois plus gros. Ses poids sont en CC-BY-4.0, dérivés du Parakeet TDT 0.6B v3 de Nvidia.

Les promesses techniques sont précises : chaque poids d'encodeur est stocké sur l'un de cinq niveaux appris, soit environ 2,1 bits par poids, empaquetés en chiffres base 3, cinq par octet. Sur un MacBook Air, selon Fermion, une heure d'audio devient du texte en vingt secondes environ. En bas de l'échelle des poids ouverts, ce compromis entre taille et précision résume tout l'argument.

De son côté, un projet bénévole nommé Coop a publié un transformeur décodeur seul de 145 000 000 de paramètres, préentraîné sans serveurs ni financement, d'après son dépôt GitHub. Le dispositif est inhabituel. Les participants téléchargent un point de contrôle depuis Hugging Face, exécutent des pas AdamW en local sur un fragment de données personnel, puis soumettent un pseudo-gradient sous forme de pull request sur un dépôt public de jeux de données Hugging Face. Une tâche cron GitHub Actions agrège les soumissions toutes les cinq minutes. Le README précise toutefois que l'ordonnanceur partagé de GitHub déclenche l'exécution à un intervalle allant de quelques minutes à quelques heures.

L'étape précédente de Coop, un modèle de 15 000 000 de paramètres entraîné sur TinyStories par des bénévoles en six jours, a fait passer la perte de validation de 9,01 à 2,8. La documentation du projet reste prudente sur ce que cela prouve : une perte de validation isolée ne dit rien. Le classement ajuste donc une pente sur la série, en fonction des tokens plutôt que des étapes externes, et la publie avec une erreur standard.

Outillage et puces

La couche infrastructure a bougé aussi. Le UK AI Security Institute et Meridian Labs ont publié Inspect le 30 septembre, un cadre open source pour l'évaluation des modèles d'IA de frontière. Il embarque plus de 200 évaluations prêtes à l'emploi, un outil web Inspect View, une extension VS Code et un système de bac à sable qui exécute du code de modèle non fiable dans Docker, Kubernetes, Modal, Proxmox ou Vagrant. Il prend en charge plus de 20 fournisseurs de modèles, ainsi que l'inférence locale avec HuggingFace, vLLM et SGLang.

Le calendrier compte, car l'évaluation est devenue un sujet politique. Le 30 septembre, The Guardian a rapporté que la Federal Trade Commission américaine a ouvert une enquête à l'échelle du secteur sur Anthropic, OpenAI et d'autres laboratoires d'IA. Il s'agit de sa première action coercitive officielle touchant des agents d'IA incontrôlés. La FTC prévoit d'obtenir des témoignages de dirigeants d'Anthropic, d'OpenAI et du groupe de recherche Metr, selon plusieurs informations citées par le journal. Les trois ont refusé de commenter auprès du Guardian. Le New York Post a révélé l'affaire en premier.

Reste la couche des puces. Deepseek publie des outils de programmation open source pour les puces Ascend de Huawei, selon un message sur sa chaîne WeChat officielle, rapporté par The Decoder le 30 septembre. La pièce maîtresse est TileLang, un langage de programmation développé à l'origine par des chercheurs de l'Université de Pékin. Deepseek affirme qu'il propose un modèle plus simple que CUDA de Nvidia. Reuters a rapporté que le logiciel comprend des bibliothèques de calcul et de déplacement de données, et que Deepseek rend l'ensemble open source. Deepseek indique que Huawei a pleinement soutenu le travail, et les deux ont optimisé un supernœud de 128 puces Ascend 950.

Tout le monde n'adhère pas à ce cadrage. Le cabinet SemiAnalysis a testé la puce d'inférence Jalapeno d'OpenAI et qualifié le fossé CUDA de « potentiellement mort ». Il précise toutefois qu'il n'a testé que des scénarios d'environ 8 000 tokens d'entrée et 1 000 tokens de sortie, et qu'il n'a pas encore lancé son benchmark AgentX. En août, le même cabinet jugeait Nvidia largement en avance sur les charges de travail d'agents.

Ce que les publications ne tranchent pas

Des poids ouverts ne signifient pas un processus ouvert. L'agrégateur de Coop écarte les soumissions trop anciennes et écrête les autres avec une moyenne tronquée ou une médiane géométrique avant un unique pas de Nesterov. Le bac à sable d'Inspect existe précisément parce qu'on ne peut pas faire confiance au code des modèles. La licence de Phonon-2 hérite de celle du modèle d'une autre entreprise.

Et l'accord n'est pas la précision. Jevstiller, un outil open source traité par The Register le 29 septembre, distille les sorties de Jev dans un modèle local. Il annonce 98 pour cent d'accord avec le service amont, tout en répondant à des requêtes connues en 15 ms seulement. Ses développeurs l'écrivent noir sur blanc dans leur documentation : « L'accord n'est pas la précision. » Cette phrase pourrait figurer sous la plupart des publications de la semaine.

Le contexte politique est encore moins stabilisé. Sam Altman, directeur général d'OpenAI, a déclaré mardi devant des journalistes lors de la journée développeurs de l'entreprise qu'elle n'entrerait pas en bourse avant de pouvoir « prendre des décisions de sécurité avec assurance », selon Ars Technica. La société discute d'une levée de 30 000 000 000 de dollars ou plus sur une valorisation d'environ 1 400 000 000 000 de dollars, rapporte Ars Technica en citant des personnes proches du dossier. L'objectif de 30 000 000 000 de dollars a été révélé d'abord par Bloomberg. BBC News a couvert le même événement, notant qu'Altman a décrit les nouveaux agents appelés dots comme « des agents remarquablement capables, toujours actifs, qui peuvent gérer à peu près tout ce qu'on imagine ».

Il existe une lecture de cette semaine où les poids ouverts ne sont qu'une distribution moins chère. Nvidia veut Kumo Tabular dans les pipelines des entreprises. Fermion veut Phonon-2 sur des ordinateurs portables. Deepseek veut que le silicium de Huawei ait des logiciels. Coop veut montrer que la boucle d'entraînement peut tourner sur du matériel donné. Le fil commun n'est pas idéologique, il est arithmétique : des artefacts plus petits, moins de tokens dépensés, moins d'infrastructure à louer.

Que cette arithmétique améliore la sécurité est une autre question, et la semaine n'a apporté aucune réponse nette.

Commentaires 0

Sources

9
  1. 01Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
  2. 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04Inspect: An open-source framework for large language model evaluationsEN
  5. 05US trade regulator opens investigation into AI giantsEN
  6. 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
  7. 07Jevstiller: Open-source tool distills Jev so you can run it locallyEN
  8. 08OpenAI delays IPO over AI safety concernsEN
  9. 09OpenAI unveils AI assistant 'dots' while safety worries delay new modelEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.