Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Les poids ouverts continuent d'arriver : un modèle vocal de 164 Mo, une course bénévole de 145 000 000M de paramètres et l'alternative chinoise à CUDA

Nvidia a publié Kumo Tabular, un modèle de fondation ouvert pour la prédiction tabulaire, dans un billet Hugging Face daté du 29 septembre, tandis que Fermion Research sortait le lendemain le modèle vocal Phonon-2, fort de 164 Mo. Les deux arrivent au moment où la FTC ouvre une enquête sur l'ensemble du secteur des laboratoires d'IA et où OpenAI retient sa propre introduction en bourse.

IA & modèlesAnalyseCamille RousseauPublié le: 30 septembre 20263 min de lectureSources 6
Les poids ouverts continuent d'arriver : un modèle vocal de 164 Mo, une course bénévole de 145 000 000M de paramètres et l'alternative chinoise à CUDA

Nvidia a mis Kumo Tabular en ligne sur Hugging Face le 29 septembre. Le billet, daté du 29 septembre et publié sur le blog le 30 septembre, indique que le modèle prédit les étiquettes de nouvelles lignes en une seule passe avant, sans entraînement, sans réglage et sans ingénierie des variables. Il existe en trois tailles, de 28 000 000 à 215 000 000 de paramètres, a été préentraîné uniquement sur des données artificielles et sort sous licence OpenMDW-1.1 pour un usage commercial. La société affirme qu'il occupe la première place sur TabArena, BeyondArena, TALENT et ScoringBench.

La revendication est étroite, et Nvidia la cadre étroitement : classification et régression tabulaires, ces tableaux qui contiennent des fiches clients, des transactions et des relevés de capteurs. L'argument tient à l'apprentissage en contexte appliqué à des lignes plutôt qu'à du texte. Un modèle préentraîné sur des millions de tables lit une table étiquetée comme contexte et renvoie des probabilités de classe, ou 999 quantiles pour la régression, d'où l'on tire une prédiction ponctuelle et une estimation d'incertitude.

Fermion Research a publié Phonon-2 le 30 septembre et le présente comme le modèle de reconnaissance vocale ouvert le plus précis sous 900 Mo.

Le téléchargement pèse 164 Mo, l'encodeur stocke chaque poids sur environ 2,1 bits, et les poids sont en CC-BY-4.0, la licence du Parakeet TDT 0.6B v3 de Nvidia, dont ils dérivent. Fermion annonce 5,21 % d'erreur moyenne sur les mots à travers les sept ensembles anglais du Open ASR Leaderboard, et précise que tout modèle ouvert faisant mieux est au moins 5,8 fois plus gros. Sur un MacBook Air, il transforme une heure d'audio en texte en une vingtaine de secondes. Ce sont des chiffres de fournisseur tirés d'une page de fournisseur : la position au classement est donc annoncée, pas confirmée par un tiers.

Des bénévoles et une tâche cron sans état

Toujours le 30 septembre, un projet GitHub baptisé Coop a démarré avec une phase 2 : un transformeur décodeur seul d'environ 145 000 000 de paramètres, préentraîné de zéro sur FineWeb-Edu, entièrement sur du matériel grand public donné, plus les offres gratuites de Hugging Face et de GitHub Actions. Pas de serveur, pas de démon. Les participants téléchargent un point de contrôle, exécutent des étapes AdamW locales sur un fragment personnel de données et soumettent un pseudo-gradient sous forme de pull request contre un dépôt de jeu de données public.

Une tâche cron GitHub Actions sans état agrège à chaque passage : elle écarte les soumissions trop anciennes, écrête et applique un filtrage en cosinus aux autres, les agrège, effectue une étape externe de Nesterov et téléverse un nouveau point de contrôle. Le dépôt affirme qu'un modèle de phase 1 de 15 000 000 de paramètres a été préentraîné au-delà de son budget optimal Chinchilla sur TinyStories en six jours, la perte de validation passant de 9,01 à 2,8. C'est une preuve de mécanisme, pas un modèle compétitif.

L'offensive chinoise est l'enjeu stratégique plus large. Deepseek a publié des outils de programmation open source pour les puces Ascend de Huawei, selon un billet sur son canal WeChat rapporté par The Decoder le 30 septembre et par Reuters. La pièce maîtresse est TileLang, un langage open source développé à l'origine à l'université de Pékin, qui selon Deepseek offre un modèle de programmation plus simple que CUDA. Huawei a « pleinement soutenu » ce travail, a déclaré Deepseek, et les deux ont optimisé un supernœud de 128 puces Ascend 950.

Le contexte, c'est la douve de Nvidia côté développeurs : environ quatre millions de développeurs CUDA. The Decoder cite aussi SemiAnalysis, qui a testé la puce d'inférence Jalapeno d'OpenAI et qualifié la douve CUDA de « potentiellement morte », tout en précisant qu'elle n'a testé que des scénarios relativement simples, d'environ 8 000 jetons en entrée et 1 000 en sortie. Les puces de Huawei ne faisaient pas partie de cette comparaison.

Les régulateurs avancent pendant que les poids circulent

Rien de tout cela ne se passe dans le vide. The Guardian a rapporté le 30 septembre que la FTC mène une enquête sur l'ensemble du secteur visant Anthropic, OpenAI et d'autres laboratoires, avec l'intention d'obtenir des témoignages de dirigeants, notamment chez Metr. Le New York Post a révélé l'affaire en premier. OpenAI, de son côté, retient sa propre cotation : Ars Technica a rapporté le 30 septembre que Sam Altman n'entrera pas en bourse tant que l'entreprise ne pourra pas « prendre des décisions de sécurité avec confiance », et que LASST a déposé une plainte en Californie le même jour.

Les sorties de poids ouverts évoquées plus haut sont petites, bon marché et précises. C'est ce schéma qu'il faut suivre, pas les tableaux de benchmarks.

Commentaires 0

Sources

6
  1. 01Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
  2. 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
  5. 05US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
  6. 06OpenAI delays IPO over AI safety concernsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.