Les poids ouverts passent au format compact : Phonon-2, Kumo Tabular et un modèle entraîné par des bénévoles
Fermion Research a publié Phonon-2 le 30 septembre. Ce modèle de reconnaissance vocale ouvert tient dans un téléchargement de 164 Mo. Il affiche en moyenne 5,21 % d'erreur de mots sur sept corpus anglais de l'Open ASR Leaderboard. En quelques heures, Kumo Tabular de Nvidia et un modèle de langue de 145 000 000 de paramètres entraîné par des bénévoles sont arrivés en même temps.

Trois publications de poids ouverts sont tombées en une seule journée. Aucune ne courait après l'échelle. Fermion Research a mis en ligne Phonon-2 le 30 septembre. Ce modèle de reconnaissance vocale anglaise stocke chaque poids d'encodeur sur l'un de cinq niveaux appris, à environ 2,1 bits, dans un fichier de 164 Mo. L'entreprise affirme qu'il égale, corpus par corpus, son modèle enseignant en pleine précision de 2,5 Go. Il le dépasse sur les réunions et les discours parlementaires. Il transcrit une heure d'audio en une vingtaine de secondes sur un MacBook Air. Les poids sont sur Hugging Face sous licence CC-BY-4.0. C'est la licence de Parakeet TDT 600 000 000 v3 de Nvidia, dont ils dérivent.
Ce dernier détail compte. La course aux petits modèles ouverts est en grande partie une course d'enseignants et de licences.
Fermion affirme que tout modèle ouvert qui obtient un meilleur score sur les sept corpus anglais de l'Open ASR Leaderboard est au moins 5,8 fois plus gros que le sien. La société précise que l'avantage tient sous le bruit, devant Parakeet Redux, l'autre modèle en bits réduits de sa taille. Les chiffres de vitesse sont assortis de conditions. Ils portent sur un extrait à la fois, log-mel inclus, chargement du modèle exclu. Chaque chemin rapide n'est livré que si son taux d'erreur de mots reste dans le bruit du chemin exact. Ce contrôle repose sur un bootstrap apparié sur les extraits, avec 4 000 rééchantillonnages.
Kumo Tabular s'attaque au cycle de vie des modèles à arbres
Nvidia a publié Kumo Tabular le 29 septembre. C'est un modèle de fondation ouvert pour la classification et la régression tabulaires. Il prédit de nouvelles lignes en une seule passe avant, sans entraînement, sans réglage ni ingénierie des variables. Il existe en trois tailles, de 28 000 000 à 215 000 000 de paramètres. Il sort sous licence OpenMDW-1.1 pour un usage commercial. Il se classe premier sur quatre bancs d'essai : TabArena, BeyondArena, TALENT et ScoringBench, selon la note publiée sur Hugging Face.
L'architecture emprunte à TabICL et TabPFN, avec une attention par colonnes, par lignes et en contexte. L'entreprise indique qu'il a été préentraîné uniquement sur des données artificielles. Cela contourne le problème de confidentialité lié à l'entraînement sur les tables des clients. Savoir s'il détrône les arbres à gradient boosting en production est une autre question que son classement sur bancs d'essai. La note de Nvidia n'y répond pas.
Un modèle de langue entraîné sur GitHub Actions et du matériel donné
Le projet Coop est un dépôt GitHub mis en ligne le 30 septembre. Il tente quelque chose de plus étrange : préentraîner un petit modèle de langue sans serveurs et sans financement. L'étape 2 est un transformeur décodeur seul d'environ 145 000 000 de paramètres, entraîné de zéro sur FineWeb-Edu. Les travailleurs téléchargent un point de contrôle depuis Hugging Face. Ils exécutent des étapes AdamW locales sur un fragment personnel de données. Ils soumettent un pseudo-gradient sous forme de pull request contre un dépôt de jeu de données public. Une tâche cron GitHub Actions sans état tourne toutes les cinq minutes. Elle agrège les soumissions par une moyenne écrêtée ou une médiane géométrique, puis effectue une étape externe de Nesterov.
L'étape 1 fait office de preuve. Des bénévoles ont entraîné un modèle de 15 000 000 de paramètres au-delà de son budget optimal selon Chinchilla, en six jours. La perte de validation est passée de 9,01 à 2,8. Les poids restent disponibles. La documentation du projet se montre d'une franchise rare sur l'évaluation. Elle note qu'un seul chiffre de perte de validation ne dit rien, car les étapes externes le font monter aussi souvent que descendre. La direction est une propriété de la série, pas d'un point isolé.
Deux autres publications ouvertes complètent la fenêtre. L'UK AI Security Institute et Meridian Labs ont publié Inspect. C'est un cadre d'évaluation avec plus de 200 évaluations prêtes à l'emploi. Il propose aussi un bac à sable pour du code de modèle non fiable sous Docker, Kubernetes et Modal. Et Sparticle62ops a publié PSSA, un modèle de langue non transformeur écrit en Rust, sans framework de machine learning en dessous. Il affirme que PSSA apprend plus vite qu'un transformeur à paramètres égaux. Il affirme aussi que PSSA génère du texte environ douze fois plus rapidement sur le même processeur.
Les poids ouverts ne racontent pas tout. Le 30 septembre également, la FTC a ouvert une enquête sur l'ensemble du secteur visant Anthropic, OpenAI et le groupe de recherche Metr. C'est la première action officielle de la justice américaine sur des agents d'IA incontrôlés, comme l'a rapporté The Guardian. OpenAI, de son côté, repousse son introduction en bourse et retarde la sortie d'un modèle pour des raisons de sécurité, selon Ars Technica. Le contraste saute aux yeux. Les modèles qui sortent sans friction sont les petits. Les entreprises sous examen sont celles qui pèsent le plus lourd en valorisation.
Sources
7- 01Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 02Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 03Coop: A small language model pretrained by volunteersEN
- 04Inspect: An open-source framework for large language model evaluationsEN
- 05PSSA: A non-transformer language model written from scratch in RustEN
- 06US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 07OpenAI delays IPO over AI safety concernsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.