Les poids ouverts continuent d'arriver : Inspect, Phonon-2, Kumo Tabular et un modèle de 145 millions de paramètres porté par des bénévoles
L'AI Security Institute britannique et Meridian Labs ont publié Inspect le 30 septembre, un cadre open source qui embarque plus de 200 évaluations prêtes à l'emploi. C'est la dernière d'une série de sorties ouvertes, avec Phonon-2 de Fermion Research et Kumo Tabular de Nvidia.

La sortie a eu lieu le 30 septembre à 15:20 UTC, d'après le site du projet. Inspect sert à évaluer les modèles d'IA de pointe, et l'argument mis en avant est l'étendue : codage, tâches agentiques, raisonnement, connaissances, comportement et compréhension multimodale, tout dans un seul outil. Le cadre vient de l'AI Security Institute britannique et de Meridian Labs.
Il fournit des jeux de données, des agents, des outils et des évaluateurs composables, plus une bibliothèque de plus de 200 évaluations prêtes à l'emploi. S'y ajoutent un outil web Inspect View et une extension VS Code. Le code non fiable des modèles tourne dans Docker, Kubernetes, Modal, Proxmox ou Vagrant via une API d'extension. Le projet indique prendre en charge plus de 20 fournisseurs de modèles, dont l'inférence locale avec HuggingFace, vLLM et SGLang.
Les outils d'évaluation, c'est la moitié ingrate des poids ouverts. Des poids sans moyen de les mesurer ne sont que des fichiers.
Un modèle vocal de 164 Mo et un modèle tabulaire qui n'a pas besoin d'entraînement
Fermion Research a publié Phonon-2 le 30 septembre et le présente comme le modèle de reconnaissance vocale ouvert le plus précis sous 900 Mo. Le téléchargement pèse 164 Mo. L'entreprise annonce en moyenne 5,21 pour cent d'erreur de mot sur les sept ensembles anglais de l'Open ASR Leaderboard, et affirme que tous les modèles ouverts qui font mieux sont au moins 5,8 fois plus gros.
L'encodeur stocke chaque poids sous l'une de cinq valeurs apprises, environ 2,1 bits, empaquetées en chiffres en base 3, cinq par octet. Les poids sont sous CC-BY-4.0, la licence de Parakeet TDT 0.6B v3 de Nvidia, dont ils dérivent. Fermion affirme qu'une heure d'audio devient du texte en une vingtaine de secondes sur un MacBook Air. Sur un H100, par lots de 128, il traite 13 secondes d'audio par jour.
La contribution de Nvidia relève d'un autre type de compression. Kumo Tabular, publié sur Hugging Face le 29 septembre, prédit des étiquettes à partir d'un tableau annoté en une seule passe avant, sans entraînement, sans réglage et sans ingénierie de variables, pour la classification comme pour la régression. Il existe en trois tailles, de 28 000 000 à 215 000 000 de paramètres, a été préentraîné uniquement sur des données artificielles et sort sous licence OpenMDW-1.1 pour un usage commercial. Nvidia indique qu'il occupe la première place sur TabArena, BeyondArena, TALENT et ScoringBench.
Des bénévoles, du Rust, et un modèle de 145 000 000 de paramètres entraîné par tâches planifiées
Des projets plus modestes avancent aussi. Coop, un projet GitHub mis à jour le 30 septembre, préentraîne un transformeur décodeur seul d'environ 145 000 000 de paramètres sur FineWeb-Edu, avec du matériel grand public donné et les offres gratuites de Hugging Face et de GitHub Actions. Les pseudo-gradients arrivent sous forme de pull requests sur un dépôt de données public. Une tâche planifiée GitHub Actions sans état les agrège par une étape externe de type DiLoCo toutes les cinq minutes en théorie, mais le projet précise que le planificateur de GitHub déclenche à intervalles allant de quelques minutes à plusieurs heures. L'étape 1, un modèle de 15 000 000 de paramètres sur TinyStories, a dépassé son budget optimal selon Chinchilla en six jours et a fait passer la perte de validation de 9,01 à 2,8.
À part, un projet Rust nommé PSSA, également mis à jour le 30 septembre, décrit une architecture non transformeur avec une récurrence à espace d'états sélective, une banque de mémoire épisodique et des mises à jour de poids à chaque token. L'auteur affirme qu'elle apprend plus vite qu'un transformeur à paramètres égaux et génère environ douze fois plus rapidement sur le même processeur. Le dépôt ne contient aucun banc d'essai indépendant.
Les publications ouvertes de la semaine s'inscrivent dans un contexte réglementaire plus dur. Le Guardian a rapporté le 30 septembre que la FTC a ouvert une enquête sur l'ensemble du secteur visant Anthropic, OpenAI et d'autres, première action officielle d'application de la loi américaine touchant des agents d'IA incontrôlés. Ars Technica rapportait le même jour qu'OpenAI retarde son introduction en bourse pour des raisons de sécurité. Les poids ouverts ne sont l'objet ni de l'une ni de l'autre de ces actions, mais l'examen donne le ton à tout ce qui sort à côté.
Sources
7- 01Inspect: An open-source framework for large language model evaluationsEN
- 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 03Nvidia Kumo Tabular: Open Foundation Model for Tabular PredictionEN
- 04Coop: A small language model pretrained by volunteersEN
- 05PSSA: A non-transformer language model written from scratch in RustEN
- 06US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
- 07OpenAI delays IPO over AI safety concernsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.