Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Trillium Labs veut une recherche IA à haut risque en plein jour

Nathan Lambert et Tom Zick ont lancé Trillium Labs le 3 octobre. L'organisation à but non lucratif publiera le détail des expériences sur l'auto-amélioration récursive et les agents IA afin que d'autres scientifiques puissent les reproduire, rapporte WIRED.

IA & modèlesExpliquéCamille RousseauPublié le: 3 octobre 20265 min de lectureSources 9
Trillium Labs veut une recherche IA à haut risque en plein jour

Nathan Lambert et Tom Zick ont lancé Trillium Labs le 3 octobre. L'organisation à but non lucratif veut travailler sur l'auto-amélioration récursive et les agents IA. Elle publiera le détail de ces expériences pour que des scientifiques extérieurs puissent les reproduire, selon WIRED.

Le lancement tombe au milieu d'un débat sur la transparence que doit avoir un laboratoire. D'un côté, les développeurs de pointe gardent leurs modèles les plus puissants derrière une application ou une API. De l'autre, un groupe grandissant veut que les entraînements, les données et les évaluations soient lisibles de l'extérieur. Lambert, ancien chercheur chez Ai2 et Hugging Face, a déclaré à WIRED que le développement fermé « nous fait reculer d'un pas ». Selon lui, la méthode scientifique reste le meilleur outil pour réduire les dommages.

Zick a travaillé auparavant à l'université Harvard. Elle y a aidé Charles Schwab à définir des politiques d'IA responsable. Elle indique que l'organisation se concentrera d'abord sur le post-entraînement, c'est-à-dire l'ajustement fin réalisé après la construction d'un grand modèle. Le second domaine est l'auto-amélioration récursive, où l'IA contribue à la recherche qui produit de nouveaux modèles.

Pourquoi le moment compte

Les enjeux ne sont pas abstraits. WIRED note que les modèles de pointe peuvent automatiser la découverte de failles logicielles, sonder des systèmes et s'y introduire. De récentes vagues de piratage très médiatisées ont durci l'examen de la question de l'accès. La réponse de Trillium est la divulgation plutôt que le verrouillage : publier assez de méthode pour que d'autres chercheurs puissent vérifier les affirmations.

Ce n'est pas le seul camp de l'ouverture. WIRED cite Xiaomi, qui a récemment publié en direct le détail d'un entraînement majeur portant sur l'un de ses modèles. Le magazine cite aussi des chercheurs de Stanford qui pré-entraînent en public un modèle nommé Marin. Lambert a également fondé American Truly Open Models, une initiative qui pousse les entreprises américaines à publier davantage de modèles ouverts. Les deux fondateurs se sont rencontrés comme étudiants de troisième cycle à l'université de Californie à Berkeley pendant la pandémie.

Le pari du laboratoire : une compréhension partagée du risque vaut mieux qu'un petit cercle de confiance. Publier le détail des expériences sur les agents et l'auto-amélioration peut réduire les risques, ou seulement les rendre plus visibles. Personne dans l'article ne répond à cette question.

Les six articles de Meta

De son côté, la branche de recherche en IA de Meta a publié un autre modèle d'ouverture le 3 octobre. Elle a diffusé six articles issus d'une collaboration avec des mathématiciens. Ceux-ci ont utilisé Muse Spark 1.1 et 1.2 en mode réflexion via l'interface de chat habituelle meta.ai, sans échafaudage de recherche personnalisé. Cinq des articles apportent des réponses à des questions de recherche jusque-là ouvertes, selon le blog de Meta AI Research. L'entreprise précise que les articles signalent quels passages ont été principalement rédigés par des chercheurs et lesquels par l'IA. Ils créditent aussi les travaux antérieurs sur lesquels ils s'appuient.

Après avoir terminé notre travail, nous avons appris que d'autres équipes extérieures à Meta avaient annoncé indépendamment des solutions à certains des mêmes problèmes, avec des approches différentes.

Cette phrase, tirée du blog, est la partie utile. Pour le problème d'ajustement d'ellipsoïdes gaussiens, Meta nomme trois travaux concurrents : Misiakiewicz et Wen, de la Cerda, Potechin, Tulsiani et Xu, ainsi que Koehler et Sohn. Le blog indique que les approches diffèrent et ont été développées indépendamment. L'objectif affiché de Meta n'était pas de produire des articles en série. Il était d'aider les chercheurs à développer des idées sur lesquelles d'autres peuvent bâtir.

Le problème de recherche documentaire en dessous

Si l'IA doit aider à la recherche, elle doit d'abord trouver les travaux antérieurs pertinents. Un benchmark publié le 3 octobre, ScholarCatalyst, mesure exactement cela. Ses auteurs ont demandé à 184 auteurs principaux de 207 articles récents en informatique d'étiqueter les candidats qui avaient ou auraient pu faire avancer leurs projets, chacun avec une justification. Ils ont ensuite défini une tâche de recherche documentaire limitée à la littérature disponible au début de chaque projet.

Les résultats restent modestes. La recherche agentique obtient 0,42 de Recall@20 contre 0,48 pour une recherche par plongement classique, alors même que l'agent appelait le même moteur de recherche comme outil. Un agent fondé sur Claude Fable 5.1 n'atteint que 0,51 de R@20. Ce modèle a peut-être vu les articles terminés pendant son entraînement. Le corpus comptait 191 000 articles.

Cet écart compte pour les affirmations sur la découverte automatisée. Les auteurs soutiennent que choisir l'article qui ouvre une idée encore floue reste une compétence humaine. Les systèmes actuels ne l'ont pas.

Vue depuis l'établi

Loin de la frontière de la recherche, le même schéma apparaît à l'échelle d'un bureau. Un développeur racontait le 3 octobre avoir passé environ quatre heures à scanner et retoucher une pellicule de 36 poses en 35 mm. Il a ensuite confié la tâche à un agent. La première tentative a fait piloter le scanner par Claude via SANE, avec les directions X et Y du plateau inversées, et a failli casser le mécanisme d'entraînement. L'auteur a gardé VueScan pour la capture et automatisé le traitement ensuite. La détection de poussière et la correction des couleurs passent désormais par du code et des modèles. Une première vue vierge sert de référence pour pondérer les couleurs sur l'ensemble de la pellicule.

Rien de tout cela n'est de l'automatisation de laboratoire au sens des gros titres. C'est le même échange, pourtant : une personne décide de ce qui vaut la peine d'être fait, et le logiciel prend le milieu répétitif. L'histoire de l'Academy of Natural Sciences se lit à l'envers. L'université Drexel a annoncé mardi que le musée fermera le 30 septembre. Il est ouvert depuis 1828 et conserve plus de 19 000 000 de spécimens. Son dernier jour aux horaires habituels est le dimanche 27 septembre. Les responsables citent une fréquentation qui ne s'est jamais remise de la pandémie. Les collections restent accessibles pour la recherche.

Trillium Labs est le plus récent test de l'approche ouverte, et le moins éprouvé. Ses premières publications montreront si la transparence sur les agents et l'auto-amélioration suscite l'examen critique ou seulement de la matière à discuter.

Commentaires 0

Sources

9
  1. 01AI Experts Want to Do High-Stakes Research Out in the OpenEN
  2. 02Solving Open Research Problems TogetherEN
  3. 03ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  4. 04Automating my 35mm film scanning pipelineEN
  5. 05Academy of Natural Sciences is shutting down its museum after nearly 200 yearsEN
  6. 06Some topics are off limits inside popular Chinese-made free AI, researchers findEN
  7. 07EventMaxxer – Automatically apply to events to get you in the right roomEN
  8. 08Swiss scientist soils underpants, wins silly science prizeEN
  9. 09PL research is dead, the age of PL exploration is just beginningEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.