Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Trillium Labs ouvre la recherche risquée sur l'IA, alors que les départs se multiplient chez OpenAI

Deux scientifiques de l'industrie ont lancé Trillium Labs, une organisation à but non lucratif qui publiera les détails d'expériences à haut risque sur l'IA, notamment l'auto-amélioration récursive et les agents, afin que des chercheurs extérieurs puissent les reproduire, rapporte WIRED.

IA & modèlesAnalyseSophie LeclercPublié le: 3 octobre 20267 min de lectureSources 8
Trillium Labs ouvre la recherche risquée sur l'IA, alors que les départs se multiplient chez OpenAI

Le lancement tombe dans une semaine peu confortable pour les laboratoires que Trillium conteste implicitement. Samedi, David Robinson, un responsable de l'équipe Safety Systems d'OpenAI, a publié un essai dans The Atlantic. Il y affirme que l'entreprise n'est pas assez prudente. Business Insider, qui a révélé sa démission vendredi, indique qu'il a quitté ses fonctions la semaine précédente.

Les fondateurs de Trillium, Nathan Lambert et Tom Zick, veulent l'inverse : une recherche que des personnes extérieures peuvent vérifier. Leur argument est que le secret a un coût. Si une poignée de gens seulement peuvent voir comment un modèle de frontière a été construit et ajusté, personne d'autre ne peut tester si les promesses de sécurité tiennent. Tout l'argument tient en une phrase, et c'est aussi la partie la plus difficile à démontrer. Un laboratoire qui publie ses méthodes invite ses rivaux à les copier. Un laboratoire qui reste muet n'invite personne à vérifier quoi que ce soit. Trillium parie que le second coût est le plus lourd.

Ce qui change pour les lecteurs, c'est l'unité de mesure. Les acheteurs de produits d'IA, et les régulateurs qui les entourent, jugent aujourd'hui la sécurité surtout à partir des fiches système et des déclarations des entreprises. Trillium promet des expériences que des scientifiques extérieurs pourront étudier et reproduire. Cela transforme une promesse marketing en quelque chose de plus proche d'un test. On ignore encore quelle part de ses propres recherches l'organisation publiera, et qui la finance. Aucun des deux fondateurs n'a dit comment l'organisation est financée.

Lambert a déclaré à WIRED que le développement fermé est la mauvaise direction. « Depuis quelques millénaires, l'humanité dispose de la méthode scientifique pour limiter les dommages et construire de meilleurs futurs », a-t-il dit, selon le rapport de WIRED. « La trajectoire fermée actuelle du développement de l'IA de frontière nous fait reculer d'un pas. »

Les poids ouverts gagnent déjà des utilisateurs

L'approche ouverte n'est plus une position marginale, car les modèles ouverts ont pris une large part de l'usage réel. Les modèles chinois à poids ouverts sont passés de moins de 2 % de l'usage mondial fin 2024 à plus de 45 % en juin de cette année, selon les données d'OpenRouter citées par CBS News. En août, Qwen, d'Alibaba, avait dépassé trois milliards de téléchargements dans le monde. Ces deux chiffres cohabitent mal : un bond de plus de quarante points de l'usage mondial en moins de deux ans, et une seule famille de modèles franchissant trois milliards de téléchargements quelques mois après cette enquête. Quelle que soit la conclusion du débat sur la sécurité, un très grand nombre de personnes font déjà tourner des poids qu'elles peuvent télécharger et inspecter, ou détourner, sans demander à personne.

Cette échelle compte pour l'argument de sécurité. CBS News a rapporté que Hirundo, une start-up israélienne de cybersécurité, a constaté que Qwen refuse de parler des manifestations de Hong Kong de 2019 ou de la place Tiananmen en 1989. Le modèle qualifie le Falun Gong de « secte dangereuse » et esquive les questions sur Winnie l'ourson. Quand CBS a interrogé le modèle sur les camps de travail forcé pour les Ouïghours, il a répondu qu'il n'en existait aucun. Alibaba n'a pas répondu à une demande de commentaire, selon la chaîne. Uber Eats a déclaré que ses fonctions de recherche et de livraison reposent « sur une base Qwen ». Brian Chesky, d'Airbnb, a confié au LA Times que son entreprise s'appuie fortement sur le modèle pour le service client.

Dit simplement : télécharger un modèle ne rend pas son comportement transparent. Trillium parie que des méthodes publiées permettent aux chercheurs de repérer ce genre de biais intégré, ou au moins d'en débattre publiquement.

Les fondateurs ont un parcours. Lambert a travaillé à l'Allen Institute for AI et chez Hugging Face, tient un blog technique et a lancé American Truly Open Models, un mouvement pour que les entreprises américaines publient davantage de modèles ouverts. Zick a travaillé à Harvard et aidé Charles Schwab à rédiger sa politique d'IA responsable. Ils se sont rencontrés sur Zoom pendant la pandémie, alors qu'ils étaient doctorants à l'UC Berkeley.

Trillium commencera par le post-entraînement, l'ajustement fin qui suit la construction d'un modèle, et par l'auto-amélioration récursive, où l'IA contribue à ses propres recherches. Dans les deux domaines, les laboratoires ont tendance à rester discrets. WIRED note que Xiaomi a publié en direct les détails d'un entraînement majeur, et que des chercheurs de Stanford pré-entraînent en public un modèle appelé Marin.

Chez OpenAI, les départs continuent

Le départ de Robinson est le point de données le plus récent dans le débat sur qui a le droit de vérifier le travail. Il a contribué à développer les fiches système qu'OpenAI publie avec ses modèles. Dans son essai pour The Atlantic, il écrit qu'il partage l'avis d'autres employés récemment partis. Les entreprises qui construisent la technologie « ne sont pas assez prudentes », écrit-il. Alors qu'OpenAI « enchaîne les lancements, elle n'atteint pas le niveau de soin qui me paraît nécessaire », ajoute-t-il.

OpenAI a répliqué dans un communiqué. L'entreprise dit « veiller à ce que nos modèles ne deviennent pas plus capables que ce que nous pouvons gérer et sécuriser en toute sécurité, et nous suspendons l'entraînement ou retenons des modèles quand il faut ralentir ». Elle affirme élargir son travail avec des évaluateurs extérieurs. Elle améliore aussi la surveillance en temps réel pour repérer plus tôt les comportements préoccupants pendant l'entraînement.

« Un environnement où ce genre de choses peut arriver n'est pas un lieu pour faire grandir des esprits artificiels qui pourraient être plus intelligents que nous et ne pas faire ce que nous attendons d'eux. »

Cette phrase, tirée de l'essai de Robinson, suit une série d'incidents de sécurité qu'OpenAI a reconnus. L'entreprise a aussi annoncé jeudi s'être « séparée » de trois chercheurs pour violation de sa politique sur le partage d'informations sensibles. Johannes Heidecke, son responsable de la sécurité, est parti plus tôt cette année. Lors de la conférence développeurs d'OpenAI mardi, le PDG Sam Altman a déclaré que la sécurité et l'alignement doivent rester en avance sur les capacités des modèles. Lisez la séquence dans l'ordre et la tendance est difficile à manquer. Un responsable de la sécurité parti, trois chercheurs écartés pour partage d'informations, un vétéran des fiches système qui démissionne, tout cela en une seule année. La réponse publique de l'entreprise : plus d'évaluateurs extérieurs et une meilleure surveillance.

Il existe un contre-argument, et il n'est pas marginal. Les critiques du ralentissement avertissent que si la Silicon Valley freine, les rivaux internationaux et les acteurs malveillants gagnent du terrain. Cette tension est sous-jacente à chaque proposition d'évaluation. Les personnes les mieux placées pour auditer un modèle sont souvent celles qui y ont le moins accès.

Les évaluations deviennent plus difficiles à croire

Des travaux universitaires pointent le même vide sous un autre angle. Un benchmark appelé ScholarCatalyst a été construit à partir des annotations de 184 auteurs principaux de 207 articles récents en informatique. Il testait si des systèmes d'IA peuvent retrouver l'article antérieur qui a façonné un projet. La recherche agentique n'a pas fait mieux que la simple recherche par plongement, 0,42 contre 0,48 en Recall@20, alors même que l'agent appelait ce même système de recherche comme outil. Un agent construit sur Claude Fable 5.1, qui a peut-être vu les articles finalisés pendant son entraînement, n'a atteint que 0,51.

Les auteurs décrivent la tâche comme un pas vers des agents scientifiques capables de prendre une idée à demi formée et d'indiquer les recherches nécessaires. Le résultat est aussi un avertissement sur la conception des évaluations : un modèle peut sembler capable sur une tâche alors qu'il ne fait que restituer des souvenirs.

La branche recherche de Meta a fait un aveu du même ordre. Elle a publié six articles produits avec des mathématiciens à l'aide de ses modèles Muse Spark en mode réflexion, via l'interface de chat ordinaire meta.ai, dont cinq répondaient à des questions jusqu'alors ouvertes. Meta indique qu'après avoir terminé le travail, elle a appris que d'autres équipes avaient annoncé indépendamment des solutions à certains des mêmes problèmes. Elle précise que les articles signalent quels passages ont été rédigés par des chercheurs et lesquels par l'IA. Une stratégie de preuve, pour un seuil d'ajustement d'ellipsoïde gaussien, a été élaborée avec le modèle sous la direction d'un mathématicien et vérifiée par quatre autres.

Publier la méthode, le crédit et les travaux concurrents est exactement la norme que Trillium dit vouloir étendre. Savoir si une organisation à but non lucratif peut le faire pour les agents et l'auto-amélioration, où les risques sont moins propres qu'une preuve de géométrie, reste la question ouverte.

Le moral universitaire n'aide pas. Un récent fil de discussion de la liste TYPES, résumé par un chercheur en langages de programmation le 2 octobre, décrit un moral en forte baisse dans le domaine à l'automne 2026, avec un stress comparable à celui de la pandémie. Le même chercheur soutient que les outils rendent traitables des problèmes plus vastes. Les deux lectures vont dans le même sens : le travail de vérification de l'IA sort des laboratoires, que cela plaise ou non aux laboratoires.

Commentaires 0

Sources

8
  1. 01These AI Experts Want to Do High-Stakes Research Out in the OpenEN
  2. 02OpenAI safety leader David Robinson resignsEN
  3. 03Some topics are off limits inside popular Chinese-made free AI, researchers findEN
  4. 04Solving Open Research Problems TogetherEN
  5. 05ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  6. 06PL research is dead, the age of PL exploration is just beginningEN
  7. 07How to apply to AI safety fellowships (and beyond)EN
  8. 08Memory safety for Postgres extensions in C/C++EN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.