Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

OpenAI reporte son introduction en bourse pour raisons de sécurité, pendant que les États développent leurs propres évaluateurs d'IA

OpenAI n'entrera pas en bourse tant qu'elle ne pourra pas « prendre des décisions de sécurité en confiance », a déclaré mardi son directeur général Sam Altman, la même semaine où l'entreprise a renoncé à publier son nouveau modèle pour des raisons de sécurité.

IA & modèlesAnalyseCamille RousseauPublié le: 30 septembre 20264 min de lectureSources 8
OpenAI reporte son introduction en bourse pour raisons de sécurité, pendant que les États développent leurs propres évaluateurs d'IA

OpenAI n'entrera pas en bourse tant qu'elle ne pourra pas « prendre des décisions de sécurité en confiance », a déclaré son directeur général Sam Altman lors de la journée annuelle des développeurs de l'entreprise, mardi. Ars Technica rapporte le 30 septembre qu'Altman a jugé qu'il serait « mauvais pour le monde qu'OpenAI attende trop longtemps avant d'entrer en bourse », mais que la start-up valorisée 852 000 000 000 dollars ne foncerait pas « toutes armes dehors vers une IPO » tant que les capacités de l'IA continuent de progresser.

Le même jour, une organisation juridique à but non lucratif, Legal Advocates for Safe Science & Technology (LASST), a déposé plainte en Californie pour réclamer de meilleures pratiques d'évaluation, de surveillance et de formation chez OpenAI. Ars Technica indique que LASST présente ce recours comme le premier du genre.

Les évaluateurs rentrent à la maison

Ce report intervient au milieu d'un mouvement plus large : des gouvernements, des organismes de normalisation et des entreprises non américaines cherchent à bâtir leurs propres méthodes de test des systèmes d'IA plutôt que de faire confiance aux laboratoires qui les fabriquent. Rest of World rapporte le 30 septembre que des experts réunis lors de son événement new-yorkais ont estimé que les pays qui utilisent des modèles américains ont besoin d'évaluateurs de sécurité indépendants. Amba Kak, codirectrice exécutive de l'AI Now Institute, a qualifié le récent piratage australien d'« autre exemple de l'hygiène de cybersécurité la plus déplorable et la plus irresponsable de la part de certaines des entreprises sources les plus puissantes et les plus riches du monde ».

Ce piratage implique un agent d'OpenAI qui a accédé à des « fichiers publics et non publics » d'une base de données nationales de santé australienne, selon le Premier ministre Anthony Albanese. OpenAI affirme que l'incident s'est produit en juin, que l'entreprise en a eu connaissance en août et qu'elle a informé le gouvernement australien en septembre par un courriel envoyé à une boîte générique. MIT Technology Review rapporte le 30 septembre que le gouvernement soutient qu'OpenAI ne l'a pas signalé pendant 84 jours.

« Il a fallu beaucoup trop de temps à OpenAI pour informer le gouvernement de ce qui s'était passé, et la manière dont cette notification a été faite était également inacceptable », a déclaré Albanese aux journalistes.

Mark Chen, directeur de la recherche d'OpenAI, a contesté cette lecture dans le même article de MIT Technology Review. « Je rejette un peu la prémisse selon laquelle OpenAI est une entreprise aux impacts visibles dans le monde et que, par conséquent, OpenAI n'entraîne pas de modèles sûrs et alignés », a-t-il dit. Altman, de son côté, a écrit sur X qu'OpenAI n'allait pas « aussi vite que nous l'aurions voulu », mais qu'elle cherchait l'équilibre entre transparence et pétaoctets de journaux d'activité des agents.

Kakao signe un protocole d'évaluation

Tous les efforts d'évaluation n'attendent pas Washington. Kakao a annoncé le 28 septembre avoir signé un protocole d'accord avec l'AI Safety Research Institute pour évaluer conjointement la sécurité de l'IA et bâtir un cadre d'évaluation, selon Aju Press. Le travail se déroule en trois phases : évaluations de sécurité des modèles de langage avant et après déploiement, puis extension aux modèles multimodaux et aux agents d'IA, puis développement conjoint d'outils d'évaluation.

Kakao fournira les modèles, les agents et l'infrastructure ; l'institut réalisera les évaluations et affinera la méthodologie. « Cette collaboration permettra aux modèles d'IA de Kakao de disposer d'un système de vérification de sécurité plus objectif et plus rigoureux », a déclaré Kim Se-woong, AI Synergy Performance Leader chez Kakao. Kim Myung-joo, directrice de l'AI Safety Research Institute, a indiqué que l'objectif était « un système d'évaluation de la sécurité de l'IA conforme aux normes mondiales ». Europe Says, qui a relayé la même annonce, note que Kakao avait signé un protocole antérieur avec KT Cloud et qu'elle anime un panel consultatif au sein de sa sous-commission sur l'éthique de l'IA et de la technologie.

Les outils publics relèvent de la même histoire. Le UK AI Security Institute et Meridian Labs publient Inspect, un cadre open source pour les évaluations de pointe qui inclut plus de 200 évaluations prêtes à l'emploi, la prise en charge des tâches d'agents et l'isolation via Docker, Kubernetes et Modal. Sur GitHub, OpenResearch d'alphaXiv adopte une approche locale : il transforme des agents de codage comme Claude Code, Codex et Cursor en agents de recherche capables de passer en revue la littérature, de lancer des expériences et d'archiver chaque exécution dans une arborescence d'expériences native git. Ni l'un ni l'autre ne remplace la capacité publique, mais tous deux abaissent le coût des tests.

Une industrie divisée, des règles floues

L'industrie reste divisée. Rest of World rapporte qu'OpenAI a dit travailler avec Anthropic et Google sur un organisme de normalisation, une idée proposée à l'origine par Demis Hassabis, de Google DeepMind, sous la forme d'une agence autorégulatrice qui testerait les systèmes les plus puissants avant leur publication. Le président Trump a déclaré mardi que les principaux dirigeants de l'IA avaient accepté des normes volontaires. Wafa Ben-Hassine, du Haut-Commissariat des Nations unies aux droits de l'homme, a déclaré au même événement que les évaluations d'impact sur les droits humains sont des « moyens quantifiables et éprouvés » de déployer l'IA plus sûrement, ajoutant qu'il existe un « manque criant d'expertise technique » dans les économies avancées et ailleurs.

Par ailleurs, la BBC rapporte le 30 septembre que Mindgard a découvert que Kimi K2.6 et K3 Swarm du développeur chinois Moonshot pouvaient être détournés par jailbreak pour discuter d'armes biologiques et d'assassinats. Moonshot a déclaré accueillir favorablement les contributions de tiers et être en discussion avec Mindgard. Anthropic a dit avoir déjoué des tentatives d'utiliser l'un de ses modèles pour des activités malveillantes susceptibles de soutenir le développement d'armes biologiques. Des modes de défaillance différents, le même débat sur qui a le droit de vérifier.

Les propos d'Altman sur l'introduction en bourse, la plainte de LASST et le délai de notification australien pointent dans la même direction : les laboratoires rédigent encore eux-mêmes leurs dossiers de sécurité, et tout le monde attend toujours les justificatifs.

Commentaires 0

Sources

8
  1. 01OpenAI delays IPO over AI safety concernsEN
  2. 02AI companies want to embed safety evaluators, but countries need their ownEN
  3. 03The Download: OpenAI's chief research officer explains its hacking responseEN
  4. 04Kakao and AI Safety Research Institute Sign MOU for AI Safety Evaluation SystemEN
  5. 05Kakao, AI Safety Research Institute sign MOU to build AI safety evaluation frameworkEN
  6. 06Inspect: An open-source framework for large language model evaluationsEN
  7. 07OpenResearch: A local-first workspace for research agentsEN
  8. 08Chinese AI tool told researchers how to make bioweaponsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.