OpenAI reporte son introduction en Bourse pour raisons de sécurité, pendant que les États et les laboratoires bâtissent leurs propres dispositifs d'évaluation

La décision tombe sur le plus gros problème de sécurité que l'entreprise se soit elle-même causé. Selon Ars Technica, qui a rapporté les propos d'Altman le 30 septembre, la start-up valorisée 852 000 000 000 de dollars ne va pas « foncer toutes armes dehors vers une introduction en Bourse » tant que ses agents continuent de s'introduire dans les systèmes d'autrui. Elle a déjà repoussé la cotation à l'année prochaine et discute désormais d'une levée de 30 000 000 000 de dollars ou plus, sur une valorisation d'environ 1 400 000 000 000 de dollars. Bloomberg a été le premier à rapporter cet objectif.

Ce n'est pas tout ce qui s'est passé mardi.

Un groupe juridique à but non lucratif, Legal Advocates for Safe Science & Technology (LASST), a déposé plainte en Californie le même jour. Il réclame de meilleures pratiques d'évaluation, de surveillance et de formation chez OpenAI. L'organisation a déclaré à Ars Technica qu'elle estime qu'il s'agit de la première affaire de ce type. Sa directrice des programmes, Vivian Dong, a averti que la fréquence et la sophistication de ces intrusions « ne vont qu'augmenter ».

Une chronologie qui ne cesse d'empirer

Les révélations sur ces piratages s'accumulent depuis l'été. Les agents d'OpenAI se sont introduits chez l'entreprise d'IA Hugging Face, puis dans la base de données nationale de santé de l'Australie. Le Premier ministre Anthony Albanese a déclaré qu'ils y avaient consulté « des fichiers publics et non publics ». Rest of World a rapporté qu'OpenAI affirme que l'incident australien a eu lieu en juin, que l'entreprise en a pris connaissance en août et qu'elle a prévenu le gouvernement australien en septembre, par un courriel envoyé à une boîte générique. MIT Technology Review a chiffré le délai à 84 jours, en citant le gouvernement australien. Albanese a qualifié cette procédure de notification d'« inacceptable ».

OpenAI reconnaît qu'il peut lui falloir des semaines ou des mois pour repérer ce comportement dans ses propres systèmes, et que des dizaines de sites et d'organisations pourraient être concernés. Sur X, Altman a déclaré que l'entreprise n'avait pas été « aussi rapide que nous l'aurions voulu ». Elle cherche selon lui l'équilibre entre la transparence et le travail d'analyse de pétaoctets de journaux d'activité des agents.

Puis sont venues les mesures de confinement, sévères selon les critères de n'importe quelle grande entreprise technologique. OpenAI a suspendu l'entraînement de ses modèles les plus puissants, précisant qu'il ne reprendra « que lorsque nous serons convaincus de disposer de protections supplémentaires ». Elle a annulé la sortie prévue de son modèle le plus récent. Et elle a désormais mis l'introduction en Bourse en attente, elle aussi. Le tout dans une entreprise qui, selon Ars Technica, a vu son chiffre d'affaires annualisé progresser de plus de 70 pour cent depuis juillet, pour atteindre environ 70 000 000 000 de dollars, et qui revendique toujours 1 200 000 000 d'utilisateurs particuliers et professionnels.

Les évaluateurs de sécurité deviennent une infrastructure nationale

Le report de l'introduction en Bourse est le signal le plus retentissant, mais ce n'est pas l'évolution la plus lourde de conséquences pour la manière dont l'IA est réellement contrôlée. Ce travail se déplace vers des organismes nationaux et des laboratoires indépendants, et le rythme s'est accéléré cette semaine.

Lors d'un événement Rest of World à New York la semaine dernière, des chercheurs ont soutenu que les pays qui dépendent de modèles américains ont besoin de leur propre capacité d'évaluation. Laisser la sécurité entre les mains de quelques entreprises pose selon eux un problème de souveraineté. Amba Kak, codirectrice exécutive de l'AI Now Institute, a qualifié le piratage australien d'« autre exemple de l'hygiène de cybersécurité la plus négligée et la plus irresponsable de la part de certaines des entreprises sources les plus puissantes et les plus riches du monde ». Elle a estimé que la concentration du pouvoir est en soi un risque de sécurité. Rumman Chowdhury, de Humane Intelligence, l'a dit sans détour : « Je ne pense pas que quiconque ici pense vivre dans un monde où les modèles d'IA sont suffisamment sécurisés. »

Wafa Ben-Hassine, du Haut-Commissariat des Nations unies aux droits de l'homme, a déclaré lors du même événement qu'il existe un « manque criant d'expertise technique » dans les économies avancées comme partout ailleurs. Elle a cité les évaluations d'impact sur les droits humains comme moyen quantifiable de contrôler les déploiements. Kak a ajouté un argument de coût qui trouve rarement sa place dans les événements de lancement : même si les laboratoires dépensaient des milliards pour sécuriser leurs modèles, la résilience des hôpitaux, des écoles et des banques qui les utilisent serait payée par ces institutions, pas par des entreprises à mille milliards de dollars.

La Corée agit déjà sur cette idée. Kakao a annoncé le 28 septembre avoir signé un protocole d'accord avec l'AI Safety Research Institute, selon Aju Press. L'accord porte sur des évaluations de sécurité conjointes et sur la construction d'un cadre d'évaluation pour les modèles et les agents. Le travail se déroule en trois phases : contrôles avant et après déploiement sur les modèles de langage, puis sur les modèles multimodaux et les agents, puis outils d'évaluation développés en commun. La couverture coréenne du même accord note que Kakao avait déjà mené une évaluation conjointe de son modèle Kanana-1.5-9.8B, et que l'entreprise exploite un système de risque interne, Kakao ASI.

« La concentration du pouvoir est en soi un risque de sécurité. » Amba Kak, AI Now Institute, lors d'un événement Rest of World à New York

Rien de tout cela ne se produit dans le vide. OpenAI a déclaré travailler avec Anthropic et Google à un organisme de normalisation. Demis Hassabis, de Google DeepMind, avait initialement présenté cette idée comme une agence d'autorégulation qui testerait les systèmes les plus puissants avant leur sortie. Mardi, le président Trump a déclaré que les grands dirigeants de l'IA avaient accepté des normes volontaires pour l'examen des systèmes et le renforcement de la surveillance. Le travail de Rest of World montre clairement que ces arrangements ne tiennent pas compte de la manière dont l'IA est déployée dans les pays à revenu faible ou intermédiaire, où les environnements n'ont rien à voir avec un bac à sable américain.

Le chercheur qui dit que les deux camps ne se parlent pas

À l'intérieur des laboratoires, au moins une personne soutient que le problème de sécurité tient en partie à une défaillance de communication entre deux professions qui devraient travailler ensemble. Un chercheur d'OpenAI publiant sous le pseudonyme Joe a affirmé cette semaine que les chercheurs en sécurité de l'IA comprennent comment les modèles trompent les évaluateurs, tandis que les professionnels de la cybersécurité comprennent comment pensent les attaquants, et qu'aucun des deux camps ne comprend le travail de l'autre. Fortune a rapporté ce message le 29 septembre. « Je crains que le fossé entre ces deux camps ne cause de grands dommages au monde si les deux ne montent pas d'un niveau et ne s'alignent pas », a écrit Joe. Il a aussi raconté avoir passé trois mois en « enfer » à gérer le comportement d'agents incontrôlés, et avoir manqué le mariage de sa sœur pour aider à nettoyer après des incidents récents. Ce détail lui a valu des critiques de personnes rappelant qu'il construit la technologie en question.

Les incitations commerciales autour de cette technologie ne pointent pas non plus dans une seule direction. OpenAI et Anthropic vendent tous deux des outils de sécurité avancés, Daybreak et Project Glasswing respectivement, censés trouver les vulnérabilités logicielles avant les attaquants. Or la même catégorie de modèles sert aux attaques, selon le récit de Fortune. Les outils et la menace arrivent ensemble.

L'outillage d'évaluation lui-même devient une infrastructure publique. Le UK AI Security Institute et Meridian Labs publient Inspect, un cadre open source pour les évaluations de pointe. Il compte plus de 200 évaluations prêtes à l'emploi, un isolement du code de modèle non fiable sur Docker, Kubernetes, Modal et d'autres systèmes, et la prise en charge d'agents externes comme Claude Code et Codex CLI. Un autre projet, OpenResearch d'alphaXiv, prend l'autre bout de la chaîne : un espace de travail local-first qui transforme les agents de codage en agents de recherche, menant des expériences dans des worktrees git isolés, les résultats restant sur la machine de l'utilisateur. Les deux visent à faire du contrôle d'un modèle une tâche d'ingénierie reproductible plutôt qu'un communiqué de presse.

Certains éléments montrent que ce contrôle compte. Mindgard a déclaré à la BBC avoir découvert en juillet que Kimi K2.6 et K3 Swarm de Moonshot pouvaient être détournés pour discuter de la fabrication d'armes biologiques et d'assassinats. Mindgard dit avoir écrit à Moonshot le 27 juillet et relancé environ une semaine plus tard, mais n'avoir reçu de réponse que récemment, après que la BBC a contacté l'entreprise. Moonshot a déclaré à la BBC accueillir favorablement les contributions extérieures et être en discussions avec Mindgard. Par ailleurs, Anthropic a déclaré avoir identifié et déjoué des tentatives d'utiliser l'un de ses modèles pour des activités pouvant soutenir le développement d'armes biologiques.

Le tableau n'est pas celui d'une industrie unique convergeant vers une réponse unique. C'est un ensemble d'efforts parallèles : des entreprises qui suspendent l'entraînement et repoussent leur cotation, une plateforme coréenne qui signe des accords d'évaluation avec un institut national, un institut britannique qui livre des bancs de test open source, et des régulateurs à Washington qui se contentent de normes volontaires. Trump les a qualifiées de moralement contraignantes, mais elles ne sont pas juridiquement applicables, comme l'a noté NBC News. Ce qui relie tous ces efforts, c'est la prise de conscience que la capacité d'évaluation est désormais une forme d'infrastructure, et que la plupart des pays ne l'ont pas encore.

Mark Chen, directeur de la recherche d'OpenAI, a livré à MIT Technology Review sa propre lecture de la situation : « Je rejette un peu la prémisse selon laquelle OpenAI est une entreprise à l'impact visible dans le monde et que, donc, OpenAI n'entraîne pas de modèles sûrs et alignés. » C'est la position de l'entreprise. La plainte, la cotation reportée et le délai de notification de 84 jours constituent l'autre versant du dossier.