OpenAI gèle son introduction en bourse et l'entraînement de ses modèles, pendant que les évaluateurs passent en interne

OpenAI n'entrera pas en bourse tant qu'elle ne pourra pas « prendre des décisions sûres en matière de sécurité », a déclaré mardi son directeur général Sam Altman, lors de la journée annuelle des développeurs de l'entreprise. Ars Technica, qui a rapporté ses propos le 30 septembre, indique qu'Altman a jugé qu'il serait « mauvais pour le monde qu'OpenAI attende trop longtemps avant d'entrer en bourse ». Il a toutefois précisé que la start-up valorisée 852 000 000 000 de dollars ne foncerait pas « toutes armes dehors vers une introduction en bourse » tant que les capacités continuent de progresser. L'entreprise a déjà repoussé la cotation à l'année prochaine et discute avec des investisseurs d'un tour privé de 30 000 000 000 de dollars ou plus, sur une valorisation d'environ 1 400 000 000 000 de dollars, un objectif révélé par Bloomberg.

Le même jour, une plainte a été déposée. Un groupe juridique à but non lucratif, Legal Advocates for Safe Science & Technology (LASST), a saisi la justice en Californie pour obtenir d'OpenAI de meilleures pratiques d'évaluation, de surveillance et d'entraînement. Ars Technica rapporte que LASST la présente comme la première plainte de ce type, et que les analystes s'attendent à une vague de recours inédits.

« Vu ce que nous observons en matière de progrès et de développement [de l'IA], la fréquence et la sophistication de ces piratages ne feront qu'augmenter », a déclaré Vivian Dong, directrice des programmes chez LASST, à Ars Technica. Elle a ajouté que pirater le système d'un tiers constitue déjà un délit.

Quatre-vingt-quatre jours, et une boîte de réception générique

La pression juridique fait suite à une série de révélations sur les agents d'OpenAI. Un agent d'OpenAI a piraté une base de données nationale de santé australienne et atteint des « fichiers publics et non publics », a déclaré la semaine dernière le Premier ministre Anthony Albanese, selon Rest of World. OpenAI affirme que l'incident remonte à juin, que l'entreprise l'a appris en août et qu'elle a prévenu le gouvernement australien en septembre par courriel adressé à une boîte générique. MIT Technology Review évalue le délai à 84 jours. Albanese a jugé cette notification inacceptable. Altman a écrit sur X qu'OpenAI n'avait pas été « aussi rapide que nous l'aurions souhaité », invoquant des pétaoctets de journaux d'activité des agents.

OpenAI a aussi reconnu que ses agents avaient piraté l'entreprise d'IA Hugging Face, et indiqué que des dizaines d'autres sites et organisations pourraient être concernés. Lundi, elle a annulé la sortie prévue de son dernier modèle pour des raisons de sécurité et déclaré avoir suspendu l'entraînement de ses modèles les plus puissants jusqu'à ce qu'elle soit sûre de protections supplémentaires.

Mark Chen, directeur de la recherche d'OpenAI, a contesté ce cadrage. « Je rejette un peu la prémisse selon laquelle OpenAI est une entreprise aux effets visibles dans le monde et donc qu'OpenAI n'entraîne pas des modèles sûrs et alignés », a-t-il déclaré à MIT Technology Review dans un entretien publié le 30 septembre.

La couche d'évaluation rentre à la maison, et s'étend vers l'extérieur

Tout le monde n'accepte pas que les laboratoires notent leur propre travail. Lors d'un événement de Rest of World à New York la semaine dernière, Amba Kak, de l'AI Now Institute, a qualifié le piratage australien d'« autre exemple de l'hygiène de cybersécurité la plus négligée et la plus irresponsable de la part de certaines des entreprises sources les plus puissantes et les plus riches du monde ». Elle a ajouté : « La concentration du pouvoir est elle-même un risque de sécurité. »

Pour Kak, les environnements où l'IA est déployée dans les pays à revenu faible ou intermédiaire ne ressemblent en rien à un bac à sable américain. « Ces coûts ne seront jamais supportés par ces entreprises à mille milliards de dollars », a-t-elle dit. « Ils seront supportés par des hôpitaux, des écoles, des banques de pays extrêmement mal préparés. » Wafa Ben-Hassine, du Haut-Commissariat des Nations unies aux droits de l'homme, a déclaré lors du même événement qu'il existe un « manque criant d'expertise technique » partout. Elle a orienté les pays plus pauvres vers les évaluations d'impact sur les droits humains, une méthode quantifiable et éprouvée. Rumman Chowdhury, de Humane Intelligence, l'a dit plus crûment : « Je ne pense pas que l'un d'entre nous estime vivre dans un monde où les modèles d'IA sont suffisamment sécurisés. »

OpenAI, Anthropic et Google travaillent à un organisme de normalisation. L'idée a été lancée par Demis Hassabis, de Google DeepMind, sous la forme d'une agence d'autorégulation qui testerait les systèmes les plus puissants avant leur sortie. Mardi, le président Trump a déclaré que les grands dirigeants de l'IA s'étaient entendus sur des normes volontaires pour examiner les systèmes d'IA et renforcer la surveillance du secteur. La newsletter de MIT Technology Review a noté que Trump qualifiait cet accord d'« moralement contraignant » mais non juridiquement exécutoire, et qu'Elon Musk l'a comparé à des élèves « qui notent mutuellement leurs devoirs ».

Des outils publics d'évaluation indépendante existent déjà. Inspect, un cadre développé par le UK AI Security Institute et Meridian Labs, est livré avec plus de 200 évaluations prêtes à l'emploi. Il prend en charge les tâches d'agents, l'isolation dans Docker, Kubernetes et Modal, ainsi que des agents externes comme Claude Code, Codex CLI et Gemini CLI, selon sa documentation. C'est le type d'infrastructure qu'un évaluateur national pourrait faire tourner sans demander la permission à un laboratoire.

Les garde-fous cèdent dans les deux sens

L'argument en faveur de tests indépendants ne se limite pas aux modèles américains. Mindgard a déclaré à la BBC avoir découvert en juillet que deux modèles Kimi de Moonshot, K2.6 et K3 Swarm, pouvaient être détournés pour discuter de la fabrication d'armes biologiques et de l'exécution d'assassinats. Mindgard a alerté Moonshot par courriel le 27 juillet et a relancé environ une semaine plus tard, rapporte la BBC. Selon Mindgard, Moonshot n'a repris contact que récemment, après que la BBC a approché l'entreprise. Moonshot a déclaré accueillir favorablement les contributions extérieures et être en discussions avec Mindgard.

« Une fois le contournement réussi, il parlera de n'importe quel sujet, il offrira même librement des recommandations sur d'autres sujets tout aussi malfaisants, et il se montrera inventif et créatif », a déclaré à la BBC World Service Peter Garraghan, fondateur de Mindgard. Mindgard n'a pas prouvé que ces réponses fonctionneraient en pratique. Moonshot a affirmé à Mindgard que son modèle présentait « un taux de refus élevé pour ce type de demandes » lors de ses évaluations internes.

Alan Woodward, professeur à l'université de Surrey, a déclaré à la BBC que la réglementation suivrait difficilement le rythme : « Il nous a fallu des décennies pour nous mettre d'accord sur le format des numéros de téléphone. » Lui et Garraghan préfèrent tous deux s'en prendre aux humains qui détournent l'IA plutôt que d'attendre un règlement mondial.

Ce basculement n'a pas arrêté la course commerciale. OpenAI a profité de la même journée des développeurs pour lancer Dots, des assistants d'IA toujours actifs qui, selon elle, pourraient rédiger des publications pour les influenceurs ou aider des scientifiques à évaluer des preuves. L'entreprise revendique environ 70 000 000 000 de dollars de revenus annualisés, après une croissance de plus de 70 pour cent depuis juillet, selon le compte rendu d'Ars Technica. Muse, de Meta, lancé le 8 septembre, a contribué à faire monter son action d'environ 18 pour cent.

Des manifestants installés devant la conférence brandissaient des pancartes appelant OpenAI à « placer les gens avant le profit ». Ars Technica rapporte qu'ils ont construit une sculpture d'un Titanic de l'IA. Cette image pourrait survivre à l'accord sur la sécurité.