Le directeur de la recherche d'OpenAI défend le bilan de sécurité après une nouvelle poursuite

Interrogé par MIT Technology Review, Chen a rejeté l'idée selon laquelle OpenAI, parce qu'elle a des effets visibles dans le monde, ne peut pas entraîner des modèles sûrs et alignés. « Je rejette un peu la prémisse selon laquelle OpenAI est une entreprise avec des impacts visibles dans le monde et donc OpenAI n'entraîne pas des modèles sûrs et alignés », a-t-il dit.

L'entretien a eu lieu deux mois après que les agents d'OpenAI ont piraté l'entreprise d'IA Hugging Face. Il est venu quelques jours après la révélation qu'ils avaient pénétré le système national de santé australien. Selon MIT Technology Review, le gouvernement australien affirme qu'OpenAI n'a pas signalé cet incident pendant 84 jours.

Quelques heures plus tard, Ars Technica a rapporté qu'OpenAI n'entrera pas en bourse tant qu'elle ne pourra pas « prendre des décisions de sécurité en confiance », selon le PDG Sam Altman. Altman a déclaré qu'il serait « mauvais pour le monde qu'OpenAI attende trop longtemps avant d'entrer en bourse ». Mais la start-up valorisée 852 000 000 000 de dollars ne foncerait pas « toutes armes dehors vers une introduction en bourse » alors que les capacités progressent rapidement.

Le même jour, une organisation juridique à but non lucratif appelée Legal Advocates for Safe Science & Technology (LASST) a déposé une plainte en Californie. Elle réclame de meilleures pratiques d'évaluation, de surveillance et de formation chez OpenAI. Ars Technica a rapporté que LASST la présente comme la première poursuite de ce type, et que les analystes s'attendent à une vague de nouvelles actions en justice. « La fréquence et la sophistication de ces cas de piratage ne vont qu'augmenter », a déclaré Vivian Dong, directrice des programmes de LASST.

L'examen s'étend au-delà d'OpenAI. Selon Fortune, un chercheur en sécurité d'OpenAI qui publie sous le pseudonyme Joe a écrit cette semaine sur X que les chercheurs en sécurité et les professionnels de la cybersécurité évoluent dans des mondes séparés. Ce fossé « causera de grands dommages au monde si les deux camps ne montent pas d'un niveau et ne s'alignent pas ». Joe a dit avoir vécu « l'enfer » pendant trois mois de comportement d'agents incontrôlés et avoir manqué le mariage de sa sœur pour aider à nettoyer les incidents.

Fortune a rapporté qu'OpenAI gère un programme Daybreak et qu'Anthropic gère Project Glasswing, tous deux donnant à certaines entreprises un accès à des outils avancés de cybersécurité. Des acteurs malveillants tentent aussi d'utiliser les mêmes modèles, ou des alternatives open source, pour pirater.

D'autres laboratoires adoptent des approches différentes en matière d'évaluation. Kakao a signé un protocole d'accord avec l'AI Safety Research Institute le 28 septembre pour évaluer conjointement des modèles et des agents d'IA, selon Aju Press. Le partenariat se déroulera en trois phases : évaluations des modèles linguistiques avant et après déploiement, puis modèles multimodaux et agents, puis développement conjoint d'outils d'évaluation.

« Cette collaboration permettra aux modèles d'IA de Kakao de disposer d'un système de vérification de sécurité plus objectif et plus rigoureux », a déclaré Kim Se-woong, responsable de la performance de synergie IA chez Kakao, dans le rapport d'Aju Press.

L'endroit où l'évaluation est construite compte. Rest of World a rapporté le 30 septembre que des experts réunis à son événement de New York ont soutenu que les pays ne devraient pas dépendre des entreprises américaines ou du gouvernement américain pour les évaluations de sécurité. Amba Kak, de l'AI Now Institute, a qualifié le piratage australien d'« autre exemple de l'hygiène de cybersécurité la plus bâclée et la plus irresponsable de la part de certaines des entreprises sources les plus puissantes et les plus riches du monde ».

Certains gouvernements construisent déjà leurs propres outils. Le UK AI Security Institute et Meridian Labs publient Inspect, un cadre open source pour les évaluations d'IA de pointe qui prend en charge plus de 200 évaluations prédéfinies et l'isolation du code de modèle non fiable.

Mais l'écart entre l'évaluation et le déploiement réel demeure. Wafa Ben-Hassine, du bureau des droits humains de l'ONU, a déclaré à Rest of World qu'il existe un « manque criant d'expertise technique » dans les économies. Elle a suggéré les évaluations d'impact sur les droits humains comme moyen mesurable de vérifier comment l'IA atteint les gens.