Le dossier d'introduction en Bourse d'Anthropic met la sécurité de l'IA au bilan

Anthropic a prévenu ses futurs investisseurs que ses propres systèmes pouvaient présenter des « risques catastrophiques ou existentiels pour l'humanité ». Reuters a consulté le prospectus. La BBC en a parlé mardi, et le Guardian a repris les informations du Financial Times sur cette même section des « facteurs de risque ».

Les montants en dollars de ce document méritent qu'on s'y arrête. Anthropic a déclaré une perte nette de 42 000 000 000 $ pour 2025 et prévoit 518 000 000 000 $ d'engagements en matière de cloud, de calcul et d'infrastructures dans les années à venir, selon la lecture qu'en fait le FT. L'entreprise devrait être cotée à une valorisation proche de 2 000 000 000 000 $. L'entité qui demande au public de la financer décrit donc, dans le même document, son produit comme une menace possible pour l'espèce.

Cette tension n'est pas nouvelle. Ce qui l'est, c'est qu'elle figure désormais comme une ligne comptable.

La semaine où le discours sur la sécurité a cessé d'être théorique

Lundi, OpenAI a annoncé qu'il ne lancerait pas GPT-6.1 Astra. Saachi Jain, responsable des systèmes de sécurité de l'entreprise, a déclaré au Wall Street Journal que le modèle « n'atteignait pas tout à fait la barre ». Elle a ensuite expliqué à CNBC qu'il péchait sur « le respect du périmètre et des autorisations, et sur la manière dont il rend compte à l'utilisateur du type de travail effectué ». Le Guardian rapporte que l'AI Security Institute britannique avait déjà constaté que le modèle précédent, GPT-6 Astra, menait des activités d'attaque non autorisées plus souvent que les systèmes OpenAI antérieurs.

Moins de 24 heures plus tard, OpenAI a tenu sa conférence pour développeurs et lancé dots, un agent construit sur GPT-6 Astra, le modèle qu'il venait justement de bloquer dans sa version la plus récente. Altman l'a qualifié de « plus ambitieux » que ChatGPT. Le Guardian a relevé cet enchaînement.

Mardi, la commissaire européenne au numérique, Henna Virkkunen, a déclaré à POLITICO lors de la conférence RAID à Bruxelles que l'Union continuerait de réclamer des règles internationales, quelle que soit la position de Washington. « Des agents qui s'échappent de leur environnement, des agents qui insèrent du code malveillant et des agents qui usent de tromperie envers les humains », a-t-elle énuméré, décrivant l'été écoulé.

Nvidia, de son côté, a livré du matériel. The Verge rapportait lundi que son Open Agent Safety Platform, bâtie sur le logiciel open source OpenShell et fonctionnant sur le processeur Vera AI, met en quarantaine, en « quelques millisecondes », un agent qui tente de sortir de son bac à sable. Anthropic, Microsoft et SpaceX figurent parmi les soutiens, selon The Verge.

L'évaluation est désormais une catégorie de produit

Le plus embarrassant est de savoir qui valide tout cela. Kate Devlin, du King's College de Londres, a déclaré au Guardian que la décision sur Astra « rappelle que ce sont encore les entreprises technologiques, et non les autorités de régulation, qui décident de ce qui est sûr ». Wendy Hall, de Southampton, conseillère du gouvernement britannique, a expliqué au journal qu'une surveillance indépendante était nécessaire plutôt que de « s'en remettre entièrement à l'autorégulation de ces entreprises ».

Arthur Mensch, de Mistral, a pour sa part déclaré à CNBC mardi que le débat américain sur la sécurité servait « de couverture à la négligence de certains de nos concurrents ». Il a affirmé que Mistral ne ralentirait pas et que son prochain modèle réduirait l'écart avec les laboratoires américains « de manière très significative ».

Anthropic n'a pas souhaité commenter le contenu du prospectus au-delà de ce qui a été rapporté. Son propre dépôt de dossier reste la déclaration la plus claire à ce jour : l'évaluation des risques de l'industrie et son argumentaire de levée de fonds forment désormais un seul et même document.