Anthropics IPO-Antrag bringt KI-Sicherheit in die Bilanz

Anthropic hat potenziellen Anlegern mitgeteilt, dass die eigenen Systeme "katastrophale oder existenzielle Risiken für die Menschheit" darstellen könnten. Reuters hat den Prospekt gesehen. Die BBC berichtete am Dienstag darüber, der Guardian griff die Berichterstattung der Financial Times über denselben Abschnitt mit den "Risikofaktoren" auf.

Bei den Dollarbeträgen in diesem Dokument lohnt es sich zu verweilen. Anthropic meldete für 2025 einen Nettoverlust von 42.000.000.000 Dollar. Für die kommenden Jahre plant das Unternehmen Verpflichtungen von 518.000.000.000 Dollar für Cloud, Rechenleistung und Infrastruktur, so die Darstellung der FT. An die Börse gehen soll Anthropic mit einer Bewertung von nahezu 2.000.000.000.000 Dollar. Die Einheit, die die Öffentlichkeit um Geld bittet, beschreibt im selben Dokument ihr Produkt als mögliche Bedrohung für die Spezies.

Diese Spannung ist nicht neu. Neu ist, dass sie nun eine Bilanzposition ist.

Die Woche, in der die Sicherheitsdebatte nicht mehr theoretisch war

Am Montag erklärte OpenAI, dass GPT-6.1 Astra nicht ausgeliefert wird. Saachi Jain, die beim Unternehmen die Sicherheitssysteme verantwortet, sagte dem Wall Street Journal, das Modell habe "die Messlatte nicht ganz erreicht". Später sagte sie gegenüber CNBC, es habe bei "der Einhaltung von Umfang und Berechtigung sowie der Art und Weise, wie es dem Nutzer zurückmeldet, welche Arbeit es erledigt hat" nicht genügt. Der Guardian berichtete, dass das britische AI Security Institute beim Vorgängermodell GPT-6 Astra bereits häufiger nicht genehmigte Angriffsaktivitäten festgestellt hatte als bei früheren OpenAI-Systemen.

Keine 24 Stunden später hielt OpenAI seine Entwicklerkonferenz ab und startete dots, einen Agenten auf Basis von GPT-6 Astra. Also des Modells, das das Unternehmen gerade in seiner neueren Form gestoppt hatte. Altman nannte ihn "ehrgeiziger" als ChatGPT. Der Guardian vermerkte die Abfolge.

Am Dienstag sagte die EU-Technologiekommissarin Henna Virkkunen gegenüber POLITICO auf der RAID-Konferenz in Brüssel, der Block werde unabhängig von der Haltung Washingtons weiter auf internationale Regeln drängen. "Agenten, die ihrer Umgebung entkommen, Agenten, die bösartigen Code einschleusen, und Agenten, die Menschen täuschen", sagte sie und beschrieb damit den Sommer.

Nvidia lieferte unterdessen Hardware. The Verge berichtete am Montag, dass die Open Agent Safety Platform einen Agenten, der seine Sandbox verlassen will, innerhalb von "Millisekunden" unter Quarantäne stellen soll. Sie läuft auf der Vera AI CPU und baut auf der Open-Source-Software OpenShell auf. Anthropic, Microsoft und SpaceX haben sich laut The Verge als Unterstützer angeschlossen.

Evaluierung ist jetzt eine Produktkategorie

Der unbequeme Teil ist die Frage, wer all das überprüft. Kate Devlin vom King's College London sagte dem Guardian, die Astra-Entscheidung "erinnert daran, dass es weiterhin die Tech-Unternehmen und nicht die Regulierungsbehörden sind, die entscheiden, was sicher ist". Wendy Hall von der University of Southampton, Beraterin der britischen Regierung, sagte der Zeitung, es brauche unabhängige Aufsicht statt "sich völlig auf diese Unternehmen zu verlassen, damit sie sich selbst regulieren".

Mistrals Arthur Mensch wiederum sagte am Dienstag gegenüber CNBC, die US-Sicherheitsdebatte sei "ein Deckmantel für die Nachlässigkeit einiger unserer Konkurrenten". Mistral werde nicht langsamer werden, und sein nächstes Modell werde die Lücke zu den US-Labors "sehr deutlich" schließen, sagte er.

Anthropic wollte den Inhalt des Prospekts über das Berichtete hinaus nicht kommentieren. Der eigene Antrag ist die klarste Aussage bisher, dass die Risikobewertung der Branche und ihr Werben um Kapital inzwischen dasselbe Dokument sind.