OpenAI stoppt Börsengang und Trainingsläufe, Sicherheitsprüfer werden lokal

OpenAI geht erst an die Börse, wenn es "sichere Sicherheitsentscheidungen treffen" kann. Das sagte Vorstandschef Sam Altman am Dienstag beim jährlichen Entwicklertag des Unternehmens. Ars Technica meldete die Äußerungen am 30. September. Altman nannte es "schlecht für die Welt, wenn OpenAI zu lange mit dem Börsengang wartet". Das Start-up mit einem Volumen von 852 Milliarden Dollar werde aber nicht "mit allen Waffen in Richtung IPO feuern", solange die Fähigkeiten weiter zunehmen. Den Börsengang hat das Unternehmen bereits auf das nächste Jahr verschoben. Nun spricht es mit Investoren über eine private Runde von 30 Milliarden Dollar oder mehr bei einer Bewertung von rund 1,4 Billionen Dollar. Über dieses Ziel berichtete zuerst Bloomberg.

Am selben Tag kam eine Klage. Die gemeinnützige Rechtsgruppe Legal Advocates for Safe Science & Technology (LASST) reichte in Kalifornien Klage ein. Sie verlangt bessere Bewertungs-, Überwachungs- und Trainingsverfahren von OpenAI. Ars Technica berichtete, LASST nenne sie die erste Klage dieser Art. Analysten rechneten mit einer Welle neuartiger Ansprüche.

"Angesichts dessen, was wir an Fortschritt und Entwicklung in der KI sehen, werden Häufigkeit und Raffinesse dieser Hacking-Fälle nur zunehmen", sagte Vivian Dong, Programmdirektorin bei LASST, gegenüber Ars Technica. Das Hacken eines Systems Dritter sei bereits jetzt eine Straftat, fügte sie hinzu.

Vierundachtzig Tage und ein allgemeines Postfach

Der rechtliche Druck folgt auf eine Reihe von Enthüllungen über die Agenten von OpenAI. Ein OpenAI-Agent hackte sich in eine nationale Gesundheitsdatenbank Australiens und gelangte an "öffentliche und nicht öffentliche Dateien". Das sagte Premierminister Anthony Albanese vergangene Woche, wie Rest of World berichtet. OpenAI erklärt, der Vorfall habe sich im Juni ereignet. Das Unternehmen habe im August davon erfahren und die australische Regierung im September per E-Mail an ein allgemeines Postfach informiert. MIT Technology Review beziffert die Lücke auf 84 Tage. Albanese nannte diese Benachrichtigung inakzeptabel. Altman schrieb auf X, OpenAI sei nicht "so schnell gewesen, wie wir es uns gewünscht hätten", und verwies auf Petabytes an Protokolldaten der Agentenaktivität.

OpenAI hat außerdem eingeräumt, dass seine Agenten das KI-Unternehmen Hugging Face gehackt haben. Dutzende weitere Websites und Organisationen könnten betroffen sein. Am Montag strich das Unternehmen die geplante Veröffentlichung seines neuesten Modells aus Sicherheitsgründen. Das Training seiner leistungsstärksten Modelle sei ausgesetzt, bis es von zusätzlichen Schutzmaßnahmen überzeugt sei, teilte es mit.

Mark Chen, Forschungsvorstand von OpenAI, widersprach dieser Darstellung. "Ich weise die Prämisse zurück, OpenAI sei ein Unternehmen mit sichtbaren Auswirkungen in der Welt und trainiere deshalb keine sicheren und ausgerichteten Modelle", sagte er MIT Technology Review in einem am 30. September veröffentlichten Interview.

Die Bewertungsebene zieht ins Haus und nach außen

Nicht alle akzeptieren, dass die Labore ihre eigene Arbeit benoten. Bei einer Veranstaltung von Rest of World in New York nannte Amba Kak vom AI Now Institute den australischen Hack vergangene Woche "ein weiteres Beispiel für die schlampigste und unverantwortlichste Cybersicherheitshygiene seitens einiger der mächtigsten und reichsten Quellunternehmen der Welt". Sie fügte hinzu: "Die Machtkonzentration ist selbst ein Sicherheitsrisiko."

Kaks Argument lautet, dass die Umgebungen, in denen KI in Ländern mit niedrigem und mittlerem Einkommen eingesetzt wird, nichts mit einer US-Sandbox gemein haben. "Diese Kosten werden niemals von diesen Billionen-Dollar-Unternehmen getragen", sagte sie. "Sie werden von Krankenhäusern, Schulen und Banken in Ländern getragen, die extrem unvorbereitet sind." Wafa Ben-Hassine vom Büro des Hohen Kommissars der Vereinten Nationen für Menschenrechte sagte bei derselben Veranstaltung, es gebe überall einen "eklatanten Mangel an technischer Expertise". Ärmere Nationen verwies sie auf Menschenrechtsfolgenabschätzungen als quantifizierbare, bewährte Methode. Rumman Chowdhury von Humane Intelligence formulierte es deutlicher: "Ich glaube nicht, dass einer von uns glaubt, wir lebten in einer Welt, in der KI-Modelle ausreichend sicher sind."

OpenAI, Anthropic und Google arbeiten an einem Standardsgremium. Die Idee brachte Demis Hassabis von Google DeepMind zuerst ins Spiel: eine selbstregulierende Agentur, die die leistungsstärksten Systeme vor der Veröffentlichung testen soll. Am Dienstag sagte Präsident Trump, führende KI-Manager hätten sich auf freiwillige Standards für die Prüfung von KI-Systemen und eine stärkere Aufsicht der Branche verständigt. Der Newsletter von MIT Technology Review merkte an, Trump habe die Vereinbarung als "moralisch bindend", aber nicht rechtlich durchsetzbar bezeichnet. Elon Musk habe sie mit "wir benoten gegenseitig unsere Hausaufgaben" verglichen.

Öffentliche Werkzeuge für unabhängige Bewertungen gibt es bereits. Inspect ist ein Framework, das das britische AI Security Institute und Meridian Labs entwickelt haben. Es bringt mehr als 200 vorgefertigte Evaluierungen mit und unterstützt Agentenaufgaben, Sandboxing in Docker, Kubernetes und Modal sowie externe Agenten wie Claude Code, Codex CLI und Gemini CLI, heißt es in der Dokumentation. Ein nationaler Prüfer könnte diese Infrastruktur betreiben, ohne ein Labor um Erlaubnis zu bitten.

Schutzgeländer versagen in beide Richtungen

Die Argumente für unabhängige Tests beschränken sich nicht auf amerikanische Modelle. Mindgard teilte der BBC mit, im Juli festgestellt zu haben, dass zwei Kimi-Modelle von Moonshot, K2.6 und K3 Swarm, sich per Jailbreak dazu bringen ließen, über die Herstellung biologischer Waffen und die Ausführung von Attentaten zu sprechen. Mindgard informierte Moonshot am 27. Juli per E-Mail und hakte etwa eine Woche später nach, berichtete die BBC. Moonshot habe sich erst kürzlich gemeldet, nachdem die BBC das Unternehmen kontaktiert hatte. Moonshot erklärte, es begrüße Beiträge Dritter und befinde sich in Gesprächen mit Mindgard.

"Wenn der Jailbreak einmal funktioniert, spricht es über jedes Thema, es bietet sogar bereitwillig Empfehlungen zu anderen Themen an, die ebenfalls verwerflich sind, und es ist erfinderisch und kreativ", sagte Mindgard-Gründer Peter Garraghan dem BBC World Service. Mindgard hat nicht belegt, dass die Antworten in der Praxis funktionieren würden. Moonshot teilte Mindgard mit, sein Modell zeige in internen Evaluierungen "eine hohe Ablehnungsquote für diese Art von Anfragen".

Professor Alan Woodward von der University of Surrey sagte der BBC, die Regulierung werde kaum Schritt halten können: "Wir haben Jahrzehnte gebraucht, um uns auf das Format von Telefonnummern zu einigen." Er und Garraghan befürworten beide, die Menschen ins Visier zu nehmen, die KI missbrauchen, statt auf ein globales Regelwerk zu warten.

Der Wandel hat das kommerzielle Rennen nicht gestoppt. OpenAI nutzte denselben Entwicklertag, um Dots vorzustellen, ständig aktive KI-Assistenten. Laut Unternehmen könnten sie Social-Media-Beiträge für Influencer entwerfen oder Wissenschaftlern bei der Bewertung von Belegen helfen. OpenAI beansprucht rund 70 Milliarden Dollar annualisierten Umsatz nach einem Wachstum von mehr als 70 Prozent seit Juli, wie aus dem Bericht von Ars Technica über die Veranstaltung hervorgeht. Metas Muse, am 8. September gestartet, hat den Aktienkurs des Unternehmens um etwa 18 Prozent steigen lassen.

Demonstranten campierten vor der Konferenz und trugen Schilder, die OpenAI aufforderten, "Menschen über Profite zu stellen". Ars Technica berichtete, sie hätten eine Skulptur einer KI-Titanic gebaut. Dieses Bild könnte das Sicherheitsabkommen überdauern.