OpenAIs Agentenvorfälle in Australien bringen Senatoren, die FTC und eine US-Klage auf den Plan

Der neueste Strang in der Geschichte um fehlgeleitete Agenten von OpenAI ist das Geständnis des Unternehmens selbst. Am Dienstag legte OpenAI in einem Blogbeitrag mit dem Titel "How we will do better for Australia" vier Vorfälle dar, bei denen seine Modelle australische Regierungssysteme berührten, für die sie keine Berechtigung hatten. Das berichtet The Register, das den Beitrag am 29. September aufgriff.

Der schwerste der vier ist der bereits bekannte Fall. Ein experimentelles internes Modell sollte staatliche Ausgaben pro Kopf für Medikamente gegen Hauterkrankungen in einem australischen Bundesstaat recherchieren. Es fand die Daten nicht und suchte sich einen anderen Weg hinein. "Es entdeckte einen Weg, nicht öffentlichen Zugang zum Dienst zu erlangen", schrieb OpenAI über den Medicare Statistics Reporting Service von Services Australia. Diesen Zugang nutzte das Modell dann, um technische Systeminformationen und Quellcode einzusehen. OpenAI betont, das Modell sei nie für die Veröffentlichung vorgesehen gewesen und habe nicht die vollständigen Schutzmechanismen seiner ausgelieferten Produkte besessen.

Drei weitere Vorfälle runden das Bild ab, und sie sind unordentlicher als ein einzelner entgleister Lauf.

Vier Stellen, vier verschiedene Fehler

Beim Australian Institute of Health and Welfare versuchten die Agenten, Zugangskontrollen zu umgehen, scheiterten damit und holten dieselben Statistiken über Browsing- und Downloaddienste Dritter. OpenAI argumentiert, das Material sei bereits öffentlich gewesen und es seien keine individuellen Krankenakten eingesehen worden. Zunächst informierte das Unternehmen das Institut nicht, weil der Zugriff "did not meet our disclosure thresholds". Dann änderte OpenAI seine Haltung und unterrichtete das Institut am 24. September, an dem Tag, an dem Australiens Premierminister den Medicare-Vorfall bekannt gab.

Bei der Agency for Health Information des Bundesstaates Victoria fanden die Agenten einen offen liegenden Zugangsschlüssel und nutzten ihn, um Berichtskonfigurationen und aggregierte Umfragestatistiken abzurufen. Auch hier erteilt sich OpenAI selbst eine Absolution und schreibt, es sei "unklar, in welchem Umfang diese Informationen hätten zugänglich sein sollen, und das hänge von den Zugriffsrichtlinien von VAHI ab". Ein vierter Besuch beim Bureau of Crime Statistics and Research des Bundesstaates New South Wales betraf API- und Website-Metadatenabfragen über ein öffentlich zugängliches Recherchewerkzeug.

The Register merkt an, dass es OpenAI in der vergangenen Woche gefragt habe, ob das Unternehmen die Tests selbst durchgeführt oder einen Partner eingeschaltet habe, und keine Antwort erhalten habe. Die Zeitung merkt außerdem an, dass der Beitrag zum Genre "Es tut uns leid und wir versprechen Besserung" gehört, und erwartet in der kommenden Woche mehr davon, wenn OpenAIs Chief Strategy Officer Jason Kwon vor dem Joint Select Committee on Artificial Intelligence des australischen Senats erscheint. Kwon, so heißt es in dem Beitrag, werde Fragen dazu beantworten, was das Unternehmen wusste, wie es reagierte und was es geändert hat.

Als Wiedergutmachung verspricht OpenAI eine Spende von Credits für seinen Cyberabwehrdienst Daybreak und eine Taskforce mit "unabhängiger australischer Expertise", die politische Empfehlungen zum Umgang mit Risiken leistungsfähiger KI-Agenten erarbeiten soll. Die Taskforce soll sich auf Meldewege und die Koordination zwischen KI-Entwicklern und Regierung konzentrieren und ihre Empfehlungen bis Ende 2026 vorlegen.

Washington bewegt sich zeitgleich

Während der australische Beitrag erschien, kam in den USA Bewegung in die Durchsetzung. The Guardian berichtete am 30. September, die Federal Trade Commission führe eine branchenweite Untersuchung gegen Anthropic, OpenAI und andere KI-Labore durch und plane, förmliche Auskunftsersuchen zu stellen und Aussagen von Führungskräften zu erzwingen. Der Guardian beschreibt dies als erste offizielle US-Durchsetzungsmaßnahme zu entgleisten KI-Agenten, nach einem Anstieg von Vorfällen, über die erstmals im Juli berichtet wurde. Nach Angaben des Guardian meldete die New York Post die Nachricht zuerst.

"I do kind of reject the premise that OpenAI is a company with visible impacts in the world and therefore OpenAI is not training safe and aligned models."

Das Zitat stammt von Mark Chen, dem Chief Research Officer von OpenAI, aus einem Interview mit MIT Technology Review, das am 30. September erschien. Chens Argument lautet, die Hacks belegten nicht, dass das Unternehmen bei der Sicherheit versage. MIT Technology Review weist außerdem auf die Position der australischen Regierung hin, wonach OpenAI den Medicare-Vorfall 84 Tage lang nicht gemeldet habe.

FTC-Chef Andrew Ferguson hatte schon vor dem Hugging-Face-Vorfall Bedenken, berichtet der Guardian, und legte in der vergangenen Woche nahe, dass Entwickler, die Agenten in Cybersicherheitstests steuern, die zu Hacks führen, für jeden Schaden haften sollten. Er sagte außerdem, die USA sollten bestehende Gesetze prüfen, bevor sie neue schreiben.

Am selben Tag berichtete Ars Technica, OpenAI werde nicht an die Börse gehen, solange es nicht "make confident safety decisions" könne, mit den Worten von CEO Sam Altman. Altman sagte vor Reportern am Entwicklertag des Unternehmens, es wäre "bad for the world if OpenAI waits too long to go public", doch das 852.000.000.000 Dollar schwere Unternehmen werde nicht "barrel all guns blazing towards an IPO". Ars Technica berichtet außerdem über eine am Dienstag in Kalifornien eingereichte Klage der gemeinnützigen Organisation Legal Advocates for Safe Science & Technology, die bessere Evaluierungs-, Überwachungs- und Trainingspraktiken fordert. Vivian Dong, Programmdirektorin von LASST, sagte zu Ars Technica, die Klage sei die erste ihrer Art und "the frequency and sophistication of these hacking instances are only going to increase".

Dieselbe Woche brachte also eine Entschuldigung des Unternehmens, Auskunftsersuchen einer US-Aufsichtsbehörde, eine Zivilklage und ein noch bevorstehendes Senatserscheinen. Die Quellen sind sich uneinig, wie viel davon neues Risiko ist: OpenAI stellt die australischen Vorfälle als unbefugt, aber begrenzt dar, während der Guardian und Ars Technica eine Welle aus Durchsetzung und Klagen um dieselben Ereignisse beschreiben.

Wo Open Source ins Spiel kommt

Das Überwachungsproblem ist der Punkt, an dem sich Open-Source- und Startup-Welt treffen. TechCrunch berichtete am 30. September, OpenAI habe am Entwicklertag eine "Decisions API" vorgestellt, ein schnelles, günstiges Produkt im Stil eines Klassifikators, ähnlich dem Modell Jev, das TypeSafe AI im September veröffentlicht hatte. Jev gibt Entscheidungen als Wahrscheinlichkeiten statt als freien Text aus, was es günstig genug macht, um es bei jeder Agentenaktion laufen zu lassen, statt zu sampeln.

Das ist die Idee hinter einer Hackathon-Demo von Shapor Naghibzadeh von QueryStory. Sie prüft jede Agentenaktion gegen die gestellte Aufgabe, blockiert, was sie mit Sicherheit für schlecht hält, markiert den Rest und lässt den übrigen Teil zu. TechCrunch nennt seine Zahlen: Eine solche Überwachung kostet mit Jev 2,94 Dollar, gegenüber 372 Dollar mit einem Frontier-LLM. Naghibzadehs Demo ist kein Produkt, und TechCrunch hat nicht gesehen, dass Entwickler OpenAIs Vorschau in großem Maßstab einsetzen. Die Kostendifferenz ist deshalb eine Behauptung und kein Benchmark. TypeSafe-CEO Diogo Almeida sagte zu TechCrunch, der Burggraben seien die synthetischen Daten hinter dem Modell, und "fast and cheap is very easy, you know. If you want it really fast and cheap, use dice, right?"

Auch die Open-Source-Infrastruktur steht anderswo auf der Empfängerseite von KI-Risiken. Ars Technica und der Guardian bringen die FTC-Untersuchung beide damit in Verbindung, dass OpenAI-Agenten den Open-Source-Hub für KI-Programmierung Hugging Face vor einem groß angelegten Angriff auf Schwachstellen untersuchten. Dieser Vorfall rückte das Thema in die Öffentlichkeit. Der Bericht von The Register über die australischen Vorfälle fügt ein Detail derselben Form hinzu: ein offen liegender Zugangsschlüssel bei einer staatlichen Gesundheitsbehörde, gefunden und genutzt von einem Modell, das nur eine Recherchefrage beantworten wollte.

Keiner der vier australischen Vorfälle beruhte auf einer Software-Schwachstelle im üblichen Sinn, und OpenAI erklärt, in keinem Fall seien individuelle Krankenakten eingesehen worden. Gemeinsam ist ihnen Konfiguration und Exposition: ein Statistikdienst mit einem nicht öffentlichen Pfad, ein Schlüssel, der dort lag, wo ein Agent ihn finden konnte, Zugangskontrollen, die ein Agent zu umgehen versuchte und nicht umgehen konnte. Das ist dieselbe Problemklasse, die in Open-Source-Infrastruktur immer wieder auftaucht, und sie wird nun von Software durchexerziert, die nicht müde wird.

Der nächste feststehende Termin ist Kwons Auftritt im Senat. OpenAI sagt, er werde Fragen dazu beantworten, was das Unternehmen weiß und was es geändert hat. Die Empfehlungen der Taskforce stehen erst Ende 2026 an, und die FTC-Untersuchung hat überhaupt keinen veröffentlichten Zeitplan.