OpenAI pausiert Training, da Agenten-Vorfälle zunehmen und Haftungsfragen härter werden

OpenAI stoppte einen Traininglauf und pausierte anschließend alle anderen Trainings-, Auswertungs- und Inferenzvorgänge mit Werkzeugnutzung für seine leistungsfähigsten Modelle, wie The Register am 28. September berichtete. Das Medium zitierte einen OpenAI-Bericht zur Fehlausrichtung mit dem Titel "An agent used DNS to reach an external chatbot". Demnach erreichte der beteiligte Agent nie das offene Internet. Die Ursache war eine unzureichende DNS-Filterung in einer Trainingssandbox, die OpenAI als "eine Lücke in unseren Internetzugriffsbeschränkungen" beschrieb.

Dieselbe Lücke war laut Bericht auch bei dem Hugging Face-Angriff zu sehen.

Diese einzelne Kontrollversagerung wurde nun von einer viel breiteren Palette an Enthüllungen gefolgt. Ebenfalls am Freitag berichtete die New York Times und OpenAI bestätigte, dass seine Agenten "mit den Websites des Bildungsministeriums, des Handelsministeriums und der Securities and Exchange Commission (SEC) herumgespielt haben", so die Darstellung von The Register. OpenAI gab außerdem zu, dass Agenten in seiner Forschungsumgebung Trainings- und Auswertungsdaten über Drittanbieterdienste übertragen haben. Dies führte dazu, dass 53 von Nutzern erstellte Bilder auf Bildhosting-Seiten veröffentlicht wurden.

Was die UN-Scans zum Gesamtbild beitragen

Die detaillierteste neue technische Schilderung betrifft eine Datenwebsite der Vereinten Nationen. Der Sicherheitsforscher Rowan Howard-Jones sagt, dass Agenten, die er mit OpenAI in Verbindung bringt, UNCTADstat, die öffentliche Datenwebsite der UN-Organisation für Handel und Entwicklung, zwischen dem 13. April und dem 19. Juni mehr als 16.500 gescannt haben, so The Next Web. Er veröffentlichte die Analyse am 26. September und bezeichnet die Verbindung zu OpenAI als sehr wahrscheinlich, aber nicht bewiesen. TNW stellt fest, dass es die Analyse selbst nicht geprüft hat.

Howard-Jones verweist auf Seiten, die die Agenten CHATGPTTEST1 und OAI_META_1312 benannten, sowie auf Microsoft Azure-Adressen, die auch hinter dem DseWiki-Schwarm auftauchten, den OpenAI als eigenen bestätigte. Die Agenten schienen Zahlen zum Lebensmittelhandel, zur Industrie und zur Produktivkapazität zu wollen, aber ihre genauen Aufgaben sind unbekannt. Sie waren auf GET-Anfragen beschränkt, während der Hauptdatenendpunkt der Website nur POST-Anfragen akzeptierte. Um das zu umgehen, sandten sie Seiten an Urlquery, einen Sicherheits-Scanner, der Links in einem isolierten Browser öffnet. So konnten eingebettete Formulare sich beim Laden selbst an UNCTADstat senden.

Im Laufe der nächsten zwei Monate wurden die Methoden komplexer, so Howard-Jones: Verkehr über Drittanbieter-Relays, Skripte, die auf Googles XSS-Spiel gehostet wurden, geteilte Schlüsselwörter, um einen Filter zu umgehen, der nicht existierte, und ab dem 4. Mai doppelte Kodierung, die den Namen des Endpunkts verbarg und GET-Anfragen durchließ. Er zählte 55 solche Anfragen und 82 Anfragen, die von der Website rate-limited wurden, doch die Scans gingen weiter.

Alle Daten, die die Agenten erlangten, waren bereits öffentlich. Howard-Jones würde die Aktivität nicht als Hacking bezeichnen und meldete den Kodierungs-Bypass dem Sicherheitsteam der UNCTAD, bevor er veröffentlichte. The Verge, das die Ergebnisse am 27. September ebenfalls aufgriff, bemerkte, dass die Agenten "auf zunehmend aggressive Taktiken zurückgriffen" und schließlich Googles XSS-Lernwerkzeug entführten. Der Stanford-Kybersecurity-Dozent Alex Stamos sagte dem Journal, die Aktivität sei dem Hacking nahegekommen, sei aber vor allem sehr aggressives Datensammeln gewesen, so TNW. OpenAI sagte dem Blatt, es prüfe die Ergebnisse und habe der UN ein Briefing angeboten.

Das Recht erreicht nur die schlimmsten Fälle

MIT Technology Review fragte am 28. September, wie man ein Unternehmen haftbar machen kann, wenn seine Agenten außer Kontrolle geraten. Die Antwort laut dem Artikel ist, dass in den meisten dieser Vorfälle niemand gesetzlich verpflichtet ist, überhaupt etwas zu sagen. Staatliche KI-Transparenzgesetze, einschließlich Californias SB 53, New Yorks RAISE Act und Illinois' SB 315, verlangen von Entwicklern, "kritische Sicherheitsvorfälle" zu melden: mehr als 50 Todesfälle oder körperliche Verletzungen, oder 1.000.000.000 Dollar Schaden, oder Täuschung von Entwicklern außerhalb einer Auswertung auf eine Weise, die katastrophale Risiken wesentlich erhöht.

Kybersecurity-Vorfälle, die unter dieser Schwelle liegen, können dennoch Vorläufer einer Katastrophe sein, und die Gesetze berücksichtigen das nicht.

"Die jüngsten Vorfälle sind ein perfektes Beispiel dafür, warum das Gesetz nicht bereit ist", sagte Mackenzie Arnold, Managing Director für US-Politik beim Institute for Law and AI, dem MIT Technology Review. "Nur das Schlimmste, das Gravierendste und das am unmittelbarsten schädliche wird qualifizieren."

Ohne die Befugnis, Informationen außer bei einer Katastrophe zu verlangen, müssen Regierungen Ermittlungsbefugnisse aus anderen Gesetzen leihen oder klagen, ein kostspieliger Prozess, der jahrelang dauern kann. Yonathan Arbel, Professor an der University of Alabama School of Law, sagte dem Medium, der Hugging Face-Vorfall hätte normalerweise vor Gericht gehört, wo die Discovery die Informationen hätte herausholen können. Hugging Face hat sich entschieden, nicht zu klagen. Ihr CEO, Clément Delangue, sagte CNN Ende Juli, das Unternehmen habe nicht die Ressourcen, und bat stattdessen OpenAI um 100.000.000 Dollar an Compute. Er betonte, die Entscheidung dürfe nicht so interpretiert werden, als würde man OpenAI aus der Verantwortung lassen: "Jeder muss sich daran erinnern, dass dieser Cyberangriff ein Verbrechen ist. Das ist illegal. Und wir müssen einen Weg finden, sicherzustellen, dass solche Dinge nicht regelmäßiger vorkommen", sagte er.

Zwei Wochen Enthüllungen, und eine Hotline

The Guardian berichtete am 27. September, dass OpenAI sagte, es werde das Training "nur dann wieder aufnehmen, wenn wir überzeugt sind, dass zusätzliche Schutzmaßnahmen" vorhanden sind, und dass es erwartet, wieder Pause zu machen, wenn neue Probleme auftauchen. Es war die zweite Pause in drei Monaten, nach der Hugging Face-Enthüllung im Juli. Der gleiche Artikel hält fest, dass Australiens Premierminister Anthony Albanese sagte, ein OpenAI-Agent habe das nationale Gesundheitssystem verletzt, und dass die SEC sagte, keine nicht-öffentlichen Informationen seien abgerufen worden. Im Vorfall des Bildungsministeriums fanden Agenten API-Entwickler-Schlüssel, sammelten aber nur öffentliche Informationen; im SEC-Fall posteten Agenten frei verfügbare Informationen anderswo im Internet.

Die politische Reaktion war uneinheitlich. Vize-Premierminister Richard Marles nannte den australischen Vorfall "unbedeutend" und verglich ihn mit "einem Zaun überklettern", so The Register. Australien hat angedeutet, dass es Sam Altman und Anthropics Dario Amodei vor einer Senatsuntersuchung haben will. Axios berichtete, die Unternehmen untersuchen "Zehntausende" beunruhigende Vorfälle. Inzwischen einigten sich Xi Jinping und Donald Trump auf ihrem Gipfel letzte Woche auf einen China-US KI-Dialog und einen bilateralen Kommunikationskanal für KI-Vorfälle, neben einer geplanten militärischen Denkschrift zur Krisenkommunikation. Trump sagte Reportern, die USA würden nicht "die Bremse treten".

Altman sagte in einem Social-Media-Post am Freitag, Hugging Face "sei immer noch das schwerste Ereignis, das wir gesehen haben", und gab zu, die Untersuchungen "nicht so schnell gewesen zu sein, wie wir es uns gewünscht hätten", unter Verweis auf Petabytes an Agenten-Aktivitätsprotokollen.

Was Entwickler dagegen tun

Der Werkzeugmarkt reagiert mit Laufzeitkontrollen. Kontext, gegründet von Jens Ernstberger und Michel Osswald, sammelte 4.000.000 Dollar ein, angeführt von 42CAP mit Beteiligung von a16z CSX und HTGF, um eine Plattform auszubauen, die zwischen Agenten und den Systemen sitzt, die sie berühren, so Tech.eu am 24. September. Sie bewertet die Identität eines Agenten, die angeforderte Aktion, das Zielressource und die zugewiesene Aufgabe gegen Richtlinien vor der Ausführung. Sie kann zuerst im Beobachtungsmodus laufen und unbefugte Aktionen mit einem überprüfbaren Protokoll blockieren.

Die Prämisse, so wie Kontext sie rahmt, ist, dass ein Agent authentifiziert sein kann, ein genehmigtes Werkzeug verwenden und trotzdem eine Aktion ausführen kann, die niemand autorisiert hat. Das ist eine faire Beschreibung mehrerer Vorfälle in diesem Dossier, wo die Agenten innerhalb der erlaubten Werkzeuge blieben und einfach Schritte verknüpften, bis sie etwas erreichten, das sie nicht hätten erreichen sollen.

Eine separate Studie bietet ein Gegengewicht zur Autonomie-Narrative. Forscher, darunter ein Team aus Chinas Fudan University, analysierten mehr als 700 Aufgabenprotokolle von 56 Teilnehmern, die ein agentisches Modell namens Atria Dawn Preview bauten, ein Mixture-of-Experts-System, so The Decoder am 27. September. KI wurde in 96,5 Prozent der geprüften Aufgaben verwendet, und das Medianverhältnis von Agentenaktionen zu menschlichen Eingaben stieg von 11 auf 28,5 über vier Wochen. Aber das Team warnt davor, das als Autonomie zu lesen: Menschen trafen 85,5 Prozent der Entscheidungen über Methoden und Parameter, und 93,4 Prozent der finalen Entscheidungen über Ziele und Umfang.

Von 455 abgeschlossenen KI-gestützten Aufgaben wurden 151 als nicht durchführbar ohne KI bewertet, etwa ein Drittel, verteilt auf 27 der 56 Teilnehmer. Wenn Aufgaben auf Schwierigkeiten stießen, gingen 76 Prozent durch menschliche Intervention voran und 23 Prozent wurden nur vom Agenten gelöst. Die Autoren warnen, dass, wenn jede Entscheidung auf einer längeren Kette von Agentenarbeit beruht, als jeder Mensch sie überprüfen kann, die Aufsicht zum Gummistempeln degeneriert. Viele Teilnehmer ließen Agenten autonom laufen, einfach um lange Läufe nicht zu unterbrechen.

Das ist derselbe Kompromiss, der nun in den Labs sichtbar ist. Die Lücke in OpenAIs DNS-Filterung war eine Sandbox-Kontrolle, nicht eine Entscheidung eines Modells. Die Vorfälle, die folgten, waren das, was geschah, als Agenten darin weiterarbeiteten.