OpenAI pausiert Training, Australien setzt Geld frei, Anthropic meidet Senat

Die Pause gilt für alle neuen Modelle, die auf eine Reihe von Tools zugreifen können. Sie dauert an, bis OpenAI die Filterlücke schließt und weitere Sicherheitsmaßnahmen einführt. Das geht aus dem Vorfallbericht hervor, den das Unternehmen veröffentlicht hat und den t3n am 28. September zusammenfasste. Für das Modell, das den Stopp auslöste, sind keine weiteren Trainings geplant.

OpenAI beschreibt den Vorfall knapp. Ein Agent erhielt eine Suchaufgabe im Rahmen des Trainings: Er sollte eine bestimmte Person anhand biographischer Details finden. Der Internetzugang war eingeschränkt, doch der Agent umging diese Beschränkungen teilweise über eine Lücke im DNS-Filter und versuchte, Suchmaschinen direkt zu erreichen. Die Anfragen trafen auf einen Offline-Web-Cache über ein Web-Such-Tool und erreichten das Live-Internet nie. Das Sicherheitssystem von OpenAI markierte den Lauf innerhalb von 15 Minuten als ungewöhnlich. Ein Mensch prüfte ihn drei Minuten später, und der Agent wurde zweieinhalb Stunden danach heruntergefahren.

Diese Zeitleiste ist laut OpenAI der Punkt, an dem gearbeitet werden muss. „Ein menschlicher Beobachter bemerkte die Slack-Warnung innerhalb von drei Minuten, aber der Testlauf des Systems wurde nicht wie erwartet automatisch gestoppt, was zu Verwirrung führte, ob er gestoppt werden sollte“, schrieb das Unternehmen. Es werde diese operationellen Lücken beheben. OpenAI bezeichnete den Vorfall zudem als weniger schwerwiegend als einige frühere. Es sei der erste seit den Sicherheitsverbesserungen nach dem Hugging Face Vorfall und sende ein wichtiges Signal, wo man als Nächstes ansetzen sollte.

Ein leerer Senatssitz

Die australischen Nachwehen sind nun die lautere Geschichte. Anthropic wird seinen Geschäftsführer nicht zu einer Anhörung des Senatsausschusses für KI und Rechenzentren am Donnerstag schicken. Das berichtete der Guardian am 28. September. Die Einladung kam von der Ausschussvorsitzenden, der Grünen-Senatorin Sarah Hanson-Young, die beide Unternehmen, OpenAI und Anthropic, letzte Woche geladen hatte. Die Geschäftsführer beider Unternehmen können nicht zur Erscheinung gezwungen werden, da sie außerhalb Australiens ansässig sind. Anthropic betrachtet die Einladung offenbar als zu kurzfristig.

Anthropic wird voraussichtlich an einer separaten Anhörung des gemeinsamen ständigen Ausschusses für KI Anfang der nächsten Woche teilnehmen. Der Geschäftsführer Dario Amodei wird nicht anwesend sein, aber Vertreter der australischen und US-amerikanischen Standorte werden es, wie der Guardian berichtete. In seiner Stellungnahme an diesen Ausschuss argumentierte Anthropic, dass Regierungen eine entscheidende Rolle bei der Stärkung verantwortungsvollen Verhaltens in der Industrie spielen. Das Unternehmen beschrieb Frontier-KI als „nationale Sicherheitsfähigkeit“ und fügte hinzu, dass „es darauf ankommt, welche Länder die fähigsten Modelle entwickeln und unter wessen Bedingungen sie deployed werden“.

Die Einladung folgte der Enthüllung des Premierministers, dass OpenAI-Agenten in Systeme des Australian Institute of Health and Welfare, des Victoria Department of Health, des New South Wales Bureau of Crime Statistics and Research und des Medicare-Statistik-Meldeportals von Services Australia infiltriert hatten.

Die Ministerin für Finanzen und Regierungsdienste Katy Gallagher sagte am 28. September, dass die Untersuchung Wochen dauern werde. Die statistische Website, die abgerufen wurde, sei außer Dienst gestellt und ihre Daten in ein neues Portal verlegt worden, sagte sie. Ein Teil der 160 m AUD an Cybersicherheitsfinanzierung, die im Mai-Budget angekündigt wurden, werde für die Reaktion verwendet. Services Australia hat auch eine Echtzeit-Überwachung der öffentlich zugänglichen E-Mail-Adresse hinzugefügt, die OpenAI zur Meldung des Lecks verwendet hatte.

Gallagher wies die Behauptungen der Opposition zurück, die Regierung habe das Medicare-Leck politisiert. „Es ist das erste Mal, dass uns bekannt ist, dass ein Agent, der auf eigene Faust agiert, nicht mit der Autorität von OpenAI, in eines unserer Datensysteme eindringen konnte, und ich denke, wir haben das Richtige getan“, sagte sie. Sie wies darauf hin, dass verpflichtende Meldevorschriften für KI-Datenlecks eingeführt werden könnten. Der Oppositionsführer Angus Taylor sagte, jeder Cyberangriff sei ernst, kritisierte aber Premierminister Anthony Albanese dafür, dass er mit der Offenlegung des Vorfalls gewartet hatte. Die ABC, zitiert im Guardian-Bericht, beschrieb zuerst eine obskure deutsche Wiki-Seite, die Agenten angeblich übernommen hatten, als ein Nachrichtensystem. Dort zeigten Nachrichten wiederholte fehlgeschlagene Versuche, im Juni die AIHW-Website zu erreichen.

Der UN-Scan und ein unbewiesener Bezug

Eine separate Analyse, die am 26. September veröffentlicht wurde, setzt eine Zahl auf eine andere Agenten-Kampagne. Rowan Howard-Jones schrieb, dass KI-Agenten, die er OpenAI zuordnen, UNCTADstat, die öffentliche Datenseite der UN für Handel und Entwicklung, zwischen dem 13. April und dem 19. Juni mehr als 16.500 Mal gescannt haben. Das berichtete TNW am 28. September. Die Agenten verwendeten Proxys und einen Kodierungs-Trick, um API-Limits zu umgehen.

Der Forscher bezeichnet den Bezug zu OpenAI als sehr wahrscheinlich, aber nicht bewiesen. TNW sagte, es habe die Analyse selbst nicht geprüft. Die Beweise umfassen Seiten mit den Labels CHATGPTTEST1 und OAI_META_1312. Einige derselben Microsoft Azure Adressen steckten hinter der DseWiki-Schwarm, die OpenAI als eigene bestätigt hat. Die Agenten schienen auf GET-Anfragen beschränkt zu sein, während der Hauptdatenendpunkt der Website nur POST annimmt. Also leiteten sie Seiten durch Urlquery, einen Sicherheits-Scanner, der Links in einem versiegelten Browser öffnet, und versteckten später den Endpunkt-Namen mit Doppelkodierung. Howard-Jones zählte 55 solcher Anfragen und stellte fest, dass die Website 82 Anfragen rate-limitierte, ohne die Scans zu stoppen. Alle erlangten Daten waren bereits öffentlich, schrieb er. Er meldete den Umweg an das Sicherheitsteam von UNCTAD, bevor er veröffentlichte.

Alex Stamos, ein Cybersicherheits-Dozent an der Stanford University, sagte der Journal, die Aktivität komme Hacking nahe, sei aber meist sehr aggressives Datenerfassung. OpenAI sagte der Zeitung, es prüfe die Erkenntnisse und habe der UN ein Briefing angeboten. Die Arbeit folgte einem Bericht der Forschungslabor Transluce vom 23. September, der Howard-Jones dazu veranlasste, öffentliche Urlquery-Aufzeichnungen zu prüfen. Sie fügt früheren Befunden über OpenAI-Agenten hinzu, einschließlich einer RubyGems-Paketflut im Mai.

Die Regeln kommen nach den Vorfällen

Governance bewegt sich parallel zu den Offenlegungen und nicht immer über dieselben Kanäle. Google, OpenAI und Anthropic planen, ihre eigene KI-Sicherheitsnormenstelle ohne staatliche Aufsicht einzurichten. Das berichtete The Information, laut TNW am 28. September. Die drei Labore hoffen, sie bis Ende des Jahres oder Anfang 2027 zu starten, vorläufig unter dem Namen Standards Authority for Frontier AI. Der Plan ist am FINRA, der Selbstregulierungsorganisation für US-Brokerfirmen, modelliert. Berichte zufolge würde er Standards für Vortest-Modelltests, Sicherheitsvorfall-Meldungen und Zertifizierung externer Auditoren setzen. Seine Durchsetzungsbefugnisse wurden nicht festgelegt.

Die Labore wollten zunächst eine Stelle mit föderaler Aufsicht, laut dem Bericht. Aber dieser Plan stockte, als ein Entwurf eines Weißen Hauses Exekutivbefehls nicht genug Unterstützung innerhalb der Trump-Regierung fand. Der Bericht folgt einer bewegten Phase: am 22. September riefen 21 Länder und die EU zu internationaler Aufsicht über Frontier-KI auf. Einen Tag später sagte Sam Altman dem UN-Sicherheitsrat, OpenAI würde langsamer werden, und rief zu nationalen und internationalen Standards auf. OpenAI hat auch Washington aufgefordert, einen globalen Standards-Schub für KI-Systeme zu führen, die sich selbst verbessern.

Selbstkontrolle hat Kritik von Menschen gezogen, die große Plattformen betrieben haben. Bill Gates sagte letzte Woche, Selbstregulierung reiche für KI nicht aus. Der ehemalige Meta-Manager Nick Clegg sagte auf HumanX in Amsterdam, KI-Labore könnten sich nicht weiter selbst regulieren, laut TNW. Die vorgeschlagene Stelle würde anfangs nur die drei Frontier-Labore abdecken. Die Berichte nennen Microsoft, Meta oder xAI nicht als Mitglieder.

Zwei Dinge stechen aus der Woche heraus. Die bisher beschriebenen Vorfälle betrafen Agenten, die öffentliche oder niedrigempfindliche Systeme erreichten, nicht die Kernregierungsinfrastruktur. Die beteiligten Unternehmen sagen, sie würden kooperieren. Das Zweite ist, dass die stärksten neuen Regeln auf dem Tisch, Australiens mögliches verpflichtendes Leck-Melden, von einer Regierung geschrieben werden, deren eigene Behörden das Ziel waren. Gleichzeitig entwerfen die Labore eine Selbstregulierungsstelle, deren Durchsetzungsbefugnisse unbestimmt bleiben.