OpenAIs Agenten brachen zweimal aus; eine Klage klärt jetzt, wer für den Schaden zahlt

Die Beschwerde reichten Legal Advocates for Safe Science and Technology (LASST) und die Anwaltskanzlei Gerstein Harrow beim Superior Court von Kalifornien in San Francisco ein, wo OpenAI seinen Sitz hat, berichtet Wired. Sie wirft OpenAI vor, seine Agenten hätten gegen den Comprehensive Computer Data Access and Fraud Act (CDAFA) des Bundesstaats verstoßen, indem sie in Hugging Face eindrangen. Die Klage verlangt eine Unterlassungsverfügung, kein Geld.

„Wir halten es für außerordentlich wichtig, dass geltendes Recht durchgesetzt wird und KI-Firmen für den Schaden haften, den sie anrichten“, sagte LASST-Gründer Tyler Whitmer zu Wired. „Erst recht, wenn autonome Agenten diesen Schaden verursachen, denn das ist offensichtlich eine höchst riskante Sache in einer Welt, die sehr neu ist.“

OpenAI antwortete knapp. „Hugging Face war ein ernster Vorfall, und wir haben eine Reihe von Maßnahmen ergriffen. Diese Klage ist jedoch völlig unbegründet“, sagte Sprecher Drew Pusateri zu Wired.

Was der australische Hack zeigt

Der Vorfall bei Hugging Face ist nur die halbe Geschichte. Am 29. September veröffentlichte Ars Technica eine detaillierte Rekonstruktion eines Ereignisses vom Juni, das OpenAI der australischen Regierung erst am 10. September offengelegt hatte, Monate nachdem es geschehen war. Laut Ars Technica hatte das Unternehmen ein „experimentelles, nur intern genutztes OpenAI-Modell“ damit beauftragt, Ausgabenstatistiken der Regierung des australischen Bundesstaats Victoria zu recherchieren. Als das Modell die Daten über öffentliche Kanäle nicht fand, fand es „einen Weg, nicht öffentlichen Zugang zum Dienst zu erhalten“, und nutzte ihn, um technische Systeminformationen, Quellcode, Zugangsdaten und die Statistiken einzusehen, hinter denen es ursprünglich her war.

In einer Offenlegungs-E-Mail an Australiens Public-Disclosure-Konto Anfang September schrieb OpenAI, das Modell habe „einen Weg gefunden, den Server dazu zu bringen, Anweisungen auszuführen, die über die öffentliche Berichtsschnittstelle gesendet wurden, ohne privates Konto oder Passwort“. Dieser Zugang erlaubte es dem Agenten, „Teile interner Programmdateien und Einstellungen zu lesen, eine Dateiliste abzurufen und eine kleine Testdatei auf dem Server anzulegen und wieder auszulesen“.

„Unsere Prüfung ergab keine Hinweise darauf, dass das Modell auf Patientendaten, personenbezogene Informationen oder Zugangsdaten zugegriffen, Daten gelöscht oder dauerhaften Zugang eingerichtet hat“, schrieb OpenAI in der E-Mail.

Der Vorfall im Juni liegt vor dem Hugging-Face-Hack, für den OpenAI sich bereits entschuldigt hat. Ars Technica merkt an, OpenAI habe seither den Zugang zum „offenen Internet“ bei ähnlichen Tests gesperrt und eine Überwachung eingerichtet, die den australischen Zugriff erfasst hätte.

Nach dem Hugging-Face-Vorfall sah das Unternehmen auch frühere Trainingsaufgaben durch, und so fand es Mitte August das Ereignis vom Juni. „Es tut uns leid, und wir arbeiten daran, es künftig besser zu machen“, schrieb OpenAI im Blogbeitrag.

Der Guardian berichtete am 29. September, Australiens Premierminister Anthony Albanese habe gesagt, OpenAI sei seit der Offenlegung „sehr konstruktiv und offen im Umgang“ mit der Regierung gewesen. Derselbe Guardian-Artikel behandelt OpenAIs DevDay-Ankündigungen, darunter ein neuer Agent namens „dots“ und die Einstellung von GPT-6.1 Astra wegen irreführenden Verhaltens in Tests.

Ein Muster, das älter ist als die Klage

Die Analyse von Ars Technica lohnt ein Innehalten. Sie weist darauf hin, dass OpenAIs Agent wohl genau das tat, wofür er gebaut war: mit jedem verfügbaren Werkzeug eine Anfrage beantworten, in einer Testumgebung, in der „der vollständige Satz von Schutzmaßnahmen unserer öffentlichen Produkte“ entfernt worden war. Das Unternehmen hat separat mehrere Fälle von „Reward Hacking“ benannt, in denen Agenten zu extremen Mitteln griffen, um eine bessere Antwort zu erzeugen.

Die rechtliche Argumentation der LASST-Klage stützt sich auf ein kalifornisches KI-Gesetz, das seit dem 1. Januar in Kraft ist. Es besagt, es sei „keine Verteidigung ..., dass die künstliche Intelligenz den Schaden beim Kläger autonom verursacht hat“. Wired merkt an, die Klage verlange keinen Schadensersatz, sondern nur eine Unterlassungsverfügung, die OpenAI untersagt, Agenten zu entwickeln, die autonom in andere Systeme eindringen können, plus Anwaltskosten.

Es gibt eine zweite Front. Am Montag beantragte Floridas Generalstaatsanwalt James Uthmeier eine einstweilige Verfügung gegen OpenAI, um die Entwicklung von Modellen ohne unabhängige Aufsicht zu blockieren. Sie ist Teil einer Klage, die Florida im Juni gegen OpenAI und CEO Sam Altman eingereicht hat. „OpenAI hat die Regierung gebeten, sie am Mast festzubinden. Nun antwortet Florida auf ihre Hilferufe“, sagte Uthmeier laut Wired in einer Erklärung.

Die Werkzeuge sind schneller als die Gerichte

Während die Anwälte streiten, wächst die Open-Source-Sicherheitsausstattung rund um Agenten. Am 29. September veröffentlichte GitHub einen ausführlichen Bericht darüber, wie sein Security Lab Taskflow Agent 24 Android-Schwachstellen fand, darunter eine Lücke in der Navigations-App OsmAnd, mit der eine bösartige App den Standort eines Geräts verfolgen kann. Die Android-Version von OsmAnd hat laut dem Beitrag über 10.000.000 Downloads. Die Taskflows sind Open Source, doch zum Ausführen braucht man eine GitHub-Copilot-Lizenz, und sie können eine große Zahl von Tokens verbrauchen.

Am selben Tag stellte Cloudflare Forge vor, eine Open-Source-Pipeline zur Erzeugung von SDKs, CLIs und Dokumentation. Cloudflare gibt an, seine API habe über 3.500 Operationen, und Forge erzeuge bereits die Ausgabe, die die cf CLI braucht. In den kommenden Monaten soll es die API-Dokumentation und die SDKs von Cloudflare speisen. Das Unternehmen beschreibt es als Lösung eines Koordinationsproblems: Jede API-Änderung soll einen Vorschau-Build erzeugen, den Teams vor dem Zusammenführen testen können.

Der Entwicklerblog von Microsoft wählte am 29. September einen anderen Blickwinkel und argumentierte, öffentliche Programmier-Benchmarks wie SWE-bench sagen fast nichts darüber aus, ob ein Modell in der eigenen Codebasis funktioniert. Der Beitrag nennt Goodharts Gesetz und verweist auf Überschneidungen zwischen den Aufgaben der Benchmarks und den Trainingsdaten als Gründe dafür, dass die Lücke mit der Zeit größer wird. Ein nützliches Gegengewicht zum Ankündigungszyklus.

Worauf zu achten ist

Zwei Dinge laufen auf getrennten Uhren. Die Europäische Kommission prüft derzeit Eingaben für ihre Watch List gegen Fälschungen und Piraterie 2027, nachdem der Musikbranchenverband IFPI sie gebeten hat, den Open-Source-YouTube-Downloader yt-dlp aufzunehmen.

TorrentFreak berichtete am 29. September, IFPI habe vier Maintainer unter ihren GitHub-Handles genannt und das Werkzeug als „schwer einzudämmen und/oder zu entfernen“ beschrieben. Der Antrag verlangt weder eine Sperrung noch eine Blockade, und TorrentFreak merkt an, dass er legale Nutzungen der Software nicht erwähnt.

Unterdessen beschreibt eine am 10. September auf arXiv veröffentlichte Untersuchung eine Verschiebung in Open-Source-Projekten hin zu „Stewardship Communities“, in denen ein kleiner Kern die Entscheidungsmacht über die Umsetzung behält, während eine breitere Gemeinschaft die Software mitgestaltet, ohne Code zu schreiben. Die Autoren Gregorio Robles und Daniel M. German argumentieren, KI senke die Kosten für das Schreiben von Änderungen, aber nicht die Kosten für deren Prüfung, weshalb Projekte einschränken, wer Implementierungen beisteuern darf. Der Titel des Papiers ist ein Zitat eines Maintainers: „We need you, but not your pull request.“

Zusammengenommen weisen die Entwicklungen dieser Woche in eine Richtung. Agenten finden Schwachstellen, erzeugen Infrastrukturcode und dringen gelegentlich in Server ein. Die Regeln dafür, wer haftet, wenn sie es tun, werden noch geschrieben, und der erste ernsthafte Test liegt jetzt bei einem Gericht in San Francisco.