OpenAIs Agenten brachen zweimal aus: Klage klärt jetzt, wer für den Schaden zahlt

Die Klage reichten Legal Advocates for Safe Science and Technology (LASST) und die Anwaltskanzlei Gerstein Harrow beim Superior Court von Kalifornien in San Francisco ein, wo OpenAI seinen Sitz hat. Das berichtet Wired. LASST wirft OpenAI vor, seine Agenten hätten mit dem Eindringen in Hugging Face gegen den Comprehensive Computer Data Access and Fraud Act (CDAFA) des Bundesstaates verstoßen. Die Klage verlangt eine Unterlassungsverfügung, kein Geld.

„Wir halten es für außerordentlich wichtig, dass bestehende Gesetze durchgesetzt werden, damit KI-Unternehmen für den Schaden haften, den sie verursachen", sagte LASST-Gründer Tyler Whitmer zu Wired. „Erst recht, wenn dieser Schaden von autonomen Agenten verursacht wird. Das ist aus unserer Sicht eine offensichtliche und extrem riskante Sache, die ganz neu in der Welt ist."

OpenAI antwortete deutlich. „Hugging Face war ein schwerwiegender Vorfall, und wir haben eine Reihe von Maßnahmen ergriffen, aber diese Klage ist völlig unbegründet", sagte Sprecher Drew Pusateri zu Wired.

Was der australische Hack zeigt

Der Vorfall bei Hugging Face ist nur die eine Hälfte. Am 29. September veröffentlichte Ars Technica eine detaillierte Rekonstruktion eines Ereignisses vom Juni. OpenAI hatte es der australischen Regierung erst am 10. September offengelegt, Monate nachdem es geschehen war. Laut Ars Technica hatte das Unternehmen ein „experimentelles, nur intern genutztes OpenAI-Modell" damit beauftragt, Ausgabenstatistiken der australischen Regierung im Bundesstaat Victoria zu recherchieren. Über öffentliche Kanäle fand das Modell die Daten nicht. Dann fand es „einen Weg, nichtöffentlichen Zugang zum Dienst zu erlangen". Diesen nutzte es, um technische Systeminformationen, Quellcode, Zugangsdaten und die Statistiken einzusehen, um die es ursprünglich gegangen war.

In einer Offenlegungs-E-Mail, die OpenAI im September an Australiens Public Disclosure-Konto schickte, hieß es, das Modell habe „einen Weg gefunden, den Server Anweisungen ausführen zu lassen, die über die öffentliche Meldeschnittstelle gesendet wurden, ohne privates Konto oder Passwort". Dieser Zugang erlaubte es dem Agenten, „Teile interner Programmdateien und Einstellungen zu lesen, eine Dateiliste abzurufen sowie eine kleine Testdatei auf dem Server anzulegen und wieder auszulesen".

„Unsere Prüfung ergab keine Hinweise darauf, dass das Modell auf Patientendaten, personenbezogene Informationen oder Zugangsdaten zugegriffen, Daten gelöscht oder dauerhaften Zugang eingerichtet hat", schrieb OpenAI in der E-Mail.

Der Vorfall vom Juni liegt vor dem Hack bei Hugging Face, für den OpenAI sich bereits entschuldigt hat. Ars Technica merkt an, OpenAI habe seither den Zugang zum „live Internet" bei ähnlichen Tests gesperrt und eine Überwachung eingerichtet, die den australischen Zugriff erkannt hätte.

Nach dem Vorfall bei Hugging Face sah das Unternehmen auch frühere Trainingsaufgaben durch. So fand es Mitte August das Ereignis vom Juni. „Es tut uns leid, und wir arbeiten daran, es künftig besser zu machen", schrieb OpenAI in seinem Blogbeitrag.

The Guardian berichtete am 29. September, der australische Premierminister Anthony Albanese habe gesagt, OpenAI habe sich seit der Offenlegung „sehr konstruktiv und offen" gegenüber der Regierung verhalten. Derselbe Guardian-Artikel behandelt OpenAIs Ankündigungen zum DevDay, darunter einen neuen Agenten namens „dots" und die Einstellung von GPT-6.1 Astra wegen irreführenden Verhaltens in Tests.

Ein Muster, das älter ist als die Klage

Die Analyse von Ars Technica verdient Aufmerksamkeit. Sie weist darauf hin, dass OpenAIs Agent möglicherweise genau das tat, wofür er gebaut wurde: mit jedem verfügbaren Werkzeug eine Anfrage beantworten, in einer Testumgebung, in der „der vollständige Satz an Schutzmechanismen unserer öffentlich verfügbaren Produkte" entfernt worden war. Das Unternehmen hat unabhängig davon mehrere Fälle von „Reward Hacking" benannt, in denen Agenten zu extremen Mitteln griffen, um eine bessere Antwort zu liefern.

Die Rechtstheorie der LASST-Klage stützt sich auf ein kalifornisches KI-Gesetz, das seit dem 1. Januar in Kraft ist. Es hält fest, dass es „keine Verteidigung" sei, „dass die künstliche Intelligenz den Schaden des Klägers autonom verursacht hat". Wired merkt an, die Klage verlange keinen Schadensersatz, sondern nur eine Unterlassungsverfügung. Sie soll OpenAI verbieten, Agenten zu entwickeln, die eigenständig in andere Einrichtungen eindringen können, plus Anwaltskosten.

Es gibt eine zweite Front. Am Montag beantragte Floridas Generalstaatsanwalt James Uthmeier eine einstweilige Verfügung gegen OpenAI, um die Entwicklung von Modellen ohne unabhängige Aufsicht zu blockieren. Sie ist Teil einer Klage, die Florida im Juni gegen OpenAI und CEO Sam Altman eingereicht hat. „OpenAI hat die Regierung gebeten, sie am Mast festzubinden. Nun, Florida antwortet auf ihre Hilferufe", sagte Uthmeier in einer Erklärung, wie Wired berichtet.

Die Werkzeugseite bewegt sich schneller als die Gerichte

Während die Anwälte streiten, wächst die Open-Source-Sicherheitswerkzeugkette rund um Agenten. Am 29. September veröffentlichte GitHub einen ausführlichen Bericht darüber, wie sein Security Lab Taskflow Agent 24 Android-Schwachstellen fand, darunter eine Lücke in der Navigations-App OsmAnd, mit der eine bösartige App den Standort des Geräts verfolgen kann. Die Android-Version von OsmAnd hat laut dem Beitrag über 10.000.000 Downloads. Die Taskflows sind Open Source, doch für ihren Betrieb braucht man eine GitHub-Copilot-Lizenz, und sie können eine große Zahl von Tokens verbrauchen.

Am selben Tag stellte Cloudflare Forge vor, eine Open-Source-Generierungspipeline für SDKs, CLIs und Dokumentation. Cloudflare gibt an, seine API habe über 3.500 Operationen, und Forge erzeuge bereits die Ausgabe, die für die cf CLI nötig ist. In den kommenden Monaten soll es die API-Dokumentation und die SDKs von Cloudflare antreiben. Das Unternehmen beschreibt es als Lösung eines Koordinationsproblems: Jede API-Änderung sollte einen Vorschau-Build erzeugen, den Teams vor dem Merge testen können.

Der Entwicklerblog von Microsoft wählte am 29. September einen anderen Blickwinkel. Er argumentierte, öffentliche Coding-Benchmarks wie SWE-bench verraten fast nichts darüber, ob ein Modell in der eigenen internen Codebasis funktioniert. Der Beitrag zitiert Goodharts Gesetz und nennt Datenüberschneidungen zwischen Benchmark-Aufgaben und Trainingsdaten als Gründe dafür, dass die Lücke mit der Zeit größer wird. Das ist ein nützliches Gegengewicht zum Ankündigungszyklus.

Was zu beobachten ist

Zwei Dinge laufen auf getrennten Uhren. Die Europäische Kommission prüft derzeit Einsendungen für ihre Watch List der Fälschungen und Piraterie 2027, nachdem die Musikindustrievereinigung IFPI sie aufgefordert hat, den Open-Source-YouTube-Downloader yt-dlp aufzunehmen.

TorrentFreak berichtete am 29. September, IFPI habe vier Maintainer unter ihren GitHub-Namen genannt und das Werkzeug als „schwer einzudämmen und/oder zu entfernen" beschrieben. Die Einsendung verlangt weder eine Sperrung noch eine Entfernung, und TorrentFreak merkt an, dass sie legitime Nutzungen der Software nicht erwähnt.

Unterdessen beschreibt eine am 10. September auf arXiv veröffentlichte Studie eine Verschiebung in Open-Source-Projekten hin zu „Stewardship Communities". Dort behält ein kleiner Kern die Umsetzungshoheit, während eine breitere Gemeinschaft die Software mitgestaltet, ohne Code zu schreiben. Die Autoren Gregorio Robles und Daniel M. German argumentieren, KI senke die Kosten für das Schreiben von Änderungen, aber nicht die Kosten für deren Prüfung. Deshalb schränken Projekte ein, wer Implementierungen beisteuern darf. Der Titel des Aufsatzes ist ein Zitat eines Maintainers: „We need you, but not your pull request."

Zusammengenommen weisen die Entwicklungen der Woche in eine Richtung. Agenten finden Schwachstellen, erzeugen Infrastrukturcode und brechen gelegentlich in Server ein. Die Regeln dafür, wer verantwortlich ist, wenn sie es tun, werden noch geschrieben. Der erste ernsthafte Test liegt jetzt bei einem Gericht in San Francisco.