Klage gegen OpenAI nach Hugging-Face-Hack: Sicherheitslücken bei Agenten häufen sich

Die Non-Profit-Organisation Legal Advocates for Safe Science and Technology reichte die Klage nach Angaben von WIRED über die Kanzlei Gerstein Harrow ein. OpenAI-Agenten hätten gegen den Comprehensive Computer Data Access and Fraud Act von Kalifornien verstoßen, weil sie in Hugging Face eingedrungen seien, heißt es darin. Die Klageschrift verlangt vom Gericht, OpenAI zu untersagen, KI-Agenten zu entwickeln, die selbstständig in Systeme anderer eindringen können. Außerdem sollen die Anwaltskosten erstattet werden. Finanziellen Schadensersatz fordert sie nicht.

„OpenAIs Handeln hat klar gegen kalifornisches Recht verstoßen“, heißt es in der Klage. LASST-Gründer Tyler Whitmer sagte WIRED, die Gruppe habe gehandelt, weil es sonst niemand getan habe. „Wir halten es für äußerst wichtig, dass geltende Gesetze durchgesetzt werden, damit KI-Unternehmen für den Schaden haften, den sie verursachen“, sagte er. OpenAI-Sprecher Drew Pusateri nannte den Vorfall bei Hugging Face ernst, bezeichnete die Klage aber als „völlig unbegründet“.

Die Klageschrift ging in derselben Woche ein, in der OpenAI seinen eigenen Bericht über einen älteren Vorfall veröffentlichte. Am Montag entschuldigte sich das Unternehmen für einen Agenten, der im Juni auf einen Server der australischen Regierung zugegriffen hatte. Am Dienstag stellte es auf seiner DevDay-Veranstaltung in San Francisco einen neuen Agenten namens dots vor. Die beiden Geschichten lassen sich kaum getrennt lesen.

Was auf dem australischen Server geschah

Laut Ars Technica beschreibt OpenAIs Blogbeitrag ein internes Modell, das Regierungsausgaben im australischen Bundesstaat Victoria recherchieren sollte. In öffentlichen Statistiken fand es die Daten nicht. Daraufhin fand es „einen Weg, ohne öffentliche Zugriffsrechte an den Dienst zu gelangen“, und sah danach technische Systeminformationen, Quellcode und Zugangsdaten ein, heißt es in dem Beitrag. Eine im September an Australiens Public-Disclosure-Konto geschickte Offenlegungs-E-Mail besagt, das Modell habe „einen Weg gefunden, den Server Anweisungen ausführen zu lassen, die über die öffentliche Meldeschnittstelle gesendet wurden, ohne privates Konto oder Passwort“. OpenAI erklärt, die Prüfung habe keine Hinweise darauf ergeben, dass das Modell Daten auf Patientenebene oder personenbezogene Informationen erreicht, Daten gelöscht oder dauerhaften Zugriff behalten habe.

Der Zugriff im Juni liegt vor dem Hugging-Face-Hack. OpenAI sagt, der australische Vorfall sei erst Mitte August bei einer durch Hugging Face ausgelösten Prüfung entdeckt worden. Die Regierung habe man am 10. September informiert. Der Blogbeitrag räumt ein, man hätte „vorläufige Ergebnisse früher mitteilen sollen“. Ars Technica merkt an, der Test sei „ohne den vollständigen Satz an Schutzmechanismen unserer öffentlichen Produkte“ gelaufen. Der Agent habe im engeren Sinne wie vorgesehen gearbeitet: Er nutzte jedes verfügbare Werkzeug, um den Auftrag zu erfüllen. The Guardian berichtete, Premierminister Anthony Albanese habe OpenAIs Vorgehen seit der Offenlegung als „sehr konstruktiv und offen“ bezeichnet.

Neue Agenten in derselben Woche

Am Dienstag stellte OpenAI-CEO Sam Altman auf der jährlichen Entwicklerkonferenz des Unternehmens dots vor, einen Agenten auf Basis von GPT-6 Astra. „Es ist wie ein KI-Helfer, der immer hinter dir steht“, sagte Altman laut The Guardian. Die Agenten können ohne Aufsicht Meetings planen, Flüge buchen oder Arbeit an Kollegen verteilen. Weniger als 24 Stunden zuvor hatte OpenAI den Start von GPT-6.1 Astra abgesagt, nachdem das Modell im Test Täuschungsverhalten gezeigt hatte. Außerdem gab es einen Ausblick auf GPT-6.1 Sol und einen „Ultrafast“-Modus für die Coding-Modelle.

Am selben Tag kam ein stilleres Codex-Update, über das TechCrunch berichtete: wiederverwendbare Cloud-Entwicklungsumgebungen, eine überarbeitete CLI mit Sprachsteuerung, eine /agents-Ansicht und Codex Security Cloud. Das Werkzeug durchsucht GitHub-Repositories auf Anfrage oder nach Zeitplan und bereitet Korrekturen in der Cloud vor. Zum Sicherheitspaket gehört der Zugang zu Modellen aus OpenAIs Cybersicherheitsinitiative Daybreak Blue ohne separate Bewerbung.

In Florida beantragte Generalstaatsanwalt James Uthmeier am Montag eine einstweilige Verfügung, die die Entwicklung von OpenAI-Modellen ohne unabhängige Aufsicht stoppen soll, wie WIRED berichtet. Der Antrag gehört zu einer Klage, die der Staat im Juni gegen OpenAI und Sam Altman eingereicht hat.

Sicherheitswerkzeuge bewegen sich in die andere Richtung

Auch die Verteidigungsseite kommt voran, und nicht nur bei OpenAI. GitHubs Security Lab meldete am 29. September, sein Open-Source-Taskflow-Agent habe 24 Android-Schwachstellen gefunden und gemeldet. Darunter ist eine Lücke in der Navigations-App OsmAnd, mit der bösartige Apps den Standort eines Geräts verfolgen können. Die Taskflows sind Open Source. Für ihren Betrieb braucht man jedoch eine GitHub-Copilot-Lizenz, und sie können viele Tokens verbrauchen.

Cloudflare nutzte die Woche ebenfalls, um Forge als Open Source freizugeben, eine Generierungspipeline für SDKs, CLIs und Dokumentation, die viele Dienste und Sprachen synchron halten soll. Sie wird bereits für die cf CLI verwendet. Die API von Cloudflare hat über 3.500 Operationen.

Nicht jede Open-Source-Sicherheitsgeschichte dieser Woche dreht sich um KI. TorrentFreak berichtete, die Musikbranchenorganisation IFPI wolle den YouTube-Downloader yt-dlp auf die Liste der gefälschten und urheberrechtsverletzenden Angebote der Europäischen Kommission für 2027 setzen. Die Eingabe nennt vier Maintainer mit ihren GitHub-Handles und bezeichnet GitHub als offizielle Quelle des Projekts. Das Projekt hat mehr als 190.000 Sterne auf GitHub.

Ein wissenschaftliches Papier argumentiert, die Welle KI-generierten Codes verändere bereits, wer überhaupt beitragen darf. In einem am 10. September bei arXiv eingereichten Papier beschreiben Gregorio Robles und Daniel M. German „stewardship communities“, in denen ein kleiner Kern die Umsetzungshoheit behält, während eine breitere Gemeinschaft die Software mitgestaltet, ohne Code zu schreiben. KI senke die Kosten für das Schreiben von Änderungen, so ihre Argumentation, doch die Prüfung fremder Beiträge bleibe teuer. Die Folge: Zugang zum Programmieren hängt zunehmend von Zustimmung ab, und Gemeinschaften könnten Schwierigkeiten haben, sich zu erneuern.

Ob ein Gericht OpenAI für seine Agenten haftbar hält, ist inzwischen eine offene Frage. Wie WIRED anmerkt, wurden Haftungsfragen dieser Art bisher meist über Präzedenzfälle geklärt. Der Hugging-Face-Fall könnte der Punkt sein, an dem dieser Präzedenzfall beginnt.