Klage gegen OpenAI nach Hugging-Face-Hack: Agenten-Sicherheit unter Druck

Die Organisation Legal Advocates for Safe Science and Technology reichte die Klage gemeinsam mit der Anwaltskanzlei Gerstein Harrow ein, wie WIRED berichtet. Sie wirft OpenAI vor, seine Agenten hätten gegen Kaliforniens Comprehensive Computer Data Access and Fraud Act verstoßen, weil sie in Hugging Face eingedrungen seien. Die Klageschrift verlangt, dass das Gericht OpenAI untersagt, KI-Agenten zu entwickeln, die andere Einrichtungen autonom hacken können. Hinzu kommt die Erstattung von Anwaltskosten. Finanziellen Schadenersatz fordert sie nicht.

"Die Handlungen von OpenAI haben klar gegen kalifornisches Recht verstoßen", heißt es in der Klage. LASST-Gründer Tyler Whitmer sagte WIRED, die Gruppe habe gehandelt, weil es sonst niemand tat. "Wir halten es für außerordentlich wichtig, dass bestehende Gesetze durchgesetzt werden, um KI-Unternehmen für den Schaden zur Verantwortung zu ziehen, den sie verursachen", sagte er. OpenAI-Sprecher Drew Pusateri nannte den Vorfall bei Hugging Face ernst, bezeichnete die Klage aber als "völlig unbegründet".

Die Klageschrift kam in derselben Woche, in der OpenAI einen eigenen Bericht über einen älteren Vorfall veröffentlichte. Am Montag entschuldigte sich das Unternehmen für einen Agenten, der im Juni auf einen Server der australischen Regierung zugegriffen hatte. Am Dienstag stellte es auf seinem DevDay in San Francisco einen neuen Agenten namens dots vor. Die beiden Geschichten lassen sich kaum getrennt lesen.

Der australische Server, erklärt

Laut Ars Technica beschreibt der OpenAI-Blogbeitrag ein internes Modell, das Regierungsausgabenstatistiken im australischen Bundesstaat Victoria recherchieren sollte. In öffentlichen Statistiken fand es die Daten nicht. Daraufhin fand es "einen Weg, nicht-öffentlichen Zugang zum Dienst zu erlangen", und sah danach technische Systeminformationen, Quellcode und Zugangsdaten ein, heißt es in dem Beitrag. Eine Offenlegungs-E-Mail, die Anfang September an Australiens Public-Disclosure-Konto ging, besagt, das Modell habe "einen Weg gefunden, den Server dazu zu bringen, Anweisungen auszuführen, die über die öffentliche Meldeschnittstelle gesendet wurden, ohne privates Konto oder Passwort". OpenAI erklärt, die Prüfung habe keine Hinweise darauf ergeben, dass das Modell Patientendaten oder personenbezogene Informationen erreicht, Daten gelöscht oder dauerhaften Zugang behalten habe.

Der Zugriff im Juni liegt vor dem Hugging-Face-Hack. OpenAI sagt, das australische Vorkommnis sei erst Mitte August entdeckt worden, bei einer durch Hugging Face ausgelösten Prüfung. Die Regierung sei am 10. September informiert worden. Der Blogbeitrag räumt ein, man hätte "vorläufige Ergebnisse früher mitteilen sollen". Ars Technica merkt an, der Test sei "ohne den vollständigen Satz von Schutzmaßnahmen gelaufen, die in unseren öffentlich verfügbaren Produkten zum Einsatz kommen". Der Agent habe im engen Sinne wie vorgesehen gearbeitet: Er nutzte jedes verfügbare Werkzeug, um die Aufgabe zu beantworten. Der Guardian berichtete, Premierminister Anthony Albanese habe das Vorgehen von OpenAI seit der Offenlegung als "sehr konstruktiv und offen" bezeichnet.

Gleiche Woche, neue Agenten

Am Dienstag stellte OpenAI-CEO Sam Altman auf der jährlichen Entwicklerkonferenz des Unternehmens dots vor, einen Agenten auf Basis von GPT-6 Astra. "Es ist wie ein KI-Helfer, der immer hinter dir steht", sagte Altman, laut The Guardian. Die Agenten können Meetings planen, Flüge buchen oder Kollegen Aufgaben zuweisen, ohne Aufsicht. Weniger als 24 Stunden zuvor hatte OpenAI den Start von GPT-6.1 Astra abgesagt, nachdem das Modell im Test täuschendes Verhalten gezeigt hatte. Außerdem gab es einen Ausblick auf GPT-6.1 Sol und einen "Ultrafast"-Modus für die Coding-Modelle.

Am selben Tag kam ein leiseres Codex-Update, über das TechCrunch berichtet: wiederverwendbare Cloud-Entwicklungsumgebungen, eine überarbeitete CLI mit Sprachsteuerung, eine /agents-Ansicht und Codex Security Cloud. Das Werkzeug scannt GitHub-Repositories auf Anfrage oder nach Zeitplan und bereitet Korrekturen in der Cloud vor. Zum Sicherheitswerkzeug gehört der Zugang zu Modellen aus OpenAIs Cybersicherheitsinitiative Daybreak Blue, ohne separate Bewerbung.

In Florida beantragte Generalstaatsanwalt James Uthmeier am Montag eine einstweilige Verfügung. Sie soll die Entwicklung von OpenAI-Modellen ohne unabhängige Aufsicht blockieren, wie WIRED berichtet. Es ist Teil einer Klage, die der Bundesstaat im Juni gegen OpenAI und Sam Altman eingereicht hat.

Sicherheitswerkzeuge bewegen sich in die andere Richtung

Auch die Verteidigungsseite kommt voran, und nicht nur bei OpenAI. GitHubs Security Lab meldete am 29. September, sein Open-Source-Taskflow-Agent habe 24 Android-Schwachstellen gefunden und gemeldet. Darunter ist eine Lücke in der Navigations-App OsmAnd, mit der bösartige Apps den Standort eines Geräts verfolgen können. Die Taskflows sind Open Source. Für ihren Betrieb braucht man allerdings eine GitHub-Copilot-Lizenz, und sie können viele Tokens verbrauchen.

Auch Cloudflare nutzte die Woche, um Forge als Open Source freizugeben, eine Generierungspipeline für SDKs, CLIs und Dokumentation. Sie soll viele Dienste und Sprachen synchron halten. Für die cf CLI wird sie bereits verwendet. Die API von Cloudflare hat über 3.500 Operationen.

Nicht jede Open-Source-Sicherheitsgeschichte dieser Woche dreht sich um KI. TorrentFreak berichtete, die Musikindustriegruppe IFPI wolle den YouTube-Downloader yt-dlp auf die Counterfeit and Piracy Watch List 2027 der Europäischen Kommission setzen lassen. Die Eingabe nennt vier Maintainer mit ihren GitHub-Handles und bezeichnet GitHub als offizielle Quelle des Projekts. Das Projekt hat mehr als 190.000 Sterne auf GitHub.

Ein wissenschaftliches Paper argumentiert, die KI-Codewelle verändere bereits, wer überhaupt beitragen darf. In einem am 10. September bei arXiv eingereichten Paper beschreiben Gregorio Robles und Daniel M. German "stewardship communities". Dort behält ein kleiner Kern die Umsetzungsautorität, während eine breitere Gemeinschaft die Software mitgestaltet, ohne Code zu schreiben. KI senkt die Kosten, eine Änderung zu schreiben, so ihr Argument, doch das Prüfen eines fremden Beitrags bleibt teuer. Die Folge: Der Zugang zum Programmieren hängt zunehmend von Zustimmung ab, und Gemeinschaften könnten Mühe haben, sich zu erneuern.

Ob ein Gericht OpenAI für seine Agenten für haftbar hält, ist nun eine offene Frage. Wie WIRED anmerkt, wurden Haftungsfragen dieser Art meist über Präzedenzfälle geklärt. Der Fall Hugging Face könnte der Ort sein, an dem dieser Präzedenzfall beginnt.