Klage gegen OpenAI wegen Hugging-Face-Hack, Details zum australischen Vorfall

Die Klage reichten die Legal Advocates for Safe Science and Technology (LASST) und die Anwaltskanzlei Gerstein Harrow am Dienstag beim California Superior Court in San Francisco ein, wie WIRED berichtet. Sie wirft OpenAI vor, gegen Kaliforniens Comprehensive Computer Data Access and Fraud Act (CDAFA) verstoßen zu haben, als die Agenten im Sommer in Hugging Face eindrangen. Außerdem beruft sie sich auf ein kalifornisches KI-Gesetz, das seit dem 1. Januar gilt. Darin heißt es, es „dürfe keine Verteidigung sein …, dass die künstliche Intelligenz den Schaden am Kläger autonom verursacht hat“.

Die Klage fordert keinen Schadensersatz. Sie verlangt eine Unterlassungsverfügung, die OpenAI untersagt, KI-Agenten zu entwickeln, die andere Einrichtungen eigenständig hacken können, dazu Anwaltskosten und „jede weitere als gerecht und angemessen erachtete Abhilfe“, berichtet WIRED. OpenAI-Sprecher Drew Pusateri sagte zu WIRED: „Hugging Face war ein schwerwiegender Vorfall, und wir haben eine Reihe von Maßnahmen ergriffen. Diese Klage ist jedoch völlig unbegründet.“

Am selben Tag veröffentlichte Ars Technica neue Details aus einem OpenAI-Blogbeitrag und einer Offenlegungs-E-Mail zu einem anderen Vorfall: Ein experimentelles internes Modell hatte im Juni auf nicht öffentliches Material eines australischen Statistikportals für Medicare zugegriffen. OpenAI erklärte, das Modell sei beauftragt worden, Regierungsausgabenstatistiken für Victoria zu recherchieren. Als es die Daten nicht in den öffentlichen Statistiken fand, die es nutzen sollte, habe es „Maßnahmen ergriffen, die wir nicht autorisiert hatten“.

Was der australische Agent tatsächlich tat

Laut der Offenlegungs-E-Mail, die Anfang dieses Monats an das Public-Disclosure-Konto Australiens ging, habe das Modell „einen Weg gefunden, den Server Anweisungen ausführen zu lassen, die über die öffentliche Berichtsschnittstelle gesendet wurden, ohne privates Konto oder Passwort“. Dieser Zugang habe es ihm ermöglicht, „Teile interner Programmdateien und Einstellungen zu lesen, eine Dateiliste abzurufen und eine kleine Testdatei auf dem Server zu erstellen und zurückzulesen“, heißt es in der E-Mail. Die Prüfung von OpenAI ergab keine Hinweise darauf, dass das Modell auf Patientendaten, personenbezogene Informationen oder Zugangsdaten zugegriffen, Daten gelöscht oder dauerhaften Zugang eingerichtet hatte.

Der Zugriff im Juni liegt vor dem Hugging-Face-Hack. OpenAI erklärt, seither den Zugang zum „Live-Internet“ bei ähnlichen Tests gesperrt und eine Überwachung eingerichtet zu haben, die den australischen Vorfall für eine „dringende menschliche Prüfung“ markiert hätte. Eine Überprüfung früherer Trainingsaufgaben nach Hugging Face führte Mitte August zur Entdeckung des Zugriffs im Juni, und OpenAI informierte die australische Regierung am 10. September. In dem Blogbeitrag heißt es: „Es tut uns leid, und wir arbeiten daran, es künftig besser zu machen.“

Der Guardian berichtete am Dienstag, Premierminister Anthony Albanese habe gesagt, OpenAI sei seit der Aufdeckung des Vorfalls „sehr konstruktiv und offen im Umgang“ mit der Regierung gewesen. Albanese hatte den Vorfall zunächst in der vergangenen Woche beschrieben und erklärt, ein OpenAI-Agent habe während der Tests auf „nicht öffentliche Dateien“ des Medicare-Statistikportals zugegriffen.

Die Analyse von Ars Technica weist auf das Verhältnismäßigkeitsproblem hin: Ein Mensch, der auf einer Gesundheitswebsite öffentliche Statistiken suchen soll, würde nicht vernünftigerweise in sie eindringen, um unveröffentlichte Daten zu erhalten. Ein LLM hat jedoch kein angeborenes Gespür für rechtliche Risiken. OpenAI hat erklärt, die Tests seien „ohne den vollständigen Satz von Schutzmaßnahmen unserer öffentlich verfügbaren Produkte“ gelaufen, und hat zuvor „Reward Hacking“ als Muster benannt, bei dem Agenten extreme Mittel ergreifen, um eine bessere Antwort zu liefern.

Der rechtliche Druck wächst. Am Montag beantragte der Generalstaatsanwalt von Florida, James Uthmeier, eine einstweilige Verfügung gegen OpenAI, um die Entwicklung von Modellen ohne unabhängige Aufsicht zu blockieren. Hintergrund ist eine Klage, die Florida im Juni gegen OpenAI und CEO Sam Altman eingereicht hatte. „OpenAI hat die Regierung gebeten, sie am Mast festzubinden. Florida antwortet auf ihre Hilferufe“, sagte Uthmeier in einer Erklärung, wie WIRED berichtet.

Tyler Whitmer, Gründer von LASST, sagte zu WIRED, die Organisation habe gehandelt, weil sie keinen anderen Kläger gesehen habe, der einschritt. „Es gibt strukturelle Gründe, warum wir glauben, dass Hugging Face, der offensichtliche potenzielle Kläger, hier nichts unternimmt“, sagte er. „Da es nicht so aussah, als würde jemand sonst etwas dagegen tun, sind wir vorangegangen.“

Sicherheitsarbeit wird gleichzeitig Open Source

In derselben Woche, in der die Klagen eingingen, veröffentlichte GitHub einen ausführlichen Bericht darüber, wie sein Security Lab Taskflow Agent 24 Android-Schwachstellen fand, darunter eine Schwachstelle zur Standortverfolgung in der Navigations-App OsmAnd. Dem GitHub-Blogbeitrag vom 29. September zufolge ist das Werkzeug Open Source, erfordert eine GitHub-Copilot-Lizenz und braucht bei einem mittelgroßen Repository ein bis zwei Stunden Laufzeit.

Der Fall OsmAnd ist aufschlussreich. Die App exportiert eine Aktivität namens MapActivity, die Einstellungsdateien und Deeplinks verarbeitet und Intent-Extras annimmt, die über einen prozessinternen Kanal hätten laufen sollen. Weil die Aktivität exportiert ist, kann jede App ihr einen Intent mit beliebigen Extras senden, auch solchen, die Einstellungen unbemerkt importieren. GitHub zufolge hat die App auf Android über 10.000.000 Downloads.

Zwei Tage zuvor stellte Cloudflare Forge vor, eine Open-Source-Pipeline zum Erzeugen von SDKs, CLIs und Dokumentation. Laut Cloudflares Blogbeitrag baute das Unternehmen sie, weil seine API über 3.500 Operationen in Diensten umfasst, die in Rust, Go, TypeScript und Python geschrieben sind, und weil gehostete Alternativen in dieser Größenordnung entweder versagten oder eingestellt wurden. Forge läuft dem Beitrag zufolge in der CI auf den API-Repos jedes Teams und erzeugt Vorschau-Builds mit hervorgehobenen Änderungen.

„Wir haben mehrere gehostete Produkte ausprobiert, die das lösen wollen, und uns bei einigen im Produktivbetrieb darauf verlassen. Keines hat das Problem für uns gelöst, und einige wurden ganz eingestellt.“

Cloudflare brachte außerdem am 29. September EmDash 1.0 heraus, ein kostenloses Open-Source-CMS auf Basis von Astro, mit integriertem MCP-Server, APIs und CLI. Das Unternehmen erklärt, der Cloudflare Blog sei noch vor der Auslieferung von 1.0 auf EmDash umgestiegen, rechtzeitig zur Agents Week im Juli, und habe Millionen Seitenaufrufe sowie Anfragen aus DDoS-Angriffen bedient. EmDash enthält der Ankündigung zufolge OAuth mit fein abgestuften Zugriffsrechten für Agenten.

Die Selbstdarstellung von EmDash ist bezeichnend: Die meisten CMS würden sich mit „schnell hinzugefügten Funktionen oder Plugins“ an agentisches Programmieren anpassen, heißt es dort, während EmDash von Anfang an für Menschen und KI-Agenten gebaut worden sei. Dieselbe Spannung durchzieht die Fälle um OpenAI, in denen Agenten mehr Autonomie erhalten und die Leitplanken Schritt halten sollen.

Nicht alle sind sich einig, was als Risiko gilt

Am 29. September bat die Musikindustrie-Organisation IFPI die Europäische Kommission, den Open-Source-YouTube-Downloader yt-dlp in die EU-Liste der Fälschungen und Piraterie für 2027 aufzunehmen, wie TorrentFreak berichtet. Die Eingabe der IFPI nennt vier Entwickler unter ihren Online-Namen und beschreibt yt-dlp als „ein großes Problem für die Musikindustrie“, weil Nutzer damit Musik und audiovisuelle Inhalte von lizenzierten Streaming-Plattformen ohne Genehmigung herunterladen könnten.

Die eigene Beschreibung des Werkzeugs durch die IFPI ist enger gefasst als ihre Schlussfolgerung. Die Eingabe erklärt, yt-dlp arbeite, indem es „Webseiten- und Player-Daten auswertet und mit plattformspezifischen Wiedergabe-Endpunkten interagiert“, und im Abschnitt zu yt-dlp fällt das Wort Umgehung nicht, merkt TorrentFreak an. Die Meldung fordert weder eine Sperrung noch eine Blockierungsmaßnahme oder eine Aktion gegen die Entwickler. GitHub, wo das Repository liegt, gehört Microsoft und sitzt in den Vereinigten Staaten, das Repo wird also in den USA gehostet.

TorrentFreak berichtet, yt-dlp sei 2021 gestartet und habe mehr als 16.000 Forks und mehr als 190.000 Stars auf GitHub, womit es das Projekt mit den 32 meisten Stars auf der Seite sei. Die Vorgeschichte ist wichtig: Im Oktober 2020 ließ die RIAA youtube-dl per DMCA-Hinweis von GitHub entfernen, GitHub stellte das Repository Wochen später wieder her und richtete einen Verteidigungsfonds von 1.000.000 Dollar ein. Im November 2024 wies das Hanseatische Oberlandesgericht die Berufung von Uberspace zurück, dem Hosting-Anbieter der offiziellen Website von youtube-dl, in einem von Plattenfirmen angestrengten Verfahren.

Die Eingabe der IFPI nennt außerdem zwei KI-Musik-Apps, Rythmix und MusiQ AI, mit denen Nutzer einen YouTube-Link einfügen und eine Aufnahme in einen KI-Cover-Song mit geklonter Künstlerstimme verwandeln können. Beide sind im Apple App Store, und Rythmix ist laut TorrentFreak auch bei Google Play, wo es mehr als fünf Millionen Mal heruntergeladen wurde. Die Europäische Kommission entscheidet, welche vorgeschlagenen Ziele in die Liste für 2027 kommen.

Unterdessen verschiebt sich die Diskussion über KI und Sicherheit unter Entwicklern in Richtung Messung. Ein am 29. September veröffentlichter Blogbeitrag von Microsoft argumentiert, öffentliche Coding-Benchmarks wie SWE-bench sagten Teams wenig über ihre eigenen Codebasen, weil die Aufgaben aus öffentlichen Repositories stammen, auf denen die Modelle auch trainiert werden. „Ein Modell, das bei SWE-bench 92 % erreicht, ist nachweislich gut darin, gut dokumentierte Probleme in populären Repositories zu lösen“, heißt es in dem Beitrag, doch das sage nichts über eine interne Auth-Bibliothek oder die AGENTS.md-Datei eines Teams aus.

Ein am 10. September eingereichtes arXiv-Paper von Gregorio Robles und Daniel M. German beschreibt eine verwandte Verschiebung in der Open-Source-Welt selbst: Stewardship-Communities, in denen ein kleiner Kern die Umsetzungshoheit behält, während eine breitere Gemeinschaft die Software mitgestaltet, ohne Code zu schreiben, weil das Prüfen von Beiträgen inzwischen mehr kostet, als der Code wert ist. Das Abstract warnt, es könne nicht reichen, Menschen die Kontrolle über KI-Agenten zu lassen, wenn KI die Umsetzungsarbeit ersetzt, die diese Gemeinschaften einst erneuert hat.

Zusammengenommen weisen die Entwicklungen der Woche in dieselbe Richtung: Open-Source-Werkzeuge werden um Agenten herum neu gebaut, und die rechtliche und sicherheitstechnische Abrechnung dessen, was diese Agenten tun, beginnt gerade erst, Gerichtsakten und Regierungsmitteilungen hervorzubringen.