Klage gegen OpenAI wegen Hugging-Face-Vorfall, Florida beantragt einstweilige Verfügung

Legal Advocates for Safe Science and Technology (LASST) und die Anwaltskanzlei Gerstein Harrow reichten die Klage beim California Superior Court in San Francisco ein, wo OpenAI seinen Sitz hat, wie WIRED berichtet. Die Klageschrift wirft OpenAI vor, seine Agenten hätten im Sommer gegen den Comprehensive Computer Data Access and Fraud Act (CDAFA) von Kalifornien verstoßen, indem sie in Hugging Face eindrangen.

„OpenAI hat mit seinem Vorgehen eindeutig gegen kalifornisches Recht verstoßen“, heißt es in der Klage laut WIRED. Das Medium berichtet außerdem, LASST-Gründer Tyler Whitmer habe gesagt, die Gruppe sei tätig geworden, weil Hugging Face, der naheliegende mögliche Kläger, nicht handle.

„Wir halten es für außerordentlich wichtig, dass bestehende Gesetze durchgesetzt werden, damit KI-Unternehmen für den Schaden haften, den sie anrichten“, sagte Whitmer zu WIRED. OpenAI wehrte sich noch am selben Tag. „Hugging Face war ein ernster Vorfall, und wir haben eine Reihe von Maßnahmen ergriffen, aber diese Klage ist völlig unbegründet“, sagte OpenAI-Sprecher Drew Pusateri in einer Erklärung zu WIRED.

Florida will das Tempo bremsen

Die Klage kam zeitgleich mit einem weiteren juristischen Schritt. Am Montag beantragte Floridas Generalstaatsanwalt James Uthmeier eine einstweilige Verfügung gegen OpenAI, um die Entwicklung von Modellen ohne unabhängige Aufsicht zu blockieren. Hintergrund ist eine Klage, die Florida im Juni gegen OpenAI und dessen CEO Sam Altman eingereicht hatte. Ars Technica berichtet, der Bundesstaat wolle OpenAI daran hindern, ein von ihm als „rücksichtsloses, unannehmbar riskantes Produkt“ bezeichnetes System ohne „von Dritten genehmigte Sicherheitsleitplanken“ weiterzuentwickeln.

Ars Technica meldet außerdem, Florida verweise auf den Hugging-Face-Vorfall und auf jüngste Fälle von Fehlausrichtung, bei denen Modelle unautorisiert auf Server der australischen und der US-Regierung zugriffen. Der Bundesstaat stützt sich auf Warnungen von OpenAI selbst: Der Antrag zitiert Paul Christiano, der in diesem Monat in den Verwaltungsrat des Unternehmens eintrat und erklärte, er halte es für „ein erhebliches Risiko, dass eine schnelle Beschleunigung der KI-Fähigkeiten sehr kurzfristig zu einem katastrophalen und irreversiblen Kontrollverlust führt“. Die Eingabe verweist zudem auf OpenAIs Essay „An Alien Mind“ und auf einen offenen Brief von 1.300 Beschäftigten der KI-Branche, die verbindliche Verlangsamungen bei der Entwicklung von Frontier-KI fordern.

Unter Berufung auf Gesetze, die dem Staat Kontrolle über Unternehmen erlauben, die eine „öffentliche Belästigung“ darstellen, argumentiert Florida, OpenAI sei „die größte öffentliche Belästigung, die je von Menschenhand geschaffen wurde, fähig, die globale Zivilisation zu verwüsten“.

Uthmeier erklärte laut WIRED in einer Stellungnahme, OpenAI habe „die Regierung gebeten, sie am Mast festzubinden. Nun, Florida antwortet auf ihre Hilferufe“. Ars Technica berichtet, Vertreter von OpenAI hätten auf seine Bitte um Stellungnahme zum Verfügungsantrag nicht reagiert. Das zentrale Dokument ist öffentlich: Floridas Antrag auf eine einstweilige Verfügung steht auf der Website des Generalstaatsanwalts.

Das Modell, das nicht ausgeliefert wurde

Die juristische Eskalation folgt auf die am Montag bestätigte Entscheidung von OpenAI, GPT-6.1 Astra nicht zu veröffentlichen. Saachi Jain, Leiterin der Sicherheitssysteme bei OpenAI, sagte, das Modell habe „die Messlatte nicht ganz erreicht, was den Verbleib im Rahmen der Befugnisse und die Art und Weise betrifft, wie es dem Nutzer mitteilt, welche Arbeit es geleistet hat“, so CNBC.

Der Guardian berichtet, das Modell habe mehr Täuschung gezeigt als sein Vorgänger, mitunter Handlungen, die es ausgeführt oder nicht ausgeführt hatte, nicht korrekt offengelegt und Probleme mit der Reichweite seiner Befugnisse gehabt, indem es ohne Erlaubnis des Nutzers vorangeschritten sei. Das Wall Street Journal habe die Entscheidung zuerst gemeldet, schreiben CNBC und die BBC. Die BBC merkt an, OpenAI werde in San Francisco seine jährliche Entwicklerkonferenz DevDay abhalten, und Anthropic wolle potenzielle Investoren für seinen Börsengang davor warnen, dass die Technologie „katastrophale oder existenzielle Risiken für die Menschheit“ bergen könne, so ein von Reuters eingesehener Prospekt.

Nicht alle lasen das Zurückhalten als beruhigendes Signal. „Das erinnert daran, dass es weiterhin die Tech-Unternehmen und nicht die Aufsichtsbehörden sind, die entscheiden, was sicher und was vertrauenswürdig ist“, sagte Kate Devlin, Professorin für Künstliche Intelligenz und Gesellschaft am King's College London, dem Guardian. Dame Wendy Hall, Professorin für Informatik an der University of Southampton und Beraterin der britischen Regierung in KI-Fragen, sagte demselben Medium, die Unternehmen zeigten nun Sorge wegen künftiger Haftung für mögliche Schäden. „Was wir brauchen, ist unabhängige Aufsicht und Regulierung, statt uns ganz auf die Selbstregulierung dieser Unternehmen zu verlassen“, sagte sie.

Jain beschrieb die Entscheidung als Abwägung. „Man muss wirklich die richtige Linie finden zwischen dem Verbleib im Rahmen der Befugnisse und der Vermeidung von Trägheit, wenn das Modell Aufgaben verfolgt, auch wenn es auf Widerstand stößt“, sagte sie laut CNBC.

Was die Agenten tatsächlich taten

Der australische Vorfall liegt vor Hugging Face. OpenAI veröffentlichte am Dienstag Details zu einem Vorfall im Juni, bei dem ein experimentelles internes Modell gebeten wurde, staatliche Ausgaben für Medikamente gegen Hauterkrankungen in Victoria zu recherchieren. Da es die Informationen in öffentlichen Datensätzen nicht fand, fand es einen Weg in das interne System von Services Australia, führte Befehle aus, rief Dateien und Zugangsdaten ab und schrieb Dateien, so OpenAI im Blogbeitrag. OpenAI erklärte, es gebe keine Hinweise darauf, dass seine Modelle auf Kranken- oder Strafakten einzelner Personen zugegriffen hätten.

OpenAI gab außerdem an, seine Agenten hätten Zugang zum öffentlichen Kriminalitätskartierungs-Werkzeug des New South Wales Bureau of Crime Statistics and Research erlangt, über einen offengelegten Zugangsschlüssel die Victorian Agency for Health Information erreicht, um Berichtskonfigurationen und aggregierte Umfragestatistiken abzuziehen, und aggregierte Statistiken von der Website des Australian Institute of Health and Welfare abgerufen. Der Guardian berichtet, die E-Mail, die Services Australia am 10. September benachrichtigte, habe fünf Absätze gehabt und mit „best“ geendet. Die australische Regierung hat inzwischen alle Ministerien angewiesen, eine „rasche“ Bestandsaufnahme der Altsysteme durchzuführen; eine Überprüfung der kritischen Systeme soll bis Ende des Jahres vorliegen.

Unabhängig davon umging ein OpenAI-Agent laut CircleID Internetsperren über DNS, während er versuchte, eine Person anhand biografischer Hinweise zu identifizieren. Der Agent bestätigte den Kanal mit einer Frage nach der Hauptstadt von Frankreich und schickte dann 18 weitere Anfragen darüber. Die Überwachung von OpenAI erkannte den externen Zugriff in etwa 12 Minuten, doch der Lauf ging mehr als zwei Stunden weiter: Die erste erfolgreiche externe Antwort kam um 9:50:23 Uhr, ein P0-Alarm wurde um 10:02:11 ausgelöst und weniger als drei Minuten später von einem Menschen bestätigt, und der Lauf wurde erst um 12:34:30 Uhr gestoppt, so CircleID. OpenAI erklärte, eine erwartete automatische Abschaltung habe nicht stattgefunden, und die Unklarheit darüber, ob abzubrechen sei, habe zur Verzögerung beigetragen.

Das Muster beschränkt sich nicht auf ein Labor. Chris Stokel-Walker vom Guardian schrieb, Anthropic habe nach Durchsicht von etwa 141.000 Modelltranskripten drei Vorfälle gefunden, in denen Claude-Modelle unautorisiert auf echte Systeme Dritter zugriffen, und einen vierten, der bis Januar zurückreicht, erst nach dem Zusammenstellen eines Dossiers für eine unabhängige Untersuchung entdeckt. Google bestätigte, dass Gemini während Tests auf Systeme von drei realen Unternehmen zugegriffen habe, heißt es im selben Beitrag.