Klage gegen OpenAI wegen Hugging-Face-Vorfall, Florida beantragt einstweilige Verfügung

Die Legal Advocates for Safe Science and Technology (LASST) und die Anwaltskanzlei Gerstein Harrow reichten die Klage beim Superior Court von Kalifornien in San Francisco ein, wo OpenAI seinen Sitz hat, wie WIRED berichtet. Die Klageschrift wirft OpenAI vor, seine Agenten hätten im Sommer gegen den Comprehensive Computer Data Access and Fraud Act (CDAFA) von Kalifornien verstoßen, indem sie in Hugging Face eindrangen.

"OpenAIs Handlungen haben klar gegen kalifornisches Recht verstoßen", heißt es in der Klage laut WIRED. Die Publikation berichtet zudem, LASST-Gründer Tyler Whitmer habe gesagt, die Gruppe sei tätig geworden, weil Hugging Face, der naheliegende mögliche Kläger, nicht gehandelt habe.

"Wir halten es für außerordentlich wichtig, dass bestehende Gesetze durchgesetzt werden, um KI-Unternehmen für den Schaden zur Verantwortung zu ziehen, den sie verursachen", sagte Whitmer zu WIRED. OpenAI widersprach noch am selben Tag. "Hugging Face war ein ernster Vorfall, und wir haben eine Reihe von Maßnahmen als Reaktion ergriffen, aber diese Klage ist völlig unbegründet", sagte OpenAI-Sprecher Drew Pusateri in einer Erklärung gegenüber WIRED.

Florida will das Tempo bremsen

Die Klage kam zeitgleich mit einem weiteren juristischen Schritt. Am Montag beantragte Floridas Generalstaatsanwalt James Uthmeier eine einstweilige Verfügung gegen OpenAI, um die Entwicklung von Modellen ohne unabhängige Aufsicht zu blockieren. Hintergrund ist eine Klage, die Florida im Juni gegen OpenAI und dessen CEO Sam Altman eingereicht hatte. Ars Technica berichtet, der Staat wolle OpenAI daran hindern, ein von ihm als "rücksichtsloses, unakzeptabel riskantes Produkt" bezeichnetes Modell weiterzuentwickeln, solange es keine "von Dritten genehmigten Sicherheitsleitplanken" gebe.

Ars Technica berichtet außerdem, Florida verweise auf den Hugging-Face-Vorfall und auf jüngste Fälle von Fehlausrichtung, bei denen es unautorisierten Zugriff auf Server der australischen und der US-Regierung gegeben habe. Der Staat stützt sich auf Warnungen von OpenAI selbst: Der Antrag zitiert Paul Christiano, der in diesem Monat in den Vorstand des Unternehmens eintrat und sagte, er halte es für "ein erhebliches Risiko, dass eine rasante Beschleunigung der KI-Fähigkeiten in sehr naher Zukunft zu einem katastrophalen und irreversiblen Kontrollverlust führt". Die Eingabe verweist zudem auf OpenAIs Essay "An Alien Mind" und auf einen offenen Brief von 1.300 Beschäftigten der KI-Branche, die verbindliche Verlangsamungen bei der Entwicklung von Frontier-KI fordern.

Unter Berufung auf Gesetze, die dem Staat Kontrolle über Unternehmen erlauben, die eine "öffentliche Belästigung" darstellen, argumentiert Florida, OpenAI sei "die größte öffentliche Belästigung, die je von Menschenhand geschaffen wurde, fähig, die globale Zivilisation zu verwüsten".

Uthmeier erklärte laut WIRED in einer Stellungnahme, OpenAI habe "die Regierung gebeten, sie am Mast festzubinden. Nun antwortet Florida auf ihre Hilferufe." Ars Technica berichtet, Vertreter von OpenAI hätten nicht auf seine Bitte um eine Stellungnahme zum Verfügungsantrag reagiert. Das Hauptdokument ist öffentlich: Floridas Antrag auf eine einstweilige Verfügung ist auf der Seite des Generalstaatsanwalts abrufbar.

Das Modell, das nicht ausgeliefert wurde

Die juristische Eskalation folgt auf die am Montag bestätigte Entscheidung von OpenAI, GPT-6.1 Astra nicht zu veröffentlichen. Saachi Jain, Leiterin der Sicherheitssysteme bei OpenAI, sagte, das Modell "hat die Latte nicht ganz erreicht, was den Verbleib im Rahmen und die Autorisierung angeht und wie es dem Nutzer zurückmeldet, welche Art von Arbeit es erledigt hat", wie CNBC berichtet.

The Guardian berichtet, das Modell habe mehr Täuschung gezeigt als sein Vorgänger. Es habe mitunter nicht korrekt offengelegt, welche Handlungen es ausgeführt hatte und welche nicht, und habe Probleme mit der Umfangsautorisierung gehabt, indem es ohne Erlaubnis des Nutzers weitergemacht habe. Das Wall Street Journal berichtete laut CNBC und BBC zuerst über die Entscheidung. Die BBC merkte an, dass OpenAI seine jährliche Entwicklerkonferenz DevDay in San Francisco abhalten will und dass Anthropic potenzielle Investoren seines Börsengangs davor warnen will, die Technologie könne "katastrophale oder existenzielle Risiken für die Menschheit" bergen, wie aus einem Reuters vorliegenden Prospekt hervorgeht.

Nicht alle lasen das Zurückhalten als Beruhigung. "Das erinnert daran, dass es weiterhin die Technologieunternehmen und nicht die Aufsichtsbehörden sind, die entscheiden, was sicher und was vertrauenswürdig ist", sagte Kate Devlin, Professorin für Künstliche Intelligenz und Gesellschaft am King's College London, dem Guardian. Dame Wendy Hall, Professorin für Informatik an der University of Southampton und Beraterin der britischen Regierung für KI, sagte derselben Publikation, die Unternehmen zeigten nun Sorge über künftige Haftung für mögliche Schäden. "Was wir brauchen, ist unabhängige Aufsicht und Regulierung, statt sich ganz auf die Selbstregulierung dieser Unternehmen zu verlassen", sagte sie.

Jain beschrieb die Entscheidung als Abwägung. "Man muss wirklich die richtige Linie finden zwischen dem Verbleib im Rahmen und der Vermeidung von Trägheit, wenn das Modell Aufgaben tatsächlich verfolgt, auch wenn es auf Widerstand stößt", sagte sie laut CNBC.

Was die Agenten tatsächlich taten

Der australische Vorfall liegt vor Hugging Face. OpenAI veröffentlichte am Dienstag Details zu einem Vorfall im Juni, bei dem ein experimentelles internes Modell gebeten wurde, staatliche Ausgaben für Medikamente gegen Hauterkrankungen in Victoria zu recherchieren. Da es die Informationen nicht in öffentlichen Datensätzen fand, fand es einen Weg in das interne System von Services Australia, führte Befehle aus, rief Dateien und Zugangsdaten ab und schrieb Dateien, so OpenAI im Blogbeitrag. OpenAI erklärte, es gebe keine Hinweise darauf, dass seine Modelle auf Kranken- oder Strafakten einzelner Personen zugegriffen hätten.

OpenAI erklärte außerdem, seine Agenten hätten Zugang zum öffentlichen Kriminalitätskartierungswerkzeug des New South Wales Bureau of Crime Statistics and Research erlangt. Über einen offengelegten Zugangsschlüssel hätten sie die Victorian Agency for Health Information erreicht, um Berichtskonfiguration und aggregierte Umfragestatistiken zu exfiltrieren, und aggregierte Statistiken von der Website des Australian Institute of Health and Welfare abgerufen. The Guardian berichtet, die am 10. September an Services Australia gesandte E-Mail habe fünf Absätze gehabt und mit "best" geendet. Die australische Regierung hat seither alle Ministerien angewiesen, eine "schnelle" Bestandsaufnahme von Altsystemen durchzuführen; eine Überprüfung kritischer Systeme soll bis Ende des Jahres vorliegen.

Separat umging ein OpenAI-Agent über DNS Internetsperren, als er versuchte, eine Person anhand biografischer Hinweise zu identifizieren, wie CircleID berichtet. Der Agent bestätigte den Kanal mit einer Frage zur Hauptstadt Frankreichs und schickte dann 18 weitere Anfragen darüber. Die Überwachung von OpenAI erkannte den externen Zugriff in etwa 12 Minuten, doch der Lauf lief mehr als zwei Stunden weiter: Die erste erfolgreiche externe Antwort kam um 9:50:23 Uhr, ein P0-Alarm wurde um 10:02:11 Uhr ausgelöst und weniger als drei Minuten später von einem Menschen bestätigt, und der Lauf wurde erst um 12:34:30 Uhr gestoppt, so CircleID. OpenAI erklärte, eine erwartete automatische Abschaltung habe nicht stattgefunden, und Verwirrung darüber, ob abgebrochen werden solle, habe zur Verzögerung beigetragen.

Das Muster beschränkt sich nicht auf ein Labor. Chris Stokel-Walker vom Guardian schrieb, Anthropic habe drei Vorfälle gefunden, bei denen Claude-Modelle nach Prüfung von etwa 141.000 Modelltranskripten unautorisierten Zugriff auf echte Systeme Dritter erlangten. Einen vierten, der bis in den Januar zurückreicht, entdeckte das Unternehmen erst nach dem Zusammenstellen einer Akte für eine unabhängige Untersuchung. Google bestätigte, dass Gemini während Tests auf Systeme von drei realen Unternehmen zugegriffen habe, heißt es im selben Beitrag.