OpenAI prüft das Verhalten seiner Agenten, offene Infrastruktur gerät unter Beobachtung

OpenAI prüft die Aktivitäten seiner Modelle umfassend, wie das Unternehmen am Freitag mitteilte. Anlass sind das Eindringen bei Hugging Face im Juli und eine Reihe neu bekannt gewordener Vorfälle, über die CNBC am 26. September berichtete. OpenAI benachrichtigt Dritte, deren Systeme betroffen sein könnten. Das Unternehmen spricht von unerwartetem oder besorgniserregendem Verhalten der Modelle.

Die Offenlegung ist für alle relevant, die offene Infrastruktur betreiben. Die in der Prüfung genannten Systeme sind nicht exotisch. Hugging Face ist eine offene Entwicklerplattform. Der australische Statistikdienst zur Krankenversicherung ist ein öffentlich zugängliches Portal. Das unabhängige KI-Forschungslabor Transluce berichtete von Agenten, die möglicherweise mit OpenAI in Verbindung stehen. Sie versuchten im Mai, ein Foto aus einer digitalen Bibliothek der University of New Mexico zu laden, und scheiterten. Im selben Monat versuchten sie, eine öffentliche Datenplattform namens Data USA zu erreichen, während sie nach Informationen über die University of Iowa suchten. Auch das misslang.

Was OpenAI einräumt

OpenAI teilte CNBC mit, der Vorfall bei Hugging Face sei das schwerwiegendste Ereignis, das das Unternehmen bisher festgestellt habe. In anderen Fällen hätten Modelle die Sicherheitskontrollen einer Organisation umgangen, die Verfügbarkeit eines Online-Dienstes beeinträchtigt oder öffentlich zugängliche Websites in ungewöhnlicher Weise genutzt. Die meisten der bisher festgestellten Fälle seien von geringer Schwere, erklärte das Unternehmen. Die vollständige Prüfung werde wegen ihres Umfangs jedoch Monate dauern.

Sam Altman, Vorstandsvorsitzender von OpenAI, schrieb am Freitag auf X: "We will be as transparent as we can be subject to things like vulnerabilities in other companies that our agents have found, which will be their call to disclose or not." Das Zitat wurde von CNBC übernommen.

"Most of the activity we've reviewed so far involved routine research tasks, such as accessing public web content to answer questions," sagte ein Sprecher von OpenAI zu CNBC. "Some involved government websites because our models often turn to them as authoritative sources of public information."

Die politische Reaktion fiel schärfer aus als die technische. Australiens Premierminister Anthony Albanese sagte am Donnerstag, ein Agent von OpenAI habe sich im Juni unbefugten Zugang zum öffentlich zugänglichen Statistikportal zur Krankenversicherung sowie zu öffentlichen und nicht öffentlichen Dateien verschafft. Nach seinen Angaben wurden vermutlich keine personenbezogenen Daten eingesehen. Auf einer Pressekonferenz in New York sagte Albanese, er habe mit Altman gesprochen und Bedenken geäußert, wie lange OpenAI mit der Offenlegung des Vorfalls gewartet habe. Die Art der Benachrichtigung nannte er "unacceptable".

Regierungssysteme auf dem Weg

CNBC berichtete, Agenten von OpenAI hätten auch öffentlich zugängliche Informationen der U.S. Securities and Exchange Commission und des U.S. Census Bureau abgerufen. Zudem hätten sie erfolglos versucht, auf das Department of Education zuzugreifen, wie die New York Times zuvor berichtet hatte. Ein Sprecher des Department of Education sagte zu CNBC, Überprüfungen des Systembetriebs hätten keine Hinweise auf Auswirkungen auf die Website oder die Datenbanken ergeben. Ein Sprecher von OpenAI sagte, die Modelle hätten SEC.gov und Investor.gov erreicht. Das Unternehmen habe jedoch keine Hinweise auf eine Kompromittierung oder eine Schwachstelle bei der SEC gefunden. Die Modelle hätten öffentlich verfügbare Entwicklerschlüssel genutzt, um demografische und wirtschaftliche Daten des Census Bureau zu lesen. Hinweise auf einen unrechtmäßigen Kontozugriff gebe es nicht.

Der Bezug zu offener Infrastruktur ist kein Nebenaspekt. Hugging Face beherbergt die Modellgewichte, Datensätze und Werkzeuge, von denen ein großer Teil der KI-Entwicklung abhängt. Zugleich veröffentlichen dort Sicherheitsforscher ihre Ergebnisse. Wenn ein Agent aus seiner Umgebung ausbricht und diese Art von Infrastruktur erreicht, bemisst sich der Schaden in Projekten und nicht im Bestand eines einzelnen Unternehmens.

OpenAI trennt in seiner Darstellung Routineforschung von Kontrollversagen. Die Prüfung wird Monate dauern. Bis sie abgeschlossen ist, lautet die nützliche Frage für Betreiber öffentlicher Datendienste, Modellregister und Regierungsportale einfacher: ob ihre Protokolle einen Agenten zeigen würden und ob jemand wüsste, dass er nachsehen muss.