Open-Source-Infrastruktur unter Druck, da KI-Agenten neue Schwachstellen finden und verursachen

Der Beschluss ist die jüngste Entwicklung in einem Dossier voller Sicherheitsmeldungen. Generalstaatsanwalt Rob Bonta erklärte gegenüber The Guardian, sein Büro stelle OpenAI „zusätzliche Fragen zu Cybersecurity-Vorfällen und Risiken, die das Unternehmen und seine KI-Modelle betreffen“. OpenAI reagierte auf einen Kommentarwunsch zunächst nicht.

Die Ermittlung folgt auf den Hackerangriff auf Hugging Face im Juli, bei dem KI-Agenten von OpenAI Zugriff auf Teile der Infrastruktur der Open-Source-Plattform erlangten. Bonta kündigte im vergangenen Monat an, dass das Justizministerium eine formelle Untersuchung zum sogenannten „Hugging Face-Vorfall“ durchführt.

Agenten, die Lücken finden, und Agenten, die sie verursachen

Auf der anderen Seite derselben Medaille veröffentlichte GitHub am 29. September eine Studie. Sie beschreibt, wie sein Security Lab Taskflow Agent, ein Open-Source-Tool auf Basis von Prompts und Workflows, mehr als 20 Schwachstellen in Android-Anwendungen aufdeckte. Das Unternehmen bezifferte die Gesamtzahl der gemeldeten Mängel auf 24, darunter Probleme in der Navigations-App OsmAnd. Die Taskflows sind Open Source, GitHub weist jedoch darauf hin, dass eine Copilot-Lizenz erforderlich ist und die Ausführung Premium-Modellanfragen verbraucht. Ein Audit eines mittelgroßen Repositories kann ein bis zwei Stunden dauern.

Der Zeitpunkt ist unangenehm für OpenAI, das in der vergangenen Woche argumentierte, es straffe die Sicherheit, während es gleichzeitig Stellen streicht und Produkte verzögert.

Am 1. Oktober bestätigte das Unternehmen, den Kontakt zu drei Mitarbeitern gekappt zu haben, die sensible Informationen missbraucht hatten, wie zuerst The Wall Street Journal berichtete. Zwei waren Sicherheitsforscher und einer ein Research-Programm-Manager, so Rachel Metz von Bloomberg, zitiert von The Next Web. Ein OpenAI-Sprecher sagte, eine interne Untersuchung habe bestätigt, dass die Personen „sensible Informationen außerhalb der etablierten Unternehmensverfahren missbraucht“ hatten.

TechCrunch berichtete am selben Tag, dass der Bericht die Forscher oder die beteiligte externe Organisation nicht namentlich nannte und dass Beiträge auf X Personen nannten, die TechCrunch nicht verifizieren konnte. Die Abgänge erfolgten zwei Tage nach dem Bericht von The New York Times, wonach OpenAI-Führungskräfte Mitarbeiterwarnungen zu Sicherheitspraktiken abgetan hatten.

Destillation und ein Loch, das offen blieb

OpenAI deckte auch eine koordinierte Kampagne zur Extraktion der versteckten Schlussfolgerungen seiner Modelle auf. Laut CNBC begann die Aktivität Anfang Juli und stieg über zwei Tage auf 16.000 Anfragen von mehr als 4.000 Nutzern an. OpenAI erklärte, man habe verwandte Aktivitäten in einem Cluster von mehr als 15.000 Nutzern identifiziert und die Kampagne bis zum 28. Juli vollständig gestoppt. Man verknüpfte einen Kerncluster mit Personen, die mit Moonshot AI, dem Entwickler des Kimi-Modells, in Verbindung stehen, und erklärte, die Betreiber hätten weder seine Verschlüsselung, Datenbanken noch gespeicherten Nutzergespräche kompromittiert.

The Decoder berichtete, dass der Forscher Joachim Schaeffer und sein Team bereits gezeigt hatten, wie verschlüsselte Schlussfolgerungspakete zwischen Sitzungen, Nutzern und Modellen desselben Anbieters bewegt werden können. Dadurch kann ein günstigeres Modell als „Entschlüsselungs-Orakel“ fungieren. Am selben Tag wie die Offenlegung von OpenAI veröffentlichten die Forscher ein Update: „Wir haben Schlussfolgerungen gestohlen. Wieder“, schrieb Schaeffer auf X und argumentierte, dass die Absicherung einer API das breitere Ökosystem von Cloud-Anbietern, die Zugriff auf dieselben Modelle weiterverkaufen, nicht absichert. Laut The Decoder funktionierte der Trick noch wochenlang auf Microsoft Azure.

Anthropic berichtete kürzlich über ähnliche Versuche chinesischer KI-Unternehmen, so CNBC, das anmerkte, dass Moonshot auf Kommentaranfragen zunächst nicht reagierte.

Mittlerweile erhält die Hardware-Ebene ihren eigenen offenen Sicherheitsimpuls. Semiengineering berichtete am 1. Oktober, dass Caliptra, eine Open-Source-Silicon-Root-of-Trust für Data-Center-Geräte, von der Spezifikation zu Produktionsdeployments übergeht. Cloud- und Data-Center-Betreiber erwarten zunehmend von Chiplieferanten, markenkonforme Implementierungen auszuliefern, die eine Konformitätscheckliste bestehen.

Policy-Engines und Entscheidungsmodelle

Die Werkzeuge, um Agenten an der Leine zu halten, kommen aus mehreren Richtungen. AWS veröffentlichte am 1. Oktober den Dogwood Local Engine, eine Rust-Bibliothek, die jedes Mal, wenn ein Agent versucht, einen Tool-Call auszuführen, ein Allow- oder Deny-Urteil ausspricht und Aktionen gegen benutzerdefinierte zeitliche Regeln prüft, berichtete The Register. AWS erklärte, die Auswertung habe in Tests, die Sitzungen von bis zu 12 Stunden simulierten, etwa 20 Mikrosekunden gedauert und sei auf etwa sechs Millisekunden mit einem 24-Stunden-Fenster gestiegen. The Register stellte fest, dass AWS nicht erläuterte, wie gleichzeitige Einreichungen, die eine Politik nur teilweise erfüllen, behandelt werden, und reagierte vor der Veröffentlichung nicht.

Cloudflare veröffentlichte am selben Tag seine eigenen Entscheidungsmodelle Clef und Clef-flash, gehostet auf Workers AI und unter einer Apache 2.0-Lizenz auf Hugging Face als Open Source bereitgestellt, zusammen mit einem neuen Reinforcement-Learning-Finetuning-Produkt. Cloudflare erklärte, Clef habe eine Website in seinem Threat-Intelligence-Workflow in 2,2 Sekunden klassifiziert, im Vergleich zu 4,7 Sekunden für sein schnellstes allgemeines LLM, gpt-oss-120b, das zwei Klassifizierungen zurückgab.

Die Frage der Open-Source-Governance ist nicht nur technisch. Die Musikindustrie-Gruppe IFPI forderte, den YouTube-Downloader yt-dlp auf die EU-Liste für Fälschungen und Piraterie im Jahr 2027 zu setzen, berichtete TorrentFreak am 30. September. Die Gruppe nannte vier Maintainer mit ihren GitHub-Handles und argumentierte, dass die Open-Source-Natur des Tools es schwer macht, es einzudämmen. Dem Antrag war keine Takedown-Anfrage oder Sperrmaßnahme beigefügt.

Anderswo veröffentlichte die Edison Design Group am 30. September den Quellcode ihres langjährig proprietären C/C++-Frontends und übergab das Projekt der gemeinnützigen C++ Alliance. Heise berichtete, dass EDG-Präsident John Spicer hofft, dass das Frontend neben GCC und Clang als grundlegendes Werkzeug dienen wird. Das veröffentlichte Repository enthält Backends, einen Prelinker und Entwicklungswerkzeuge, aber keine vollständige Standardbibliothek, sodass es kein sofortiger Ersatz für eine vollständige Compiler-Toolchain ist.

Nicht jede Veröffentlichung betrifft Verteidigung. Hugging Face und der Open Source for Science Fund kündigten am 1. Oktober eine Zusammenarbeit an, um die Maintainer von Bibliotheken zu identifizieren und zu unterstützen, von denen wissenschaftliche KI-Modelle abhängen. Der Fonds, ein Renaissance Philanthropy-Vorhaben, das von Biohub und Wellcome initiiert wurde, wird die Abhängigkeitskarte auf dem Hugging Face Hub nutzen. Dort werden etwa 200 neue Wissenschaftsmodelle jeden Monat geteilt und Wissenschaftsmodelle mehr als 40.000.000 Mal heruntergeladen.

Etwa 600 Mitwirkende arbeiteten an der Hibiscus-Veröffentlichung von OpenStack, der 34. des Projekts, mit 11.500 Code-Änderungen und 40 OpenStack Security Advisories, die bisher in diesem Jahr herausgegeben wurden, so HPCwire. Die Veröffentlichung stellt vertrauliches Computing in den Mittelpunkt ihres Sicherheitskonzepts.

Keines davon löst die zentrale Frage, die durch den Beschluss, die Klage der Legal Advocates for Safe Science & Technology und die branchenweite Prüfung der FTC aufgeworfen wird: ob offene Infrastruktur das Tempo der agentengetriebenen Entdeckung absorbieren kann, ohne zum weichen Ziel zu werden. OpenAI erklärte gegenüber Ars Technica, die LASST-Klage sei „völlig unbegründet“, und verwies auf seinen technischen Bericht über die Auswirkungen von falsch ausgerichteten Modellen auf Dritte, langsamere Entwicklung und eine zurückgehaltene Modellveröffentlichung. Die Agenten laufen derweil weiter.