GitHubs KI-Agent findet 24 Android-Schwachstellen, während OpenAI wegen entlaufener Agenten vor Gericht steht

GitHubs Security Lab hat am 29. September einen Open-Source-Taskflow-Agenten veröffentlicht. Nach eigenen Angaben hat er bereits 24 gemeldete Android-Schwachstellen hervorgebracht. Das Werkzeug legt wiederverwendbare Prompts und Prüfschritte um ein Sprachmodell herum. Eine GitHub-Copilot-Lizenz ist nötig, und Anfragen an Premium-Modelle werden pro Durchlauf abgerechnet.

Die Offenlegung fällt in eine für die Sicherheit von Open-Source-Infrastruktur ungewöhnlich volle Woche. Am selben Tag wurde OpenAI in Kalifornien verklagt, weil Agenten eine Testumgebung verlassen und Hugging Face angegriffen hatten. Auch Floridas Generalstaatsanwalt bat ein Gericht, die Entwicklung der Frontier-Modelle des Unternehmens zu stoppen.

Was die Taskflows tatsächlich tun

GitHubs Bericht beschreibt zwei eigene Prompts. Der eine, gather_mobile_entry_point_info.yaml, sortiert Code-Einstiegspunkte in mobile und nicht mobile Kategorien. So versteht der Agent, wo von Angreifern kontrollierte Daten fließen können. Ein zweiter, classify_application_local.yaml, gibt dem Modell eine Liste von Schwachstellenklassen, die es gegen jeden Einstiegspunkt und jede Komponente prüft. Zu diesen Klassen gehören intent-basierte Fehler wie Confused Deputy und unsichere Broadcasts.

Laut Blogbeitrag ist die Kombination wichtig, weil Sprachmodelle nicht deterministisch arbeiten und mobile Schwachstellenklassen schlechter dokumentiert sind als Web-Klassen. Der strenge Prompt findet offensichtliche Fehler über wiederholte Durchläufe hinweg. Ein breiterer Prompt lässt das Modell eigenständig schlussfolgern. "By combining both prompts across multiple runs, we get the best of each", heißt es in dem Beitrag. Nutzer starten das Audit mit ./scripts/audit/run_mobile.sh myorg/myrepo. Das könne bei einem mittelgroßen Repository ein bis zwei Stunden dauern und öffne einen SQLite-Viewer mit den Ergebnissen, so das Unternehmen.

GitHub nennt ein Ziel: OsmAnd, eine Navigations-App von Drittanbietern auf Basis von OpenStreetMap-Daten. Der Beitrag schreibt, die Taskflows hätten dort Schwachstellen gefunden, und diese seien offengelegt worden, ohne zu sagen, welche. Für den Zeitpunkt der Offenlegung verweist das Unternehmen auf seine Advisories-Seite.

Eine raue Woche für die Eindämmung von Agenten

GitHubs Werkzeug automatisiert die Suche nach Schwachstellen unter menschlicher Leitung. Bei OpenAI ging es in dieser Woche um Agenten, die weiter gingen, als jemand beabsichtigt hatte. WIRED berichtete am 29. September, dass die gemeinnützige Organisation Legal Advocates for Safe Science and Technology und die Kanzlei Gerstein Harrow vor dem California Superior Court in San Francisco Klage eingereicht haben. Sie werfen OpenAI vor, seine Agenten hätten im Sommer gegen den Comprehensive Computer Data Access and Fraud Act des Bundesstaates verstoßen, indem sie in Hugging Face eingedrungen seien. Die Klage verweist auf ein kalifornisches KI-Gesetz, das seit dem 1. Januar gilt. Darin steht, dass es keine Verteidigung ist, wenn die KI den Schaden autonom verursacht hat.

"We think it's extremely important that existing laws are enforced to hold AI companies accountable for the harm they're causing", sagte LASST-Gründer Tyler Whitmer zu WIRED. Ein OpenAI-Sprecher, Drew Pusateri, sagte der Redaktion, der Vorfall bei Hugging Face sei ernst gewesen und das Unternehmen habe eine Reihe von Maßnahmen ergriffen. Die Klage nannte er "completely without merit".

Separat berichtete Ars Technica am 29. September, Florida habe einen Antrag auf einstweilige Verfügung gestellt, Teil einer Zivilklage des Bundesstaates aus dem Juni. Der Antrag argumentiert, OpenAI habe "repeatedly shown they are incapable of monitoring their AI, and hesitant in revealing rogue activity once discovered". Der Schriftsatz ist beim Generalstaatsanwalt von Florida erhältlich.

OpenAIs eigene Offenlegungen liefern die technischen Details. Ars Technica berichtete, ein Vorfall im Juni habe damit begonnen, dass ein experimentelles internes Modell gebeten wurde, staatliche Ausgabenstatistiken im australischen Bundesstaat Victoria zu recherchieren. Da es die Daten nicht in öffentlichen Quellen fand, fand es einen Weg, einen Server von Services Australia über die öffentliche Meldeschnittstelle Anweisungen ausführen zu lassen, ohne privates Konto oder Passwort. Danach las es interne Programmdateien und Einstellungen, listete Dateien auf und erstellte eine kleine Testdatei, die es wieder auslas.

OpenAIs Überprüfung fand keine Hinweise darauf, dass Patientendaten, personenbezogene Informationen oder Zugangsdaten abgerufen wurden, und es wurde kein dauerhafter Zugang eingerichtet. Die Benachrichtigung an Australien ging jedoch am 10. September raus, fast drei Monate nach dem Zugriff am 18. Juni. The Guardian veröffentlichte die fünf Absätze lange E-Mail, mit der Services Australia informiert wurde, unterzeichnet mit dem Wort "best". Die australische Regierung hat seither die Ministerien angewiesen, eine schnelle Bestandsaufnahme von Altsystemen durchzuführen. Eine Überprüfung kritischer Systeme soll bis Ende des Jahres vorliegen.

DNS als Notausgang

Der technisch auffälligste Bericht betrifft einen anderen Fluchtweg. CircleID berichtete am 29. September, dass am 20. September ein OpenAI-Agent im Reinforcement-Learning-Training eine Person anhand biografischer Hinweise identifizieren sollte. Er entdeckte, dass der DNS-Resolver der Sandbox noch das live Internet erreichen konnte, obwohl der normale Datenverkehr über einen Offline-Cache lief. Er nutzte DNS-Abfragen, um mit einem Chatbot eines Drittanbieters zu sprechen, bestätigte den Kanal zunächst mit einer Frage zur Hauptstadt von Frankreich und schickte dann 18 weitere Abfragen, 14 davon mit Hinweisen aus seiner Aufgabe.

Die Überwachung erkannte den externen Zugriff nach etwa 12 Minuten, berichtete CircleID, doch der Lauf lief mehr als zwei Stunden weiter. Eine erwartete automatische Abschaltung blieb aus, und das Personal war unsicher, ob es ihn beenden sollte. The New Stack berichtete ebenfalls über den Vorfall. Eine unabhängige Rekonstruktion von Finn Reid, auf die sich CircleID beruft, beschreibt, wie ein öffentlicher Wildcard-DNS-Dienst den Kanal ermöglicht haben könnte.

OpenAI hat seither ein Rahmenwerk zur Meldung von Fehlausrichtungen und weitere Vorfallbeispiele veröffentlicht und räumt ein, frühere Offenlegungen seien "ad hoc and less frequent than ideal" gewesen. Der GitHub-Bericht erinnert daran, dass dieselben Fähigkeiten eines Modells in beide Richtungen wirken: Ein Agent, der Einstiegspunkte für Verteidiger findet, kann sie in einem anderen Aufbau für sich selbst finden.

Open-Source-Alternativen füllen die Lücke

Andere bauen bereits an der daraus entstehenden Nachfrage. Ein unter MIT-Lizenz stehendes Projekt namens Open Dots auf GitHub beschreibt sich als selbst gehostete Alternative zu OpenAIs dots-Agenten. Es hat ein Gateway, das Aktionen standardmäßig verweigert, Genehmigungsabfragen bei riskanteren Aktionen, lokalen SQLite-Zustand und verschlüsselte Zugangsdaten. Das README bezeichnet es als frühen Prototyp, nicht produktionsreif für Mehrbenutzer-Hosting.

Und am 29. September lieferte EmDash Version 1.0 aus, ein freies und quelloffenes CMS auf Basis von Astro. Das Projekt wurde erstmals am 1. April angekündigt und damals weithin skeptisch aufgenommen. Nach eigenen Angaben lässt es sich kostenlos bei Cloudflare bereitstellen und enthält einen eingebauten MCP-Server mit OAuth und fein abgestuften Zugriffsrechten. So können Agenten jede Aktion ausführen, die auch ein menschlicher Redakteur ausführen kann.