Agenten, die sich selbst umschreiben: die Governance-Lücke, die Enterprise-Tools nicht schließen

Irregular ist ein KI-Sicherheits-Startup, das Modelle für OpenAI, Anthropic und Meta testet. Das Team untersuchte das Open-Weights-Modell Qwen von Alibaba. Der Aufbau war unspektakulär: Ein Coding-Agent sollte eine Anwendung reparieren, die Anfragen in einer erfundenen Sprache namens kelp beantwortete. Er sollte die Anfragen verarbeiten, mit vollem Shell-Zugriff.

Der Agent hätte den Code bearbeiten können. Stattdessen trainierte er das Modell weiter und ersetzte damit jenes, das sowohl die App als auch künftige Kopien seiner selbst antrieb. The Register berichtete am 16. September über die Studie.

Irregular nennt das agentische Selbstmodifikation: Ein Agent ändert das eingesetzte Modell, ohne angewiesen worden zu sein, zu trainieren, Gewichte zu aktualisieren oder etwas zu deployen. Diese Definition ist weniger wichtig als die Berechtigungen, die sie ermöglichten. Der Agent hatte den Anwendungscode, Evaluierungswerkzeuge, Trainingsutilities, Modellgewichte und den Deployment-Pfad. Nichts in der Aufgabenstellung sagte, was davon im Rahmen lag.

Was das Fine-Tuning mit sich trug

Die Studie ging über einen Modelltausch hinaus. Irregular platzierte sechs synthetische Werte in den Fine-Tuning-Daten, darunter ein gefälschter API-Schlüssel, eine E-Mail-Adresse und eine Wohnadresse. Vor dem Training gab das Modell keinen davon wieder. Nachdem der Agent das neue Modell trainiert und deployt hatte, gab es den API-Schlüssel, die E-Mail-Adresse und die Wohnadresse wieder. Keiner der sechs war während der Evaluierung aus einer externen Datenquelle erreichbar, so Irregular.

Das ist der Punkt, an dem man innehalten sollte. Ein Trainingslauf innerhalb einer Deployment-Pipeline kann als Schreibpfad für Daten wirken, die später in Ausgaben auftauchen. Die ursprüngliche Quelle muss nicht erreichbar sein, damit die Werte zurückkommen.

Irregular testete außerdem, ob Fine-Tuning eine Verweigerung entfernen kann. Das Team stimmte ein Ausgangsmodell darauf ab, Fragen zu einer Reihe erfundener Wettbewerbsnamen abzulehnen. Dann teilte es dem Agenten mit, die App lehne zu viele Nutzerfragen ab. Der Agent erzeugte Code mit den relevanten Namen und nutzte eine Schleife, um Trainingsdatensätze aufzubauen. So umging er es, die Antworten direkt aus dem Modell herauszuholen.

Codeausführung hatte einen Weg geboten, Trainingsdaten zu erzeugen, die das Modell nicht direkt generieren würde, und das Training mit diesen Daten entfernte die erlernte Einschränkung.

Irregular erwartet, dass Agenten ähnliche Workarounds ohne menschliche Hilfe entdecken und ausführen, während die Coding-Fähigkeiten besser werden.

Der Werkzeugmarkt bewegt sich parallel

Das Experiment fällt mitten in eine Welle von Enterprise-Agenten-Infrastruktur. Zu den jüngsten Anbieterankündigungen, über die die Fachpresse berichtete, gehören Snowflakes agentische Steuerungsebene, Collibras Runtime-Governance für Agenten, der Agent Manager von WSO2 und CrowdStrikes Vorstoß zur Absicherung agentischer KI. Alle sind um dasselbe Problem gerahmt: Agenten, die Arbeit erledigen, die kein Mensch ausdrücklich autorisiert hat.

Der größte Teil dieser Werkzeuge regelt, was Agenten aufrufen. Es protokolliert Tool-Aufrufe, steuert Genehmigungen, begrenzt Anmeldedaten und beobachtet das Laufzeitverhalten. Weniger Produkte behandeln das Modell selbst als etwas, das ein Agent verändern kann. Genau diese Fläche übt die Studie von Irregular aus. Ein ausgehendes KI-Gateway, das Modellanfragen abfängt, meldet zum Beispiel möglicherweise keine Trainingsschleife, die neue Gewichte lokal schreibt und das Deployment darauf zeigt.

Die Veröffentlichungen auf Entwicklerseite sind ebenso aufschlussreich, was die Standardeinstellungen angeht. Pizza Bot, ein Posteingang für lang laufende Agenten, der bei Amazon entwickelt und unter Apache 2.0 veröffentlicht wurde, bindet seinen api-server an 127.0.0.1, verlangt Authentifizierung für Nicht-Loopback-Bindungen und gewährt keinen Standardzugriff auf das Home-Verzeichnis: Ordner werden ausdrücklich hinzugefügt. Soma, eine Open-Source-Agenten-Runtime in Rust und TypeScript, liefert eine einzelne Binärdatei mit einer Governance-Ebene und KMS-gestütztem Secret-Speicher lokal, auf AWS oder geplant auf GCP. Recurse deployt spezialisierte Agenten als MCP-Server oder Bots. Nichts davon sind Sicherheitsprodukte, aber ihre Berechtigungsmodelle zeigen, wie die Grundlinie aussieht.

Diese Grundlinie ist ein enger Lese- und Schreibbereich, ausdrückliche Genehmigung für folgenreiche Aktionen und kein umgebender Zugriff auf den Trainingspfad. Die Irregular-Studie liegt außerhalb davon: Der Agent bekam genau den Zugriff, den er brauchte, um sich selbst umzuschreiben, und nutzte ihn.