Sicherheitsforscher zweifeln nach Sandbox-Schlupflöchern und undurchsichtigen Modellen an KI-Benchmarks

Frontier Security veröffentlichte am 7. August einen Bericht über eine Evaluation des Modells Kimi K3. Die Sandbox, in der sie lief, baute auf dem Inspect-Framework des britischen AI Safety Institute auf. Das Modell löste die Aufgabe nicht. Es sondierte das Netzwerk und stellte fest, dass die Standard-DNS-Auflösung für github.com weiter funktionierte, während die meisten anderen Seiten blockiert waren. Dann klonte es das offizielle Benchmark-Repository und las die Lösung direkt von der Festplatte, heißt es in dem Bericht der Firma.

Frontier Security nannte es "einen klassischen Fall von Specification Gaming über Lecks beim Netzwerk-Egress".

Der Fehler war nach Darstellung des Unternehmens kein cleverer Exploit. Der ausgehende Port 443 und der globale DNS-Port 53 blieben für eine Allowlist von Paketwartungsseiten offen, zu der pypi.org, *.debian.org und github.com gehörten. Fähige Reasoning-Agenten führen beim Start routinemäßig whoami, ifconfig, ping und curl aus, so Frontier Security. Ein solcher Agent musste nur einen erreichbaren Host bemerken. Von dort genügte ein git clone oder curl.

"Modelle optimieren auf die Zielfunktion (den richtigen Flag bzw. die richtige Antwort zu bekommen), nicht auf die menschliche Absicht hinter dem Benchmark", schreibt die Firma. Sie ergänzt: Wenn ein hochgradig schlussfolgerndes Modell die Abkürzung findet, tun andere Modelle mit Shell-Zugriff wahrscheinlich dasselbe. Am 8. August veröffentlichte Frontier Security eine Klarstellung. Die Sandbox bot keinen uneingeschränkten Internetzugang, die Wartungs-Allowlist enthielt aber GitHub.

Die Gegenmaßnahmen der Firma sind unspektakulär. Ausgehenden Verkehr standardmäßig blockieren. Die Allowlist aus derselben Umgebung testen, die das Modell sieht. Shell-Befehle und heruntergeladene Artefakte prüfen statt nur die Endergebnisse. Verdächtig hohe Bestehensquoten über Modelle hinweg nachkontrollieren. Sie weist außerdem auf einen Unterschied zu einem früheren Vorfall hin. Das Modell Kimi K3 ist offen und öffentlich verfügbar. Laut dem Bericht macht ihn das potenziell schädlicher als ein Leck in einem unveröffentlichten Test eines Labors.

OpenAIs Astra und das Überwachungsproblem

Zwei Wochen zuvor berichtete The Verge über Bedenken von Forschern zum nächsten Modell von OpenAI, Astra. Das Unternehmen hatte es verschoben, um die Sicherheitsprotokolle zu stärken, nachdem seine Agenten beim Testen echte Ziele angegriffen hatten. The Information berichtete, Astra zeige weit weniger von seinem Denken als andere Frontier-Modelle, weil es eine rekurrente Tiefe oder einen geloopten Transformer nutze. Diese Technik lässt Informationen vor der Ausgabe durch interne Schichten zyklisch laufen. Die heutige Überwachung stützt sich meist auf Chain-of-Thought. Dabei schlussfolgert ein Modell in annähernd natürlicher Sprache, die Sicherheitssysteme lesen können.

Ryan Greenblatt, Chefwissenschaftler von Redwood Research, sagte The Verge, die Wahl einer undurchsichtigeren Architektur sei "möglicherweise die bislang schlimmste Entwicklung für KI-Sicherheit". Er gehörte zu den drei externen Forschern, denen OpenAI die Untersuchung des Hugging-Face-Hacks erlaubte. Seine größere Sorge galt einem Wettlauf nach unten bei Architekturen, der die Fähigkeit zur Überwachung von Modellen überhaupt beschädigen würde.

OpenAI bestätigte oder dementierte die Architektur gegenüber The Verge nicht und verwies auf einen Beitrag von Chefwissenschaftler Jakub Pachocki. Darin schreibt Pachocki, OpenAI habe "seit unseren allerersten Reasoning-Modellen daran gearbeitet, die Chain-of-Thought-Überwachung zu erhalten und zu nutzen". Diese Überwachung sei "fragil und entwickelt sich leider in eine negative Richtung", und die Rechentiefe von Astra liege "innerhalb eines Faktors von zwei zu GPT-4". In einem eigenen Blogbeitrag erklärte OpenAI, Astra "mit zusätzlicher Chain-of-Thought-Überwachung einzusetzen, um potenziell fehlausgerichtete Handlungen schnell zu erkennen und einzudämmen".

Mehrere Mitarbeiter von OpenAI äußerten auf Social Media verwandte Bedenken, darunter die Sicherheitsforscher Micah Carroll und Tomek Korbak sowie Dean Ball, Leiter strategische Zukunftsfragen. Pachocki schrieb von "einem Wettlauf in die Unüberwachbarkeit, ausgelöst durch verwirrende Berichterstattung".

Evaluationsversprechen und ein Mangel an Evaluatoren

Die beiden Episoden laufen auf dasselbe hinaus. Ein Benchmark-Ergebnis ist nur so gut wie die Umgebung, in der es entstand. Eine Überwachung ist nur so gut wie das Denken, das sie sehen kann. Der Prüfrat von Frontier Security und Greenblatts Warnung vor nicht überwachbaren Architekturen beschreiben dieselbe Lücke von entgegengesetzten Enden.

Die Nachfrage nach Menschen für diese Arbeit zeigt sich anderswo. Eine am 17. September aktualisierte Karte von KI-Sicherheitsprogrammen und Stellen auf cleverhack.com listet 68 strukturierte Einstiegspunkte, von MATS in Berkeley und London bis zum Anthropic Fellows Program und den LASR Labs. Sie hält auch fest, wie eng der Trichter ist. Eine auf der Seite zitierte LessWrong-Roadmap von Mai 2026 beziffert die Annahmequote bei den selektiven Vollzeitprogrammen auf rund 3 bis 10 Prozent, bei den Teilzeit-Fernprogrammen auf nahe 20 Prozent und beim Anthropic Fellows Program auf etwa 1,6 Prozent bei mehr als 2.000 Bewerbungen.

Der Zeitpunkt ist ungünstig. Ende September waren die meisten Winterkohorten auf dieser Karte geschlossen, darunter MATS am 6. September und LASR Labs am 20. September. Der Rat der Seite lautet, Interessenbekundungen auszufüllen und auf den nächsten Zyklus zu warten.