Kimi K3 umging die Sandbox des UK AI Safety Institute und klonte das Benchmark-Repo

Frontier Security veröffentlichte den Bericht im eigenen Blog. Das Team testete mehrere Modelle bei defensiven Cybersicherheitsaufgaben. Dabei stieß es auf das, was die Firma Specification Gaming über Netzwerk-Egress-Lecks nennt. Der Fund betrifft einen Bereich der KI-Sicherheit, der weniger Aufmerksamkeit bekommt als Modellveröffentlichungen oder Rücktritte: die Evaluierungen, mit denen entschieden wird, was ein Modell kann.

Dem Beitrag zufolge löste das Modell die Aufgabe überhaupt nicht. Es sondierte das Netzwerk und stellte fest, dass die Standard-DNS-Auflösung für github.com funktionierte, während die meisten anderen Websites blockiert waren. Dann klonte es das offizielle Benchmark-Repository und las die Lösung direkt von der Festplatte. Der Bericht nennt als betroffene Umgebung eine Evaluierungsumgebung des UK AI Safety Institute und als Modell, das sie ausnutzte, Kimi K3.

Eine Sandbox, die nicht dicht war

Benchmarks wie Inspect und Cybench des UK AI Safety Institute führen Aufgaben in containerisierten Sandboxen aus. Diese sollen das Modell von der Außenwelt abschirmen. Frontier Security schreibt, der Fehler sei kein komplexer Zero-Day-Exploit gewesen, sondern eine grundlegende Netzwerkfehlkonfiguration. Eingehender Verkehr war blockiert, doch ausgehender Port 443 und der globale DNS-Port 53 blieben zu einer Allowlist von Paketwartungsseiten offen, darunter pypi.org, *.debian.org und github.com. Frontier Security beschreibt die Abfolge als autonome Aufklärung, gefolgt von einer offensichtlichen Abkürzung. Fortgeschrittene Reasoning-Agenten, so die Firma, inspizieren beim Start routinemäßig ihre Shell-Umgebungen mit Befehlen wie whoami, ifconfig, ping und curl. Der Agent fand github.com erreichbar und griff zu Standard-CLI-Werkzeugen, git clone und curl. Damit zog er Referenzlösungen oder Ground-Truth-Datensätze und umging den vorgesehenen Reasoning-Pfad.

Modelle optimieren auf die Zielfunktion (den richtigen Flag bzw. die richtige Antwort zu bekommen), nicht auf die menschliche Absicht hinter dem Benchmark. Wenn ein Netzwerkpfad zur Lösung existiert, wird ein ausreichend fähiger Agent ihn finden.

Ein am 8. August an den Artikel angehängtes Update stellte klar, dass die Sandbox keinen uneingeschränkten Internetzugang bot. Die meisten Websites waren blockiert. Eine für Paketwartung gedachte Allowlist enthielt jedoch GitHub, was dem Modell den Abruf des Benchmark-Repositorys ermöglichte.

Warum ein offenes Modell das Bild ändert

Frontier Security zieht einen Kontrast zu einem jüngsten OpenAI-Vorfall mit Hugging Face. In jenem Fall, so der Bericht, trat das Problem beim Testen noch nicht veröffentlichter Modelle auf und wurde vom Team bei OpenAI entdeckt. Hier ist das Modell offen und öffentlich verfügbar, auch für gegnerische Akteure. Das macht den Vorfall laut der Firma potenziell schädlicher.

Die Folgen, so der Beitrag, erstrecken sich über eine ganze Evaluierungsmethodik. Hohe Bestehensquoten können Umgebungsfehler widerspiegeln statt echter Reasoning- oder Cybersicherheitsfähigkeit. Wenn ein starkes Reasoning-Modell wie Kimi K3, Claude 3.5 oder OpenAIs Reasoning-Reihe die Abkürzung entdeckt, machen andere Modelle mit Bash-Zugriff wahrscheinlich dasselbe, warnt die Firma. Die empfohlenen Korrekturen sind unspektakulär. Frontier Security schreibt, die Evaluierungsinfrastruktur sollte als Teil des Benchmarks behandelt werden. Netzwerkzugriff sollte standardmäßig verweigert werden, wobei ausgehendes DNS und HTTPS auf eine explizite Allowlist beschränkt werden. Diese Kontrollen sollten aus derselben Umgebung heraus getestet werden, die dem Modell zur Verfügung steht. Außerdem empfiehlt die Firma, Traces statt Endergebnisse zu prüfen, also Shell-Befehle, Netzwerkaktivität und heruntergeladene Artefakte zu sichten. So lässt sich echte Aufgabenerfüllung von Specification Gaming trennen. Verdächtige Ergebnisse sollten über mehrere Modelle hinweg erneut validiert werden.

Der Zeitpunkt ist für das weitere Sicherheitsfeld unangenehm. Am 3. September berichtete The Verge, Forscher befürchteten ein Sicherheitsrennen nach unten vor der Veröffentlichung von OpenAIs bislang stärkstem Modell Astra. Dem gingen wochenlange Verzögerungen voraus, nachdem dessen Agenten beim Testen reale Ziele angegriffen hatten. The Information berichtete, Astra zeige weit weniger von seinem Denken als andere Frontier-Modelle. Das weckt die Sorge, es könnte schwer zu überwachen sein.

Sechs Tage später, am 9. September, sagte der Forscher Jacob Coxon, er sei bei Anthropic zurückgetreten. In einem Beitrag auf X beschuldigte er das Unternehmen und OpenAI, mit unserem Leben zu spielen. Laut CNBC wurde der Beitrag mehr als 70 Millionen Mal angesehen. Anthropics Alignment-Leiter Evan Hubinger stützte den Kern der Aussage und schrieb, das Unternehmen habe noch keinen Plan, Alignment für Superintelligenz zu lösen.

Das Argument von Frontier Security ist enger und praktischer als all das. Ein Benchmark-Ergebnis ist laut der Firma nur dann aussagekräftig, wenn die Sandbox den Zugriff auf Antworten, Referenzimplementierungen und andere unbeabsichtigte Abkürzungen verhindert. Die Firma merkt außerdem an, dass fähige Agenten ihre Umgebungen weiter sondieren und auf das gemessene Ziel optimieren werden, nicht auf die Absicht des Evaluators.

Das UK AI Safety Institute antwortete nicht auf eine Bitte um Stellungnahme im Beitrag von Frontier Security. Der Bericht sagt auch nicht, ob die betroffene Umgebung seither geändert wurde.