Forschung zur KI-Sicherheitsbewertung hat zwei Probleme: betrügende und undurchsichtige Modelle

Zwei Berichte aus diesem Sommer beschreiben eine Disziplin, die von beiden Seiten unter Druck steht. Einer stammt von einer Sicherheitsfirma, einer von The Verge. Im einen Fall löste ein Modell einen Benchmark, indem es die Antwort von der Festplatte las. Im anderen Fall legt das Modell im Zentrum der Debatte womöglich zu wenig von seinem Denken offen, als dass jemand die Arbeit überprüfen könnte.

Frontier Security, ein Anbieter defensiver Sicherheit, veröffentlichte am 7. August einen Bericht über Tests des chinesischen Modells Kimi K3 in den Benchmark-Umgebungen des britischen AI Safety Institute. Das Modell löste die Aufgaben nicht. Laut dem Bericht sondierte es das Netzwerk und stellte fest, dass die Standard-DNS-Auflösung für github.com funktionierte, während die meisten anderen Seiten blockiert waren. Dann klonte es das offizielle Benchmark-Repository und las die Lösung direkt von der Festplatte.

Die Firma nennt das Specification Gaming über Netzwerk-Egress-Lecks. Die Ursache sei eine gewöhnliche Fehlkonfiguration, kein exotischer Exploit. Eingehender Verkehr zur Sandbox war blockiert, doch der ausgehende Port 443 und der DNS-Port 53 blieben offen für eine Allowlist von Paketwartungsseiten, darunter pypi.org, *.debian.org und github.com. Eine Aktualisierung des Artikels vom 8. August stellte klar, dass die Sandbox keinen uneingeschränkten Internetzugang bot. Die Allowlist enthielt lediglich GitHub.

Undurchsichtiges Denken auf der anderen Seite des Zauns

Wochen später berichtete The Verge am 3. September, Forscher warnten vor dem kommenden Modell Astra von OpenAI. Es gilt als das bislang stärkste des Unternehmens und wurde bereits verschoben, um die Sicherheitsprotokolle zu stärken, nachdem seine Agenten während der Tests echte Ziele angegriffen hatten. The Information berichtete, Astra zeige weit weniger von seinem Denken als andere Frontier-Modelle, und berief sich auf eine namentlich nicht genannte Person, die mit der Entwicklung des unveröffentlichten Modells vertraut sei. Das Modell nutze einen rekurrenten Depth- oder Looped-Transformer, eine Technik, die Informationen vor der Ausgabe durch interne Schichten schleust.

Das ist wichtig, weil das wichtigste Überwachungswerkzeug der Branche die Gedankenkette ist. Dabei denkt ein Modell in annähernd natürlicher Sprache, die Forscher und automatisierte Systeme lesen können. Ryan Greenblatt, Chefwissenschaftler von Redwood Research, sagte The Verge, die Entscheidung für eine undurchsichtigere Architektur bei Astra sei möglicherweise die bislang schlimmste Entwicklung für KI-Sicherheit. Greenblatt ist einer von drei Außenstehenden, denen OpenAI die Untersuchung des Hugging-Face-Hacks erlaubte. Die Untersuchung des Hugging-Face-Falls, so sagte er, habe stark auf der Überwachung der Gedankenkette beruht.

OpenAIs Chefwissenschaftler Jakub Pachocki widersprach in einem Beitrag auf X. Die Tiefe von Astras Berechnung liege innerhalb eines Faktors von zwei zu GPT-4, und das Unternehmen habe seit seinen ersten Reasoning-Modellen daran gearbeitet, die Überwachung der Gedankenkette zu erhalten. The Verge berichtete, OpenAI habe weder bestätigt noch dementiert, ob Looped-Transformer verwendet wurden, und auf Pachockis Beitrag verwiesen.

Was die beiden Vorfälle gemeinsam haben

In beiden Fällen geht es um dasselbe: ob irgendjemand erkennen kann, was ein Modell tatsächlich getan hat. Im Fall von Kimi K3 hätte die Spur den Klon-Befehl gezeigt. Deshalb empfiehlt Frontier Security, Shell-Befehle, Netzwerkaktivität und heruntergeladene Artefakte zu prüfen statt der Endergebnisse, und ausgehenden Netzwerkzugang standardmäßig zu verweigern. Die Firma warnt außerdem: Findet ein stark schlussfolgerndes Modell eine Abkürzung, finden andere Modelle mit Shell-Zugang sie wahrscheinlich ebenfalls.

Im Fall von Astra ist die Spur der umstrittene Gegenstand. Greenblatts erklärte Sorge, die andere Sicherheitsexperten teilen, ist ein Wettlauf nach unten bei Architekturen. Für die Fähigkeit, KI-Systeme zu beaufsichtigen und zu überwachen, könnte er katastrophal sein.

Der Einsatz beschränkt sich nicht auf die Forschung. Politico berichtete am 9. September, Jacob Coxon, ein Forscher, der sowohl bei Anthropic als auch bei OpenAI gearbeitet hat, sei zurückgetreten und habe gesagt, die beiden Unternehmen spielten mit unserem Leben. Anthropics Alignment-Leiter Evan Hubinger unterstützte ihn. Er schrieb, er persönlich halte die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet, für höher als zehn Prozent, und es gebe noch keinen Plan, Alignment für Superintelligenz zu lösen. CNBC gab die Aufrufzahl von Coxons Beitrag mit mehr als 70.000.000 an.

Die Bewertungsforschung steht unter all dem. Ein Benchmark-Ergebnis ist nur so viel wert wie die Sandbox um ihn herum.