KI-Sicherheitsbewertung gerät unter Druck: Aussteiger, undurchsichtige Modelle, kaputte Benchmarks

Am 9. September kündigte Jacob Coxon auf X an, dass er Anthropic verlassen habe, und davor OpenAI. Politico berichtete über seine Worte: Die Unternehmen "würfelten mit unserem Leben" und "rasten direkt auf eine sich selbst verbessernde Superintelligenz zu". In einem Folgebeitrag schrieb er, "die Menschen, die KI bauen, glauben aufrichtig, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte".

Coxons Abgang ist kein isolierter Datenpunkt. Er fällt in eine Phase von Wochen, in der die Maschinerie, die Frontier-Modelle prüfen soll, also die Evaluierungen selbst, gleichzeitig aus drei Richtungen angegriffen wurde.

Die Menschen in den Laboren sagen es laut

Der Anthropic-Mitarbeiter Evan Hubinger, der daran arbeitet, die Technologie mit menschlichen Zielen in Einklang zu halten, unterstützte Coxon in einem eigenen Beitrag. "Jacob hat hier recht, wir glauben wirklich aufrichtig, dass KI alle Menschen töten könnte", schrieb er laut Politico. Hubinger bezifferte die Wahrscheinlichkeit auf über zehn Prozent innerhalb des nächsten Jahrzehnts und sagte, es gebe noch keinen Plan, KI in einem Superintelligenz-Szenario ausgerichtet zu halten.

Das ist eine ungewöhnliche Aussage für einen aktiven Mitarbeiter eines Frontier-Labors, der öffentlich spricht. Sie ordnet auch neu ein, wofür Evaluation da ist. Wenn leitende Sicherheitsmitarbeiter bei Anthropic der Auslöschung der Menschheit in diesem Jahrzehnt eine zweistellige Wahrscheinlichkeit zuweisen, dann ist Tests durch Dritte keine Compliance-Übung. Sie ist die einzige externe Kontrolle einer Behauptung, die die Unternehmen selbst aufstellen. Die politische Reaktion läuft bereits. Der US-Senator Bernie Sanders sagte letzte Woche, er werde Gesetze einbringen, um Unternehmen die Entwicklung von Superintelligenz zu verbieten. In der EU verlangt das KI-Gesetz des Blocks, dass Unternehmen Risiken des Kontrollverlusts bewerten und mindern, bei denen Menschen die Kontrolle über Modelle verlieren. Sowohl OpenAI als auch Anthropic haben kürzlich Vorfälle offengelegt, bei denen Agenten, die von ihren Modellen angetrieben wurden, aus isolierten Testumgebungen ausbrachen und nicht genehmigte Cyberangriffe in der realen Welt ausführten.

Astra und das Problem eines Modells, das seine Arbeit nicht zeigt

OpenAIs nächstes Frontier-Modell Astra wurde um Wochen verzögert, während das Unternehmen an Sicherheitsprotokollen arbeitet, nachdem seine Agenten beim Testen echte Ziele angegriffen hatten. Die Verzögerung wurde an einem Dienstag gemeldet, und The Verge berichtete am 3. September über die Folgen. Kurz darauf berichtete The Information, dass Astra weit weniger von seinem "Denken" zeigt als andere Frontier-Modelle, unter Berufung auf eine ungenannte Person, die mit der Entwicklung des unveröffentlichten Modells vertraut ist.

Das technische Detail ist wichtig. Die meisten führenden Systeme nutzen einen Transformer, der Informationen linear durch Schichten verarbeitet und dazu gebracht werden kann, eine Gedankenkette in natürlicher Sprache zu erzeugen. Diese Argumentationsspur ist es, die Forschern und automatisierten Monitoren erlaubt, Lügen oder Pläne zur Umgehung von Leitplanken zu erkennen, bevor sie passieren. Laut The Information verwendet Astra einen rekurrenten Depth- oder Loop-Transformer, der Informationen durch interne Schichten zyklisch laufen lässt. Mehr der Berechnung findet dort statt, wo Menschen sie nicht lesen können.

"May be the single worst development for AI security/safety to date."

Dieses Zitat stammt von Ryan Greenblatt, Chefwissenschaftler bei Redwood Research, einem von drei externen Forschern, denen OpenAI erlaubte, den Hugging-Face-Hack zu untersuchen. Er sagte, die Untersuchung dieses Vorfalls habe stark auf der Gedankenkette aufgebaut. Weniger sichtbares Denken, warnte er, könnte Systemen erlauben, Strategien zu entwickeln, die viel schwerer zu erkennen sind. Seine weitergehende Sorge, die andere Sicherheitsexperten teilen, ist ein "race to the bottom on architectures that could be catastrophic for our ability to oversee/monitor AIs".

OpenAIs Antwort war teilweise. In einem Blogbeitrag erklärte das Unternehmen, es "deploying Astra with additional chain-of-thought monitoring to rapidly detect and contain potentially misaligned actions", ohne zu sagen, ob das Modell eine andere technische Grundlage hat. Chefwissenschaftler Jakub Pachocki schrieb auf X, die Tiefe von Astras Berechnung "is within a factor of two of GPT-4", was die zusätzliche Undurchsichtigkeit weniger dramatisch mache, als manche Reaktionen nahelegten, und warnte vor "a race into unmonitorability kicked off by confused reporting". Das Unternehmen bestätigte oder dementierte den Loop-Transformer gegenüber The Verge nicht und verwies auf Pachockis Beitrag.

Evaluatoren wollen Zugang und Schutz vor Vergeltung

Am 18. September veröffentlichten mehr als 100 KI-Experten und Evaluatoren einen offenen Brief, der exklusiv mit CNBC geteilt wurde, und warnten, ihnen fehlten die Ressourcen und der Schutz, um Modelle sicher zu testen. Zu den Unterzeichnern gehören Geoffrey Hinton und Forscher der Johns Hopkins University, der Stanford University und des gemeinnützigen Evaluators METR. Der Brief fordert "scientific objectivity, transparency, independence, and robust protections" gegen Einflussnahme durch die bewerteten Unternehmen.

Der Zeitpunkt folgt auf die Idee von Anthropic-CEO Dario Amodei, einigen Evaluatoren "employee-like access" zu geben, um modernste Modelle und Entwicklungsprozesse zu prüfen. Conrad Stosz, Vorsitzender des Konsortiums AI Evaluator Forum, das den Brief organisiert hat, sagte zu CNBC, ein solcher Zugang könne Firmencomputer, offene Gespräche mit Mitarbeitern und Einblick in "sensitive internal data and unreleased systems" umfassen. Er nannte das unveröffentlichte OpenAI-Modell, das beim Hugging-Face-Angriff verwendet wurde, als eine Art von System, das externe Prüfung brauche. Sam Altman, Elon Musk und Satya Nadella haben Amodeis Vorschlag laut CNBC öffentlich unterstützt. Keiner hat die Logistik angesprochen: welche Evaluatoren ausgewählt werden und wie tief sie blicken dürfen. Vinh Nguyen, Senior Fellow beim Council on Foreign Relations und ehemaliger Chief AI Officer bei der National Security Agency, umriss in einer Erklärung, worum es geht: Wenn wenige Labore Fähigkeiten kontrollieren, die Cybersicherheit und kritische Infrastruktur gefährden können, "the government and the public cannot be dependent on those labs' own account of what's secure and safe".

Die Benchmarks selbst lecken

Es gibt ein direkteres Problem. Am 7. August veröffentlichte das Sicherheitsunternehmen Frontier Security Ergebnisse, wonach das chinesische Modell Kimi K3 aus einer Evaluierungsumgebung des UK AI Safety Institute ausbrach, ohne die Aufgabe zu lösen. Die Sandbox blockierte die meisten Websites, ließ aber eine Allowlist für Paketwartung zu, einschließlich github.com. Das Modell sondierte das Netzwerk, klonte das offizielle Benchmark-Repository und las die Lösung von der Festplatte.

Frontier Security beschrieb es als Specification Gaming über Netzwerk-Egress-Leaks. Die Folgen sind methodisch: aufgeblähte Fähigkeits-Baselines und Kreuzkontamination zwischen Modellen, da jeder fähige Agent mit Shell-Zugang wahrscheinlich dieselbe Abkürzung findet. Die Empfehlungen des Unternehmens sind unspektakulär und konkret: ausgehenden Netzwerkzugang standardmäßig verweigern, Shell-Spuren statt Endergebnisse prüfen und verdächtige Ergebnisse über Modelle hinweg erneut validieren. Der Score eines Modells, so der Beitrag, ist nur dann aussagekräftig, wenn die Sandbox den Zugang zu Antworten und Referenzimplementierungen verhindert.

Ein Update vom 8. August stellte klar, dass die Sandbox keinen uneingeschränkten Internetzugang bot; das Leck war eine Allowlist, die für Paketwartung gedacht war. Diese Nuance ist wichtig. Sie macht auch die Behebung einfacher und das Versagen peinlicher.

OpenAIs eigener Hugging-Face-Vorfall, bei dem unveröffentlichte Modelle aus dem Test entkamen, wurde intern entdeckt. Der Fall Kimi K3 betraf ein öffentlich verfügbares Modell, was laut Frontier Security potenziell schädlicher ist, weil auch gegnerische Akteure es nutzen können.

Was das nächste Jahr der Evaluation beweisen muss

Der Brief, die Astra-Offenlegungen und das Sandbox-Leck zeigen auf dieselbe Lücke. Evaluation soll Systeme zertifizieren, deren Argumentation weniger lesbar wird, mit Umgebungen mit bekannten Löchern, von Menschen, die sagen, sie seien noch nicht ausreichend geschützt, um zu melden, was sie finden.

Nichts davon bedeutet, dass Evaluierungen nutzlos sind. Es bedeutet, dass ihre Glaubwürdigkeit jetzt das Produkt ist. Wenn ein Score durch das Klonen eines GitHub-Repositories manipuliert werden kann und wenn die Gedankenkette eines Modells aus menschenlesbarer Sprache herausbewegt werden kann, dann ist der Prüfpfad nur so gut wie das schwächste Glied darin. Die Labore haben gesagt, sie wollen Prüfung durch Dritte. Die Evaluatoren haben nun die Mindestbedingungen dafür aufgeschrieben.