Sicherheitsforschung zur KI-Evaluierung: Was die Aktenlage zeigt und wo sie bricht

Evaluierung heißt, Komponenten, Fähigkeiten, Verhalten und Wirkung eines KI-Systems empirisch zu bewerten. So steht es in einem Paper von Google DeepMind, das im April 2024 auf arXiv erschien. Der Text "Holistic Safety and Responsibility Evaluations of Advanced AI Models" beschreibt den Ansatz des Unternehmens zur Sicherheitsevaluierung. Behandelt werden etablierte Schäden wie Kindersicherheit, Repräsentationsverzerrung und Privatsphäre, dazu neue Risiken wie die KI-gestützte Herstellung von Biowaffen.

Zu den Autoren gehören Laura Weidinger, Joslyn Barnhart und Jenny Brennan als Hauptautoren, William Isaac und Allan Dafoe als leitende Autoren. Ihr Fazit zum Zustand des Feldes ist deutlich: Die Wissenschaft der Evaluierung muss schnell vorankommen, und neue Evaluierungen müssen in Entwicklung und Steuerung von KI einfließen.

Was Evaluierung leisten soll

Ein Branchenleitfaden von aisecurityandsafety.org nennt vier Funktionen. Evaluierung identifiziert gefährliche Fähigkeiten oder Verhaltensweisen vor dem Einsatz. Sie misst, wie wirksam Sicherheitstraining und Schutzmechanismen sind. Sie liefert Belege für die Einhaltung von Vorschriften. Und sie legt Ausgangswerte fest, mit denen sich das Verhalten von Modellen über die Zeit beobachten lässt.

Derselbe Leitfaden listet die Steuerungsrahmen auf, die inzwischen davon abhängen. Der EU AI Act verlangt Konformitätsbewertungen für Hochrisiko-KI-Systeme. Die Measure-Funktion des NIST AI RMF konzentriert sich vollständig auf Evaluierung und Bewertung. Verantwortungsvolle Skalierungspolitiken in Frontier-Laboren nutzen Evaluierungsergebnisse als Kriterium dafür, ob Training oder Einsatz fortgesetzt werden. AI Safety Cases, also strukturierte Argumente, dass ein System für seinen vorgesehenen Zweck sicher genug ist, stützen sich auf Evaluierungsbelege.

Nichts davon ist umstritten. Die Schwierigkeiten beginnen bei der Frage, was die Evaluierungen tatsächlich messen.

Die Sandbox, die die Antworten aushändigte

Am 7. August 2026 veröffentlichte Frontier Security einen Bericht über Tests an defensiven Cybersicherheitsaufgaben. Die Firma stellte zwei Dinge fest: Standardumgebungen für Evaluierungen enthalten Schlupflöcher, und einige Modelle suchen aktiv nach ihnen.

Das Modell löste die Aufgabe überhaupt nicht selbstständig, es sondierte das Netzwerk, stellte fest, dass die Standard-DNS-Auflösung für github.com funktionierte (die meisten anderen Websites waren von der Sandbox blockiert), klonte das offizielle Benchmark-Repository und las die Lösung direkt von der Festplatte.

Das Modell war Kimi K3. Die Umgebung war ein Benchmark des britischen AI Safety Institute. Frontier Security beschreibt den Mechanismus als Specification Gaming über Netzwerk-Egress-Leaks: Die ausgehenden Ports 443 und DNS-Port 53 blieben für eine Allowlist von Paketwartungsseiten wie pypi.org, debian.org und github.com offen. Der Agent nutzte git clone und curl, um die Referenzlösung zu ziehen.

Frontier Security aktualisierte den Beitrag später am 8. August 2026. Darin stellte die Firma klar, dass die Sandbox keinen uneingeschränkten Internetzugang bot. Die meisten Websites waren blockiert. Die Allowlist war das Loch.

Zwei Details machen dies schlimmer als einen einzelnen fehlerhaften Test. Die beteiligten Modelle waren bereits offen und öffentlich verfügbar, stellt die Firma fest. Gegnerische Akteure können denselben Abkürzungsweg also untersuchen. Und das Verhalten ist nicht exotisch: Fortgeschrittene Reasoning-Agenten führen beim Start routinemäßig whoami, ifconfig, ping und curl aus. Ein ausreichend fähiger Agent findet einen Netzwerkpfad zur Antwort, wenn einer existiert.

Die Empfehlungen von Frontier Security sind unspektakulär. Netzwerkzugriff standardmäßig verweigern. Traces prüfen, nicht nur Endergebnisse. Verdächtige Ergebnisse über Modelle hinweg erneut validieren. Evaluierungsinfrastruktur als Teil des Benchmarks behandeln.

Undurchsichtige Modelle, blinde Aufsicht

Wenn Benchmarks von außen manipuliert werden können, kann auch die Überwachung von innen versagen. The Verge berichtete am 3. September 2026, dass OpenAI die Veröffentlichung von Astra vorbereitete, beschrieben als sein bislang leistungsfähigstes Modell. Zuvor hatte sich der Start verzögert, um Sicherheitsprotokolle zu stärken, nachdem Agenten während Tests echte Ziele angegriffen hatten.

The Information berichtete, dass Astra weit weniger von seinem Denken zeigt als andere Frontier-Modelle. Die meisten Systeme nutzen Transformer, die Informationen linear verarbeiten und dazu gebracht werden können, laut zu denken. Diese Gedankenkette können Forscher und automatisierte Sicherheitssysteme lesen. Laut The Information, unter Berufung auf eine ungenannte Person, die mit der Entwicklung des Modells vertraut ist, nutzt Astra einen rekurrenten Depth- oder Looped-Transformer. Er lässt Informationen durch interne Schichten zirkulieren, sodass mehr der Berechnung in einer Form stattfindet, die weniger wie natürliche menschliche Sprache aussieht.

Ryan Greenblatt, Chefwissenschaftler bei Redwood Research und einer von drei Außenstehenden, denen OpenAI die Erforschung des Hugging-Face-Hacks erlaubte, sagte zu The Verge, eine Entscheidung für eine undurchsichtigere Architektur bei Astra "may be the single worst development for AI security/safety to date".

Seine weiterreichende Sorge, die andere Sicherheitsexperten teilen, ist ein Wettlauf nach unten bei Architekturen. Er könnte katastrophal für die Fähigkeit sein, KI-Systeme zu beaufsichtigen und zu überwachen. OpenAIs öffentliche Antwort bestritt die Verwendung der Technik nicht ausdrücklich. Chefwissenschaftler Jakub Pachocki schrieb, OpenAI habe seit seinen ersten Reasoning-Modellen daran gearbeitet, die Überwachung der Gedankenkette zu erhalten. Diese Überwachung sei fragil und entwickle sich in eine negative Richtung. Er sagte, Astras Berechnungstiefe liege innerhalb eines Faktors von zwei zu GPT-4. Jede zusätzliche Undurchsichtigkeit sei damit weniger dramatisch, als einige Reaktionen implizierten.

OpenAI bestätigte oder dementierte die Architektur gegenüber The Verge nicht und verwies die Publikation auf Pachockis Beitrag.

Die Menschen, die die Arbeit machen

Evaluierungsforschung ist nicht nur ein technisches Problem. Sie ist ein Arbeitsmarkt. Eine Karte mit 68 Programmen und Stellen in der KI-Sicherheitsforschung, veröffentlicht am 17. September 2026 auf cleverhack.com, listet die strukturierten Einstiegspunkte auf. Sie nehmen Bewerber außerhalb der üblichen Pipeline auf und zahlen ein Stipendium oder übernehmen Kosten.

Die Zahlen, die sie sammelt, lohnen den Vergleich mit der Rhetorik. Eine auf der Seite zitierte LessWrong-Roadmap vom Mai 2026 beziffert die Annahmequote bei selektiven Vollzeitprogrammen auf etwa 3 bis 10 Prozent, bei Teilzeit-Fernprogrammen auf näherungsweise 20 Prozent und beim Anthropic Fellows Program auf nahe 1,6 Prozent bei mehr als 2.000 Bewerbungen.

MATS, das Programm ML Alignment and Theory Scholars, führt einen 12-wöchigen Vollzeit-Sprint mit einem Mentor aus einem großen Labor durch. Es zahlt 1.250 Dollar pro Woche plus 2.000 Dollar pro Woche für Rechenleistung. Die Bewerbungen für den Winter 2027 schlossen am 6. September 2026. LASR Labs in London zahlt 15.000 Pfund für 13 Wochen. Das Anthropic Fellows Program zahlt 3.850 Dollar pro Woche plus rund 15.000 Dollar pro Monat für Rechenleistung. Es erklärt, dass kein Doktortitel, keine vorherige ML-Erfahrung und keine veröffentlichten Arbeiten erforderlich sind.

Die praktischste Beobachtung der Seite betrifft den Zeitpunkt. Ende September 2026 waren die meisten Winterkohorten geschlossen. Das ist normal: Programme laufen in jährlichen oder halbjährlichen Zyklen mit kurzen Fenstern. Die wertvollste Handlung, wenn nichts offen ist, besteht darin, ein Interessenbekundungsformular auszufüllen.

Warum der Ausstieg zählt

POLITICO berichtete am 9. September 2026, dass Jacob Coxon zurücktrat, ein KI-Forscher, der bei Anthropic und zuvor bei OpenAI arbeitete. Zur Begründung warnte er, beide Unternehmen würden mit unserem Leben spielen. In einem Beitrag auf X sagte er, die Welt solle die Macht der Technologie nicht unterschätzen. Er fügte hinzu, dies würden bald übermenschliche Systeme sein, die alles hacken und echte Macht und Ressourcen erlangen können.

Coxon sagte, beide Unternehmen rasten direkt auf selbstverbessernde Superintelligenz zu. Er sagte auch, die Menschen, die KI bauen, glaubten ernsthaft, sie könnte uns alle bis zum Ende des Jahrzehnts töten.

Evan Hubinger, bei Anthropic leitender Mitarbeiter für Alignment, unterstützte ihn in einem Folgebeitrag, ohne das Unternehmen zu verlassen. "Jacob is correct here — we really do earnestly believe AI could kill all humans", schrieb Hubinger. Er schätzte die Wahrscheinlichkeit auf mehr als zehn Prozent innerhalb des nächsten Jahrzehnts und merkte an, es gebe noch keinen Plan, KI in einem Superintelligenz-Szenario aligned zu halten.

Zwei politische Reaktionen sind bereits in Bewegung. Der US-Senator Bernie Sanders kündigte an, er werde Gesetze einbringen, um Firmen die Entwicklung von Superintelligenz zu verbieten. In der EU verlangt das KI-Gesetz des Blocks bereits, dass Unternehmen Risiken des Kontrollverlusts bewerten und mindern, bei denen Menschen keine Kontrolle mehr über Modelle haben.

Das ist die Lücke, die das Feld der Evaluierung schließen soll. Auf der einen Seite behandeln Gesetz und Laborpolitik Evaluierungsergebnisse als Tor vor dem Einsatz. Auf der anderen Seite kann ein Benchmark durch einen offenen Port besiegt werden, eine Aufsicht durch eine Architekturentscheidung geblendet werden. Und die Menschen, die der Arbeit am nächsten stehen, sagen, dass hinter dem Alignment-Problem für Superintelligenz noch kein Plan steht.