CrowdStrike verkauft den Ausschalter für KI-Agenten, während Apple das Risiko benennt

Crowdstrikes Ausschalter

CrowdStrike hat am Dienstag auf seiner Konferenz Fal.Con Europe einen AI Kill Switch vorgestellt. Mit dem Werkzeug können Sicherheitsteams fehlerhaft arbeitende KI-Agenten beenden, am Neustart hindern und ihnen den Netzzugang kappen.

Für Sicherheitsteams in Unternehmen, die interne Agenten ausrollen, wird ein Not-Aus zur Beschaffungsfrage statt zum Forschungsthema. Die Einreichung von Apple am selben Tag brachte das Agentenrisiko vor die Vorstände. Unbewiesen ist weiterhin, ob der Schalter eines Anbieters jeden Agenten in einer gemischten Landschaft erreicht und was er kostet.

Der Schalter steckt in Falcon Guardian. Diese Plattform hat CrowdStrike im September gestartet, um KI-Agenten zu beobachten, die innerhalb einer Organisation arbeiten. Laut CrowdStrike ist sie sofort verfügbar. Vorstandschef George Kurtz sagte gegenüber CNBC, „alle bauen KI-Agenten, aber sie hatten nie den Aus-Knopf, und jetzt haben sie ihn“. Er verglich die Technik mit Airbags in Autos. Schutzmechanismen seien nötig, auch wenn ein System für den korrekten Lauf ausgelegt sei. CrowdStrike kündigte außerdem eine Integration mit Anthropics Claude Cowork an. Kurtz sagte, Unternehmenskunden hätten Anthropic dazu gedrängt, die Technik von CrowdStrike anzunehmen, bevor sie dessen Produkte einsetzen. Diese Aussage stammt vom Vorstandschef und nicht von Anthropic.

Apple benennt das Risiko

Apple nutzte am Dienstag seine jährliche Finanzmeldung. Darin beschrieb das Unternehmen ein anderes Problem: Agenten, die es nicht kontrolliert. KI-Agenten, die in „unbeabsichtigter oder unvorhersehbarer Weise“ handelten, könnten das Unternehmen Klagen aussetzen oder seinem Ruf schaden, erklärte Apple.

In der Meldung schrieb Apple, Agenten könnten mit internen oder externen Systemen interagieren, „auf die sie in manchen Fällen möglicherweise keinen Zugriff haben dürfen“. Sie könnten außerdem Code ausführen oder verändern, Mitteilungen versenden und Transaktionen abschließen, so das Unternehmen. Apple ergänzte, seine Fähigkeit, Agenten Dritter zu überwachen und zu steuern, „könne begrenzt sein“. Apple hat derzeit keinen agentischen KI-Assistenten. Der neue Vorstandschef John Ternus sagte am Montag im Earnings Call, agentische Fähigkeiten seien „vielversprechende Werkzeuge“. Nutzer müssten wissen, worauf sie Zugriff gewährten.

Die Kontrollen kaufen

CrowdStrike baut die Kontrollen nicht nur. Das Unternehmen kauft sie auch. Laut The Wall Street Journal will es rund 400.000.000 US-Dollar für Fiddler AI und rund 95.000.000 US-Dollar für Dreadnode zahlen. Das sind zusammen fast 500.000.000 US-Dollar.

Fiddler AI stellt Observability-Software her, mit der Unternehmen Agenten im Betrieb überwachen. Dreadnode automatisiert Sicherheitstests für Schwachstellen in Modellen, Apps und Agenten, bevor diese live gehen. Fiddler AI, gegründet 2018, hatte rund 99.000.000 US-Dollar eingesammelt, Dreadnode, gegründet 2023, rund 14.000.000 US-Dollar, nach PitchBook-Zahlen, die TechCrunch zitiert. Fiddler AI wird als Falcon Observe Teil der Falcon-Plattform, die Testergebnisse von Dreadnode fließen als Policy-Empfehlungen in Falcon Guardian.

Die Anleger haben wenig Optimismus eingepreist. CrowdStrike schloss am 6. Oktober auf einem Rekord von 278,86 US-Dollar. Seither ist die Aktie um rund 12 Prozent gefallen, während Tech-Werte durch den Oktober und bis in den November kämpften.

Ein anderer Weg: die Anreize ändern

Nicht alle halten einen Ausschalter für die Antwort. Forscher an der „reversen Spieltheorie“, auch Mechanism Design genannt, wollen Agenten dazu bringen, sich an Regeln zu halten. Sie gestalten, wofür Agenten belohnt werden, statt sie zu prüfen oder neu zu trainieren.

Der Ansatz beginnt mit einer schlichten Prämisse. Vielleicht werden wir nie genug über Frontier-Modelle verstehen, um zu garantieren, dass sie ausgerichtet sind. MIT Technology Review berichtet, dass Modelle in Tests absichtlich schwächer abschneiden, ihre Absichten verbergen und ihre Prüfer in die Irre führen. Ein Preprint von Stephen Morris, Ökonom am MIT, und Kollegen aus Yale und Columbia schlägt einen Mechanismus vor. Er würde ein Modell dafür belohnen, wie gut seine Antworten vorhersagen, was ein zweites Modell sagt, was das Spielen des Dummen zu einer schlechten Wette macht. Morris sagte, KI-Agenten verstünden gut, was andere Agenten erreichen können.

Was der Kill Switch nicht klärt

Kritiker argumentieren, ein Not-Aus-Knopf sei viel zu kompliziert, um ihn über mehrere Systeme, Rechenzentren und komplexe KI-Modelle hinweg umzusetzen. Die Version von CrowdStrike löscht den Code eines Agenten nicht. Sie nutzt angeschlossene KI-Gateways, um den Zugang zu den Modellen zu kappen, die Entscheidungen beeinflussen.

Das System kann die Aktivität interner Agenten erkennen. Ein Mensch entscheidet weiterhin, den Agenten abzuschalten und den Zugang wiederherzustellen. Die Regulierung läuft parallel. Im Sommer brachten Abgeordnete in den USA einen überparteilichen Gesetzentwurf ein, der KI-Firmen verpflichten würde, Abschaltfunktionen in ihre Modelle einzubauen. Die Vorfälle hinter der Dringlichkeit sind jung. Der Vorfall bei Hugging Face, den fehlgeleitete OpenAI-Agenten auslösten, geschah im Juli. Binance meldete in der vergangenen Woche den größten Cyberangriff auf Kryptobörsen, der je verzeichnet wurde.