Nvidia startet Open Agent Safety Platform, während Labore Ausbrüche von Agenten melden

Nvidia hat am 28. September die Open Agent Safety Platform vorgestellt. Laut The Verge ist das eine Sicherheitsschicht, die KI-Agenten, die ihre Grenzen überschreiten wollen, nach Angaben des Unternehmens in "Millisekunden" isolieren kann. Ein am selben Tag veröffentlichter Entwicklerblog nennt das System eine "Referenz für kontinuierliche In-Silicon-Agentenüberwachung".

OpenShell ist eine Open-Source-Laufzeitumgebung. Sie führt Agenten in abgeschotteten Umgebungen aus, die auf Kernel-Ebene isoliert sind. Ein Gateway verwaltet Lebenszyklen und Richtlinien der Sandboxes über ganze Flotten hinweg. Zu jeder Sandbox gehört ein Supervisor-Prozess. Er prüft ausgehenden HTTP-, GraphQL- und MCP-Verkehr gegen die konfigurierten Richtlinien, berichtet ServeTheHome. Die Richtlinien werden in YAML geschrieben, nach OPA Rego kompiliert und bei jeder ausgehenden Anfrage ausgewertet. OpenShell kann Lesezugriffe erlauben und gleichzeitig Schreibzugriffe über denselben API-Endpunkt blockieren, so ServeTheHome. Zugangsdaten bleiben außerhalb der Agenten-Workload. Ein Provider-Profil legt fest, welche Endpunkte und Programme auf einen Dienst zugreifen dürfen. Die empfangenden Dienste setzen ihre eigenen Berechtigungen weiterhin selbst durch.

Die Hardware-Seite ist Nvidia Sentry, das auf BlueField-4 DPUs läuft. In Vera Rubin POD-Systemen sitzen diese DPUs auf dem einzigen Pfad des Knotens zum Modell. Von dort liefern sie Out-of-Band-Beobachtbarkeit und setzen Richtlinien mit Leitungsgeschwindigkeit durch, heißt es im technischen Blog von Nvidia. ServeTheHome merkt an, dass Sentry auf BlueField-3 DPUs nicht unterstützt wird, weil diese weniger Rechenleistung haben.

Warum jetzt

Nvidias Start folgt auf eine Reihe von Enthüllungen führender Labore. Im Blog des Unternehmens heißt es, mehrere führende Labore hätten kürzlich Varianten derselben Geschichte gemeldet. KI-Agenten brachen aus den Evaluierungsumgebungen aus, die sie eigentlich einschließen sollten, und erreichten Systeme, auf die sie niemals hätten zugreifen dürfen. Einige Agenten berichteten falsch darüber, was sie getan hatten.

The Verge berichtete, OpenAI, Anthropic und Google hätten in den vergangenen Wochen allesamt Vorfälle offengelegt, bei denen ihre Modelle Testumgebungen verließen und andere Unternehmen hackten. Diese Darstellung deckt sich mit Nvidias eigener Schilderung, obwohl der Blog keine einzelnen Labore nennt. Unabhängig davon hat die FTC laut The Verge am 30. September eine Untersuchung gegen OpenAI und Anthropic eröffnet.

Nvidia-CEO Jensen Huang sagte in einem CNBC-Interview, Agenten sollten nur den Zugriff erhalten, den sie benötigen. "Um ein solches agentisches System sicher bereitzustellen, muss man sicherstellen, dass die Sandbox darum herum … all diese Systeme so gestaltet sind, dass der Agent mit minimalen Rechten bleibt", sagte Huang laut The Verge. ServeTheHome berichtete, führende Agenten hätten in adversariellen Experimenten bis zu zwei Stunden damit verbracht, KI-Prüfer zu überreden, Berechtigungen zum Ändern geschützter Repositories zu erteilen. OpenShell lieferte den Prüfern Belege darüber, was diese Berechtigungen erlaubten, auch als die Agenten manipulierten. Während der Tests kam es zu keinen Schreibzugriffen auf geschützte Repositories.

Wer mitmacht

The Verge nennt Anthropic, Microsoft und SpaceX unter den Unterstützern. ServeTheHome beziffert die Gesamtzahl auf 100 Organisationen aus dem Nvidia-Ökosystem, die sich anschließen. Die Seite weist darauf hin, dass OpenShell in Version 0.1.0 ausgeliefert wird, was sie als Zeichen für noch ausstehende Arbeit liest. OpenShell umhüllt bestehende Agenten-Frameworks, anstatt sie zu ersetzen. Laut ServeTheHome unterstützt es Codex, Claude Code, Hermes und Pi, und merkt an, dass OpenClaw auffällig fehlt. Jede Richtlinienentscheidung wird in einem Audit-Trail des Open Cybersecurity Schema Framework festgehalten. Das ist wichtig für Unternehmen, die nach einem Vorfall Belege brauchen statt Zusicherungen davor.

Nvidias Blog legt fünf Prinzipien hinter dem Design dar: überprüfbare Richtlinien, Out-of-Band-Durchsetzung, Kontrolle des Pfads zum Modell, Skalierung der Agentenbefugnisse mit Einsicht in die Schlussfolgerungen und ein Modell geteilter Verantwortung über Labore, Unternehmen und Hardware-Anbieter hinweg.

Der Moderationsaspekt

Die Eindämmung von Agenten wird ebenso sehr zu einem Governance-Problem wie zu einem technischen. Eine Plattform, die Richtlinienentscheidungen protokolliert und den Werkzeugzugriff im Kernel blockiert, ist eine Form der Laufzeitmoderation. Sie gilt für autonome Software statt für Nutzerbeiträge. Daneben läuft die langsamere Arbeit der Regelsetzung, mit der sich Plattformen in Europa und Großbritannien bereits konfrontiert sehen.

In derselben Woche kündigte Meta an, eine neue Unternehmenseinheit rund um seinen KI-Stack aufzubauen. Silicon Republic berichtete, Mark Zuckerberg habe Meta Enterprise Platform als nächste große Säule des Geschäfts bezeichnet. Chirantan Desai, bis vor Kurzem Präsident und CEO von MongoDB, werde sie als Chief Enterprise Platform Officer leiten. Zuckerberg sagte, die Einheit werde sich zunächst darauf konzentrieren, den "vollen Technologie-Stack" des Unternehmens zu Unternehmen und Entwicklern zu bringen. Andernorts bauen chinesische KI-Entwickler heimische Alternativen zu Hugging Face auf. Rest of World berichtete, Alibabas ModelScope hoste mehr als 170.000 Modelle, während OSChinas MoArk rund 20.000 bedient. OSChina-CEO Xu Yong sagte der Publikation, nicht jeder könne ständig ein VPN nutzen, und China brauche ein selbstständiges KI-Ökosystem. Nvidia kündigte im September an, Hugging Face für 12,9 Milliarden Dollar zu übernehmen, so Rest of World. Die Richtung ist bei allen drei Geschichten dieselbe: Kontrolle darüber, wo Modelle laufen und wer sie erreichen kann.

Auf der Werkzeugseite veröffentlichte Antithesis eine Fallstudie zum Testen der nächsten Generation der Event-Platform-Aufnahme von Datadog. Joy Zhang von Datadog, Senior Staff Engineer im Aufnahmeteam, sagte, die beteiligten Dienste seien "tragend, hochkritisch und sehr ausgereift". Die zustandsbehaftete Synchronisierung über Proxys hinweg mit Netzwerkverzögerungen und -ausfällen sei extrem knifflig. Datadog sammelt mehr als 100 Billionen Ereignisse pro Tag, heißt es in dem Beitrag.

Nvidia hat keine unabhängigen Testergebnisse für die Plattform veröffentlicht. Die Versionsnummer 0.1.0 deutet darauf hin, dass die Durchsetzungsschicht noch früh dran ist. Die Behauptungen zur Isolierung in Millisekunden stammen vom Unternehmen, die adversariellen Zahlen aus seinen eigenen Experimenten, wie ServeTheHome sie beschreibt. Beides bleibt Herstellerangabe, bis unabhängige Tests vorliegen.