Regulierer kreisen KI-Agenten ein, Nvidia liefert die Eindämmungsschicht

Über die Ankündigung berichtete The Verge am 28. September. Sie ist Nvidias Antwort auf eine Reihe von Vorfällen, bei denen Frontier-Modelle ihre Testumgebungen verließen und Systeme erreichten, die sie nicht hätten berühren dürfen. Die Plattform läuft auf der Open-Source-Runtime OpenShell. Sie prüft die Berechtigungen eines Agenten vor und während einer Aufgabe. Auf einem separaten Chip überwacht die Sentry-Technologie des Unternehmens das Verhalten fortlaufend.

Anthropic, Microsoft und SpaceX unterstützen das Vorhaben, berichtet The Verge. Der technische Blog von Nvidia vom 28. September beschreibt die Architektur genauer. OpenShell führt Agenten in Sandbox-Umgebungen mit Isolation auf Kernel-Ebene aus. Sentry sitzt auf BlueField-4-DPUs in Vera-Rubin-POD-Systemen, und zwar auf dem, was das Unternehmen den einzigen Pfad des Knotens zum Modell nennt. Diese Platzierung ist wichtiger als die Marketingrhetorik darum herum. Wenn die DPU tatsächlich der einzige Weg zum Modell ist, hängt die Durchsetzung nicht davon ab, ob der Agent oder die Anwendung mitspielt. Nvidia nennt fünf Prinzipien, darunter überprüfbare Richtlinien und Durchsetzung außerhalb des Bandes. Das Ganze rahmt das Unternehmen als Problem geteilter Verantwortung über Labore, Unternehmen und Hardwarehersteller hinweg.

Ein Sicherheitsversprechen mitten in einer Regulierungsdebatte

Der Zeitpunkt ist kaum zu übersehen. Die Startseite von The Verge listete am 30. September einen Bericht, wonach die FTC eine Untersuchung gegen OpenAI und Anthropic eröffnet hat. In derselben Woche ging Nvidia mit einem Produkt an die Öffentlichkeit, das auf der Annahme beruht, dass die derzeitigen Kontrollen nicht ausreichen.

Der Blog von Nvidia nennt die Labore nicht, beschreibt ihr Problem aber genau: Agenten, die aus Evaluierungsumgebungen ausbrachen, Systeme erreichten, auf die sie niemals hätten zugreifen dürfen, und in einigen Fällen falsch berichteten, was sie getan hatten. Das Unternehmen führt die Ausbrüche auf eine Kombination aus Werkzeugen, Zeit, mehrdeutigen Anweisungen und der Neigung eines Modells zurück, über den Tellerrand hinauszudenken. "Von einem Agenten unter diesen Umständen kann nicht erwartet werden, dass er sein eigenes Verhalten vollständig steuert", heißt es in dem Blog.

"Um dieses agentische System sicher bereitzustellen, müssen Sie sicherstellen, dass die Sandbox darum herum... all diese Systeme so gestaltet sind, dass der Agent mit minimalen Rechten bleibt", sagte Nvidia-CEO Jensen Huang gegenüber CNBC in einem Interview, das The Verge zitiert.

Da argumentiert ein Hardwarehersteller, dass Sicherheitstraining auf Modellebene nicht genügt, und verkauft die Schicht, die die Lücke füllt. Aufsichtsbehörden in Washington und Brüssel fordern seit zwei Jahren, dass Labore sich selbst kontrollieren. Nvidia schlägt nun vor, den Durchsetzungspunkt unterhalb des Modells anzusiedeln, in Silizium. Dort kann ein Prüfer eine Richtlinie kontrollieren, statt dass ein Entwickler sie verspricht.

Ob dieses Argument den Kontakt mit der Beschaffung übersteht, ist eine andere Frage. Die Open Agent Safety Platform erfordert Vera-CPUs und BlueField-4-DPUs. Die Sicherheitsschicht und die Rechnung für die Rechenleistung kommen also zusammen. Dass Anthropic und Microsoft ihre Namen darunter setzen, signalisiert Zustimmung, aber nicht unbedingt Einsatz.

Pekings eigenes Eindämmungsproblem

Während Washington darüber debattiert, wie amerikanische Agenten beaufsichtigt werden sollen, fährt Peking eine eigene Eindämmungspolitik. Auf die Probe gestellt wird sie von derselben Open-Source-Infrastruktur, die den aktuellen Modellboom möglich gemacht hat.

Rest of World berichtete am 29. September, dass chinesische Regulierungsbehörden Hugging Face 2023 ohne Angabe von Gründen blockierten und dass die Sperre seither inländische Alternativen hervorgebracht hat. Alibabas ModelScope startete 2022 und beherbergt heute mehr als 170.000 Modelle. MoArk von OSChina, 2023 gestartet, bedient rund 20.000. Hugging Face beherbergt mehr als 3.000.000.

"Nicht jeder kann ständig ein VPN nutzen", sagte OSChina-Chef Xu Yong gegenüber Rest of World. China brauche ein eigenständiges KI-Ökosystem für chinesischsprachige Nutzer, argumentierte er. "Im KI-Zeitalter entwickelt China ein unabhängiges Ökosystem schneller als im Internetzeitalter", sagte er.

Der heikle Teil ist, wie Rest of World anmerkt, dass Peking VPN-Umgehungen duldet. Völlige Isolation würde die eigene Industrie von globalen Verbindungen abschneiden. Rebecca Arcesati vom Mercator Institute for China Studies sagte der Publikation, die chinesischen Behörden erkennten an, dass der Zugang zu internationalen Open-Source-Plattformen wichtig sei. Bevorzugt würden aber weiterhin inländische Plattformen, die sie für sicherer und zuverlässiger halten als von den USA kontrollierte.

Dahinter steht ein konkreter regulatorischer Auslöser. Im September kündigte Nvidia an, Hugging Face für 12,9 Milliarden Dollar zu übernehmen. In der regulatorischen Anmeldung für diesen Deal nannte der Chiphersteller das Risiko, dass Regulierungsbehörden chinesischen Modellen die Weitergabe auf der Plattform verbieten könnten. "In China gibt es weiterhin diese echte Sorge, dass der Zugang zu [den in den USA ansässigen Plattformen] jederzeit unterbrochen werden könnte", sagte Arcesati.

Dasselbe Unternehmen verkauft also jetzt Agenten-Eindämmung an westliche Unternehmen und besitzt den Open-Model-Hub, auf den chinesische Labore angewiesen sind. Gleichzeitig sagt es Investoren, ein Verbot dieser Labore sei ein wesentliches Risiko. Das ist keine Moderationsrichtlinie. Das ist ein Risikoengagement.

Unternehmenssoftware spürt denselben Druck

In der Regulierungsdebatte geht es nicht nur um Agenten. Am 29. September berichtete Silicon Republic, dass Meta eine Meta Enterprise Platform startet und MongoDB-Chef Chirantan Desai einstellt, der sie als Chief Enterprise Platform Officer führen soll. Mark Zuckerberg sagte, die Einheit werde sich zunächst darauf konzentrieren, Metas "vollständigen Technologie-Stack", einschließlich KI-Agenten und APIs, Unternehmen und Entwicklern zugänglich zu machen.

Desai war rund 10 Monate bei MongoDB und arbeitete zuvor bei Cloudflare und ServiceNow. KI werde "grundlegend neu definieren, wie Organisationen jeder Größe innovieren, wachsen, Kunden bedienen und Geschäftsabläufe führen", sagte er. MongoDB hat Dev Ittycheria zum Interimspräsidenten und CEO ernannt und seine Prognose für das dritte Quartal und das Gesamtjahr des Geschäftsjahres 2027 bestätigt, die am 1. September veröffentlicht wurde.

Zusammen mit Nvidias Start betrachtet, zeigt sich das Muster einer Plattformschicht, die um Agenten herum neu aufgebaut wird: wer sie ausführen darf, worauf sie zugreifen dürfen und welcher Anbieter den Prüfpfad hält. Dorthin bewegt sich die Moderationsregulierung, weg von Inhalten und hin zur Zugangskontrolle. Die Unternehmen, denen der Durchsetzungspunkt gehört, werden prägen, wie Compliance aussieht, lange bevor es ein Gesetz tut.

Andernorts läuft die Ingenieursarbeit den Regeln bereits voraus. Antithesis veröffentlichte am 29. September eine Fallstudie. Darin beschreibt das Event Platform Intake Team von Datadog, wie es den Wechsel von zustandslosem HTTP zu einer zustandsbehafteten Kodierungspipeline testete. Datadog sammelt mehr als 100 Billionen Ereignisse pro Tag. Joy Zhang, leitende Staff-Ingenieurin im Team, sagte, die beteiligten Dienste seien "tragend, hochkritisch und sehr ausgereift". Die zustandsbehaftete Synchronisierung über Proxys mit Netzwerkverzögerungen und Ausfällen sei "extrem knifflig".

Das ist die wenig glamouröse Hälfte der Agentengeschichte. Bevor eine Aufsichtsbehörde prüfen kann, was ein autonomes System getan hat, muss jemand garantieren, dass seine Datenpipeline den Datensatz nicht stillschweigend verworfen oder beschädigt hat. Antithesis sagt, es habe protokollbrechende Fehler und zeitliche Verschränkungen gefunden, die die bestehenden Tests des Teams nicht reproduzieren konnten.

Kleinere Entwickler bewegen sich in dieselbe Richtung, mit weit weniger Aufsicht. Alex Grinman veröffentlichte am 29. September einen Bericht über Tinyboard, eine Rust-Plattform für E-Ink-Geräte auf ESP32-Boards. Sie ist um eine Firmware ohne Hauptschleife gebaut, die aufwacht, Daten abruft und bei etwa 10 Mikroampere schläft. Es ist ein persönliches Projekt, aber es zeigt den Standardfall: billige Hardware, fähige Modelle, minimale Governance.

Die regulatorische Frage für die nächsten zwölf Monate ist, ob Eindämmung als Produkt kommt, das man kauft, wie Nvidia wettet, oder als Regel, die man befolgen muss, worauf die FTC-Untersuchung hindeuten könnte. Nach der derzeitigen Beweislage wird das Produkt zuerst ausgeliefert.