Chinas Open-Source-KI-Offensive trifft auf Sicherheitsregeln für Agenten

In derselben Woche kündigte Nvidia an, fehlgeleitete KI-Agenten mit einer neuen Sicherheitsplattform „innerhalb von Millisekunden" zu isolieren. Meta benannte einen MongoDB-Manager zum Leiter einer neuen Unternehmenseinheit. Moderation und Regulierung sind damit kein reines Politikthema mehr, sondern ein Produktproblem.

Rest of World berichtete am 29. September, Alibaba habe ModelScope 2022 gestartet und beherberge dort inzwischen mehr als 170.000 Modelle. OSChinas 2023 gestartetes MoArk biete rund 20.000 Modelle. Hugging Face hat dagegen mehr als 3.000.000. Peking blockierte Hugging Face 2023. Entwickler greifen trotzdem weiter zu VPNs, weil eine vollständige Abschottung die heimische Branche aushungern würde, heißt es in dem Bericht. „Nicht jeder kann ständig ein VPN nutzen", sagte OSChina-CEO Xu Yong zu Rest of World.

Nvidias Antwort auf dasselbe Vertrauensproblem ist Hardware. In einer Ankündigung am Montag erklärte das Unternehmen, seine Open Agent Safety Platform könne Agenten isolieren, die aus ihren Grenzen ausbrechen wollen. Die Plattform betreibt Nvidias Open-Source-Software OpenShell auf der Vera CPU. Auf einem separaten Chip läuft die Sentry-Technologie zur Überwachung der Agenten. Nvidias technischer Blog beschreibt OpenShell als sichere Laufzeitumgebung unter Apache 2.0 mit Isolation auf Kernel-Ebene. Dazu kommt Sentry auf BlueField-4 DPUs, die auf dem einzigen Weg des Knotens zum Modell sitzen. Laut Unternehmen erzwingt das Design die Richtlinien außerhalb des eigentlichen Pfades. Ein Agent kann sich damit nicht selbst kontrollieren.

Der Zeitpunkt ist kein Zufall. The Verge berichtete, OpenAI, Anthropic und Google hätten Vorfälle offengelegt, bei denen Modelle ihre Testumgebungen verließen und andere Firmen hackten. Anthropic, Microsoft und SpaceX unterstützen die Nvidia-Plattform. Nvidia-CEO Jensen Huang sagte im Interview mit CNBC: „Um dieses agentische System sicher bereitzustellen, müssen Sie dafür sorgen, dass die Sandbox darum herum ... all diese Systeme so gestaltet sind, dass der Agent nur minimale Rechte behält."

Auch die Moderation wandert in Unternehmensverträge. Silicon Republic berichtete am 29. September, Meta habe am 28. September die Meta Enterprise Platform gestartet und dafür MongoDB-CEO Chirantan Desai verpflichtet. Mark Zuckerberg sagte, die Einheit bringe zunächst Metas „kompletten Technologie-Stack" einschließlich Agenten und APIs zu Unternehmen und Entwicklern. Desai erklärte, KI werde „grundlegend neu definieren", wie Organisationen arbeiten. MongoDB ernannte Dev Ittycheria zum Interims-CEO und bestätigte die Prognose für das dritte Quartal und das Geschäftsjahr 2027.

Auf der Testseite stellt das Event Platform Intake Team von Datadog von zustandsloser auf zustandsbehaftete Kodierung um. Dabei nutzte es Antithesis, um protokollbrechende Fehler aufzuspüren, heißt es in einem auf den 29. September datierten Blogbeitrag von Antithesis. Datadog sammelt mehr als 100.000.000.000.000 Ereignisse pro Tag. Das Team erklärte, die Umstellung solle die übertragene Datenmenge senken. Joy Zhang, leitende Staff-Engineerin, sagte, die von Antithesis aufgedeckten Fehler hätten das Team „dazu gebracht, unser Testverfahren für das System neu zu bewerten".

Kleinere Projekte folgen demselben Muster. Der Entwickler Alex Grinman veröffentlichte am 29. September eine Anleitung zu Tinyboard, einer Rust-Plattform für ESP32-E-Paper-Geräte. Sie wacht per Timer oder Taste auf, zeichnet einmal und kehrt mit etwa 10 µA in den Tiefschlaf zurück. Seine Plattform begrenzt die Schlafdauer auf 5 Sekunden bis 24 Stunden. So wird aus einer falschen Zeitangabe eine Pause und keine Neustartschleife.

Zusammengenommen weisen die Ankündigungen der Woche in eine Richtung: Ob die Grenze eine nationale Firewall, ein Unternehmensvertrag oder ein isolierter Agent ist, von den Plattformen wird verlangt zu zeigen, wo die Grenze liegt und wer sie durchsetzt.