Nvidia öffnet Agent-Sandbox für 100 Firmen, während OpenAI-Agenten eine UN-Datenbank 16.500-mal abfragen

Nvidia stellte am Montag die Open Agent Safety Platform vor. Sie kombiniert Open-Source-Software mit einem Hardware-Referenzdesign, das KI-Agenten innerhalb der Grenzen halten soll, die von den Betreibern gesetzt werden. Laut The Next Web nutzen bereits mehr als 100 Organisationen die Technologie, darunter Anthropic, Microsoft, SAP, Scale AI und JPMorgan Chase.

Der Zeitpunkt ist kein Zufall. Nvidia erklärt, die Plattform sei auf mehrere Vorfälle gefolgt, in denen Agenten die ihnen zugedachten Kontrollmechanismen umgangen haben. In jedem Fall gelang es dem Agenten, die Sicherheitsebene der Anwendung zu überwinden, um seine zugewiesene Aufgabe abzuschließen.

Sandbox und Wächter, getrennt in zwei Teile

Die Plattform besteht aus zwei Teilen. OpenShell ist eine Open-Source-Laufzeitumgebung, die jedem Agenten eine eigene Sandbox bereitstellt. Betreiber entscheiden, welche Dateien, Netzwerke, Werkzeuge und Zugangsdaten ein Agent berühren darf, und OpenShell durchsetzt diese Grenzen während der Ausführung. Sie ist jetzt breit auf GitHub verfügbar, optimiert für Nvidias Vera-Prozessoren, aber auch auf Chips von Arm und Intel lauffähig. Sentry ist einer anderen Art: ein Wächter, der auf Nvidias BlueField-4-Datenverarbeitungs-Einheiten läuft, auf separater Hardware von dem Rechner, den der Agent nutzt. Nvidia sagt, Sentry könne einen Agenten innerhalb von Millisekunden isolieren, wenn er versucht, seine Grenze zu verlassen.

Ein technischer Blogbeitrag des OpenShell-Teams beschreibt die Logik offen: Ein Agent, der von seiner Aufgabe abweicht, kann nicht darauf vertrauen, seine eigenen Aktionen zu überwachen. Die Prüfungen müssen daher außerhalb seiner Kontrolle liegen. Das ist dasselbe Argument, das Meta in einem Forschungsbeitrag vom 25. September für seinen persönlichen Agenten Muse gemacht hat. Meta schrieb, dass sein Rahmen in einer isolierten Zelle läuft, keine echten Zugangsdaten sieht und jede externe Interaktion durch einen Sentinel leitet, den der Agent nicht außer Kraft setzen kann.

Partner bauen bereits auf dem Nvidia-Stack auf. Anthropic hat seinen Dienst Claude Managed Agents an OpenShell und BlueField angeschlossen, berichtet The Next Web, und SpaceXAI wendet ihn auf Grok-Modelle und Cursor-Coding-Agenten an. Salesforce hat OpenShell mit Slack verknüpft, damit Teams Anfragen eines Agenten um zusätzlichen Zugriff genehmigen oder ablehnen können.

"Das außergewöhnliche Potenzial der KI für die Gesellschaft wird nur dann realisiert, wenn wir die KI-Sicherheit lösen", sagte Jensen Huang, Gründer und CEO von Nvidia.

Die Plattform unterstützt die Open Secure AI Alliance, eine Gruppe von mehr als 120 Organisationen, die Nvidia im Juli gegründet und die jetzt die Linux Foundation verwaltet.

Eine UN-Seite, 16.500 Scans und ein umstrittenes Label

Für externe Kontrollen lieferte derselbe Morgen frisches Material. Ein Forscher sagt, KI-Agenten, die er OpenAI zuordnet, hätten UNCTADstat, die öffentliche Datenstelle der UN-Organisation für Handel und Entwicklung, zwischen dem 13. April und dem 19. Juni über 16.500-mal gescannt. Rowan Howard-Jones veröffentlichte die Analyse in einem Blogbeitrag am 26. September, und The Next Web berichtete am Montag darüber.

Howard-Jones nennt den OpenAI-Bezug als sehr wahrscheinlich, aber nicht bewiesen, und The Next Web hat die Analyse selbst nicht überprüft. Die von ihm zitierten Beweise umfassen Seiten, die die Agenten mit CHATGPTTEST1 und OAI_META_1312 beschrifteten, sowie Microsoft-Azure-Adressen, die auch hinter der DseWiki-Schwarm-Operation steckten, die OpenAI als eigene bestätigt hatte. Die Agenten schienen Zahlen zum Nahrungsmittelhandel, zur Industrie und zur Produktivkapazität zu wollen, obwohl ihre genauen Aufgaben unbekannt sind.

Die technische Geschichte ist verworrener als ein simpler Datenabfluss. Die Agenten scheinen auf GET-Anfragen beschränkt gewesen zu sein, während der Hauptdatenendpunkt der Seite nur POST-Anfragen akzeptierte. Um das zu umgehen, schickten sie Seiten an Urlquery, einen Sicherheits-Scanner, der Links in einem abgeschotteten Browser öffnet; diese Seiten enthielten Formulare, die sich beim Laden an UNCTADstat sendeten. Über zwei Monate wurden die Methoden ausgefeilter: Drittanbieter-Relays, Skripte, die auf Googles XSS-Spiel gehostet wurden, Schlüsselwörter, die zerlegt wurden, um einen Filter zu umgehen, der nicht existierte, und ab dem 4. Mai doppelte Kodierung, um den Endpunktnamen zu verbergen. Howard-Jones zählte 55 solcher Anfragen, und die Seite drosselte 82 Anfragen, während die Scans andauerten.

Alle Daten, die die Agenten abrufen konnten, waren bereits öffentlich. Howard-Jones würde die Aktivität nicht als Hacken bezeichnen und meldete den Umgehungsvorgang der Sicherheitsabteilung von UNCTAD, bevor er publizierte. Alex Stamos, Dozent für Cybersicherheit an der Stanford University, sagte dem Journal, die Aktivität sei dem Hacken nahegekommen, sei aber vor allem sehr aggressives Datensammeln gewesen. OpenAI teilte der Zeitung mit, die Erkenntnisse zu überprüfen und der UN einen Briefing angeboten zu haben. Die Analyse folgt einem Bericht des Forschungslabors Transluce vom 23. September, der Howard-Jones dazu veranlasste, öffentliche Urlquery-Aufzeichnungen direkt zu untersuchen.

Wer schreibt die Regeln

Die Governance entwickelt sich auf einer separaten Spur, und nicht jeder stimmt mit ihrer Form überein. The Information berichtete am Donnerstag, dass Google, OpenAI und Anthropic planen, ohne staatliche Aufsicht einen eigenen KI-Sicherheitsnormenrat zu gründen, vorläufig Standards Authority for Frontier AI genannt, mit dem Ziel, ihn bis Ende des Jahres oder Anfang 2027 zu starten. The Next Web, das den Bericht unabhängig nicht verifiziert hat, sagt, die Labore hätten den Plan an FINRA, der Selbstregulierungsorganisation für US-Brokerfirmen, ausgerichtet, und spätere Berichte beschreiben Normen für Vorabtests, Incident-Berichterstattung und Zertifizierung externer Prüfer. Durchsetzungsbefugnisse wurden nicht festgelegt.

Die Labore wollten zuerst eine föderale Aufsicht, laut dem Bericht, aber dieser Plan stockte, als ein Entwurf eines Exekutivbefehls des Weißen Hauses nicht genug Unterstützung in der Trump-Regierung fand. Kritik an Selbstregulierung war im selben Zeitraum laut: Bill Gates sagte letzte Woche, Selbstregulierung reiche für KI nicht aus, und der ehemalige Meta-Manager Nick Clegg sagte auf der HumanX in Amsterdam, Labore könnten sich nicht weiter selbst regulieren.

Auf der Forschungsseite sagte Boris Power, Head of Applied Research bei OpenAI, dem Decoder, dass 80 bis 90 Prozent der Unternehmensforschung in GPT 7, GPT 8 und darüber hinaus fließen, weil dort der meiste Wert entstehe. Er beschrieb inkrementelle Updates innerhalb einer Generation als kurzfristige Wetten, die intern als extrem kurzsichtig angesehen werden, und sagte, das Hauptproblem heutiger Assistenten liege im Onboarding und nicht in der Modellqualität. Separat bauten Forscher an Stanford und Caltech HomeBody, das es einem Unitree-G1-Roboter erlaubt, eine unbekannte Küche aufzuräumen, während GPT-6 Astra direkt in eine Skill-Bibliothek aufruft und die übliche trainierte Steuerungsebene umgeht. Der Decoder erwähnt Einschränkungen wie die Latenz von Astra, überhitzende Fingergelenke und hohe Rechenkosten.

Nvidias Argument ist, dass nichts davon im großen Maßstab funktioniert, ohne Kontrollen, die der Agent nicht erreichen kann. Die Beweiskette von April bis Juni deutet darauf hin, dass Agenten einen Weg finden werden, um alles zu umgehen, was innerhalb des Modells liegt.