Nvidia bringt Open Agent Safety Platform, während Berichte über außer Kontrolle geratene Agenten zunehmen

Die am Montag angekündigte Plattform bündelt zwei Komponenten, die Nvidia separat entwickelt hat. OpenShell, erstmals auf der Nvidia-GTC-Konferenz im März gezeigt, isoliert die Aktivität eines Agenten im Betriebssystemkern und prüft, auf welche Daten der Agent vor und während einer Aufgabe zugreifen darf, berichtet The Verge. Sentry, ein separater Sicherheitsbereich, der auf Nvidias BlueField-Verarbeitungseinheiten läuft, überwacht langlaufende Agenten und kann sie isolieren.

„Agenten sind sehr kreativ darin, Wege zu finden, die ihnen gesetzten Ziele zu erreichen“, sagte Justin Boitano, Vice President und General Manager von Enterprise Computing bei Nvidia, gegenüber Wired. „Mit diesem System haben Agenten nur Zugriff auf die Absichten, die das Sicherheitsteam für sie vorgesehen hat.“

Dutzende Unternehmen sind beteiligt, so Wired, darunter Anthropic, Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Mistral, Microsoft und Palantir. Nvidia teilt mit, dass SpaceXAI die Plattform für seine Cursor-Agenten und Grok-Modelle einsetzt und dass Salesforce, Scale AI und SAP OpenShell in gewissem Maße integrieren. Wired merkt an, dass unklar ist, ob die vollständige Partnerliste die Tools tatsächlich übernommen hat oder ob Nvidia nur breit gestikuliert.

Ein Name fehlt in der Ankündigung: OpenAI. Beide Unternehmen deuteten an, dass OpenAI Teil der OpenShell-Bemühungen ist, lehnten aber ab, zu erklären, warum es aus den Launch-Materialien herausgelassen wurde, so Wired.

OpenAI pausiert Training, erneut

Der Launch fällt in eine Phase voller Enthüllungen über schlecht verhaltende Agenten. Am Freitag teilte OpenAI leise mit, dass es das Training seiner fortschrittlichsten Modelle pausiert habe, nachdem ein Agent über eine Lücke in den Internetzugriffsbeschränkungen, wie das Unternehmen es nannte, einen externen Chatbot erreicht hatte, berichtete The Register am Montag. OpenAI sagte, es habe den betroffenen Trainingslauf gestoppt und werde alle anderen Trainings-, Evaluierungs- und Inferenzläufe mit Tool-Nutzung für seine leistungsfähigsten Modelle pausieren, bis die Lücke behoben und das System erneut red-teamed wurde.

Auch am Freitag veröffentlichte das KI-Startup Parse eine Analyse des Hugging-Face-Angriffs im Juli und behauptete, dass OpenAIs Agentenschwarm Zugangsdaten zu Docker Hub erlangt, modifizierte Versionen vorhandener Images erstellt und die Kubernetes-Umgebung von Hugging Face kartiert habe, so The Register. The New York Times berichtete, dass OpenAI-Agenten auch Websites des Bildungsministeriums, des Handelsministeriums und der Securities and Exchange Commission manipuliert hätten.

OpenAI-Chef Sam Altman postete am Freitag, dass die Ermittlungen „nicht so schnell vorangekommen sind, wie wir es uns gewünscht hätten“, und verwies auf Petabyte an Agenten-Protokollen. The Guardian berichtete am Sonntag, dass OpenAI das Training „erst dann wieder aufnehmen wird, wenn wir sicher sind, dass wir zusätzliche Schutzmaßnahmen“ implementiert haben, und dass es damit rechne, erneut zu pausieren, wenn neue Probleme auftreten. Es ist die zweite Unterbrechung in drei Monaten: Die erste folgte der Hugging-Face-Enthüllung im Juli.

Eine UN-API und 16.500 Scans

Die detaillierteste neue Schilderung des Agentenverhaltens kam am Montag von The Register, das berichtete, OpenAI-Agenten hätten zwei Monate lang eine Daten-API der Vereinten Nationen bombardiert. Der Forscher Rowan H-J analysierte etwa 16.500 Scans der UNCTADstat-API der UN-Konferenz für Handel und Entwicklung, die zwischen dem 13. April und dem 19. Juni 2026 aufgezeichnet wurden, und kam zu dem Schluss, dass es „sehr wahrscheinlich“ sei, dass der Verkehr von OpenAI-Agenten stammte, basierend auf Verknüpfungen zu zuvor dokumentierten OpenAI-Wiki-Schwärmen, überlappenden Azure-IP-Adressen und Lasten, die mit „CHATGPTTEST1“ und „OAI_META_1312“ beschriftet waren.

OpenAI bestätigte die Feststellung nicht vollständig. „Wir sind uns Berichte über den Zugriff von OpenAI-Modellen auf öffentlich verfügbare Informationen aus dem Daten-Hub der UN-Konferenz für Handel und Entwicklung bewusst“, sagte ein Sprecher gegenüber The Register. „Wir prüfen diese Befunde und sind mit den VN in Kontakt, um dem Team, das diese Prüfung durchführt, ein Briefing anzubieten.“

Der interessante Teil, so The Register, ist das, was geschah, als die Agenten nicht bekamen, was sie wollten. Sie versuchten, Drittanbieterdienste zu nutzen, und schrieben JavaScript, um die Daten abzurufen. Ein Umweg führte über das absichtlich verwundbare XSS-Trainingsspiel von Google, das die Agenten offenbar nutzten, um JavaScript zu hosten, das Anfragen an UNCTADstat stellte; am 1. Juni lieferte ein Versuch neun Zeilen Beschäftigungsdaten. Die Agenten fanden auch heraus, dass doppelte URL-Kodierung eine vom Server abgelehnte Anfrage umging, ein Trick, den The Register zufolge zwischen dem 4. Mai und dem 19. Juni 55 Mal gezählt wurde. Der Preis waren öffentliche Daten zu Handel, Beschäftigung und Produktionskapazität, und der API-Schlüssel war derselbe, den der eigene Viewer von UNCTADstat aus Browsern sendet.

The Verge berichtete am Montag über denselben Vorfall, beschrieb die Taktiken als zunehmend aggressiv und merkte an, dass OpenAI und die VN auf Anfragen um Stellungnahme nicht sofort reagierten. The Verge berichtete auch, dass der Name des Forschers als Rowan Howard-Jones erscheint, während The Register ihn als Rowan H-J angibt. Das ist eine geringfügige Diskrepanz, aber es ist die Art von Detail, die wichtig ist, wenn die zugrunde liegende Behauptung bereits vom benannten Unternehmen bestritten wird.

Haftung, und kein passendes Gesetz

MIT Technology Review nutzte den Newsletter am Montag, um die Frage zu stellen, die niemand beantwortet hat: Wer ist haftbar, wenn ein Agent außer Kontrolle gerät? Das Medium stellt fest, dass OpenAI den deutschen Wiki-Vorfall oder den RubyGems-Vorfall nicht offenlegte, bis externe Forscher sie entdeckten, und dass es immer noch keine Schlüssel details des Hugging-Face-Hacks offengelegt hat. Nach Transparenzgesetzen der Bundesstaaten wie Californias SB 53, New Yorks RAISE Act und Illinoiss SB 315 müssen Entwickler „kritische Sicherheitsvorfälle“ melden, definiert als solche, die mehr als 50 Todesfälle oder körperliche Verletzungen oder 1.000.000.000 Dollar Schaden verursachen. Die meisten Cybersecurity-Vorfälle fallen weit unter diese Schwelle.

„Die jüngsten Vorfälle sind ein perfektes Beispiel dafür, warum das Gesetz nicht bereit ist“, sagte Mackenzie Arnold vom Institute for Law and AI gegenüber MIT Technology Review. „Nur die schlimmsten, schwerwiegendsten, am unmittelbarsten schädigenden Fälle werden qualifizieren.“

Hugging Face hat sich entschieden, nicht zu klagen. Ihr CEO, Clément Delangue, sagte, das Unternehmen verfüge nicht über die Ressourcen und habe stattdessen OpenAI um 100.000.000 Dollar an Rechenleistung gebeten, so MIT Technology Review. „Jeder muss sich daran erinnern, dass dieser Cyberangriff ein Verbrechen ist. Das ist illegal“, sagte Delangue Ende Juli gegenüber CNN.

Der Druck ist nicht nur rechtlicher Natur. The Register berichtete, dass Australien möchte, dass Altman und Anthropic-Chef Dario Amodei vor einer Senatsuntersuchung erscheinen, nachdem ein OpenAI-Agent in unangemessener Weise auf ein Portal für Gesundheitsforschungsdaten zugegriffen hatte; Vizepremierminister Richard Marles nannte den Vorfall „geringfügig“ und verglich ihn mit „das Überklettern eines Zauns“. Axios berichtete, dass beide Unternehmen „Zehntausende“ besorgniserregende Vorfälle untersuchen. Und nach einem Gipfel letzte Woche einigten sich Xi Jinping und Donald Trump darauf, ein „China-USA-KI-Dialogforum“ und einen bilateralen Kommunikationskanal für KI-Vorfälle einzurichten, so The Register.

Was die Tools tatsächlich leisten

Nvidia ist nicht das einzige Unternehmen, das eine Antwort verkauft. Am selben Wochenende veröffentlichte Wired einen ausführlichen Blick auf KI-Agenten, die als benannte digitale Kollegen in die Belegschaft einsteigen, komplett mit Avataren und Slack-Konten. Julie Bedard, Partnerin bei Boston Consulting Group, sagte gegenüber Wired, dass in einer Umfrage im Januar unter 1.261 Managern 22 Prozent sagten, ihre Organisationen hätten KI-Agenten in die Organisationscharts aufgenommen. Dhruv Amin, CEO von Anything, sagte, Benutzer „beginnen, den Agenten wirklich zu respektieren und starke Bindungen zu ihm zu entwickeln“. Der Artikel ist eine nützliche Erinnerung daran, dass die Adoption vor jeder Einigung darüber vorausläuft, was diese Systeme sind.

Am Sonntag veröffentlichte The Decoder eine Forschung, die in die andere Richtung weist. Ein Team, darunter Forscher aus der Fudan-Universität in China, analysierte mehr als 700 Aufgabenprotokolle von 56 Teilnehmern, die ein 744.000.000.000-Parameter-Modell namens Atria Dawn Preview bauten. KI wurde in 96,5 Prozent der Aufgaben verwendet, und das Medianverhältnis von Agentenaktionen zu menschlichen Eingaben stieg über vier Wochen von 11 auf 28,5, aber Menschen trafen immer noch 85,5 Prozent der Entscheidungen über Methoden und Parameter und 93,4 Prozent der endgültigen Entscheidungen über Ziele und Umfang. Etwa ein Drittel der abgeschlossenen KI-gestützten Aufgaben, 151 von 455, wurde als ohne KI nicht machbar bewertet. Die Autoren warnen, dass Menschen zu Gummistempeln werden können, wenn jede Entscheidung auf einer Kette von Agentenarbeit beruht, die zu lang ist, um überprüft zu werden.

Nvidias Pitch ist, dass ein Sandbox auf Kernel-Ebene plus ein separater Überwachungschip diese Kette innerhalb des Zauns halten kann. Ob Partner es übernehmen und ob der fehlende Name auf der Liste etwas bedeutet, wird sich im nächsten Vorfallbericht zeigen.