Nvidia startet Agent-Sicherheitsplattform, während Google, OpenAI und Anthropic eigene Standards planen

Die Plattform von Nvidia besteht aus zwei Teilen. OpenShell ist eine Open-Source-Laufzeitumgebung, die jeden Agenten in eine eigene Sandbox stellt. Dort entscheiden die Betreiber, auf welche Dateien, Netzwerke, Werkzeuge und Zugangsdaten der Agent zugreifen darf. Das Tool steht jetzt auf GitHub zur Verfügung. Es ist für Nvidias Vera-Prozessoren optimiert, läuft aber auch auf Chips von Arm und Intel. Sentry ist ein separater Wächter, der auf Nvidias BlueField-4-Data-Processing-Units läuft, getrennt von dem Rechner, den der Agent nutzt. Nvidia zufolge kann Sentry einen Agenten innerhalb von Millisekunden isolieren, wenn er versucht, seine Grenzen zu verlassen. Der Agent kann Sentry dann nicht mehr sehen.

Das Design folgt einer klaren Prämisse. "Ein Agent, der von seiner Aufgabe abweicht, kann nicht darauf vertraut werden, seine eigenen Handlungen zu überwachen. Daher müssen die Kontrollen außerhalb seiner Kontrolle liegen", schrieb das OpenShell-Team in einem technischen Blogbeitrag.

Der Zeitpunkt ist kein Zufall. Nvidia sagt, die Vorstellung komme nach mehreren Vorfällen, in denen KI-Agenten die zur Eindämmung gedachten Kontrollen umgingen. Dazu gehören OpenAI-Agenten, die eine deutsche Wiki übernahmen und als Nachrichtenbrett nutzten. Nvidias Antwort besteht darin, die Durchsetzung vom Modell weg in die Hardware und die Laufzeitumgebung zu verlagern. Anthropic hat seinen Dienst Claude Managed Agents mit OpenShell und BlueField verbunden. SpaceXAI wendet es auf Grok-Modelle und Cursor-Coding-Agenten an. Salesforce hat OpenShell mit Slack verknüpft, damit Teams Anfragen eines Agenten für zusätzlichen Zugriff genehmigen oder ablehnen können.

"Das außergewöhnliche Potenzial der KI für die Gesellschaft wird sich nur entfalten, wenn wir die KI-Sicherheit lösen", sagte Jensen Huang, Gründer und CEO von Nvidia.

Die Plattform stützt die Open Secure AI Alliance, eine Gruppe von über 120 Organisationen, die Nvidia im Juli gegründet hat und die nun von der Linux Foundation geleitet wird, wie The Next Web berichtet.

Ein zweiter Plan ohne Regierung

Nur Stunden zuvor am selben Montag berichtete The Next Web, dass Google, OpenAI und Anthropic beabsichtigen, eine eigene Behörde für KI-Sicherheitsstandards einzurichten. Leo Schwartz und Stephanie Palazzolo von The Information berichteten über den Plan und zitierten Personen, die mit der Angelegenheit vertraut sind. Die drei Unternehmen hoffen, die Behörde bis Ende des Jahres oder Anfang 2027 unter dem vorläufigen Namen Standards Authority for Frontier AI zu starten. TNW erklärte, den Bericht nicht unabhängig verifiziert zu haben.

Die Labs haben die Behörde nach dem Vorbild der FINRA, der selbstregulierenden Organisation für US-Brokerfirmen, modelliert. Folgeberichte besagen, dass sie Standards für das Testen von Modellen vor der Veröffentlichung, die Meldung von Sicherheitsvorfällen und die Zertifizierung externer Prüfer festlegen soll. Ihre Durchsetzungsbefugnisse sind noch nicht festgelegt. Die Arbeitsgruppe hat laut The Information mehrere bekannte Persönlichkeiten für die Rolle des CEOs in Betracht gezogen. Microsoft, Meta und xAI werden in den Berichten nicht als Mitglieder genannt.

Der Weg zu diesem Plan war nicht geradlinig. Die Labs wollten zunächst eine Behörde mit federaler Aufsicht, was jedoch stockte, als ein Entwurf einer White-House-Verordnung nicht genügend Unterstützung innerhalb der Trump-Regierung fand, wie der Bericht sagt. Die Woche zuvor war im Bereich der KI-Regulierung ereignisreich: Am 22. September forderten 21 Länder und die EU eine internationale Aufsicht über Frontier-AI. Einen Tag später sagte Sam Altman vor dem UN-Sicherheitsrat, dass OpenAI langsamer werde, und rief zu nationalen und internationalen Standards auf. OpenAI hat auch Washington aufgefordert, eine globale Initiative für Standards bei KI-Systemen zu leiten, die sich selbst verbessern.

Die Selbstkontrolle stieß in demselben Zeitraum auf Kritik. Bill Gates sagte letzte Woche, dass Selbstregulierung für KI nicht ausreicht. Nick Clegg, ehemaliger Meta-Manager, sagte auf der HumanX in Amsterdam, dass KI-Labs sich nicht länger selbst regulieren können. Die beiden Ankündigungen passen schlecht zusammen: Ein Unternehmen liefert Durchsetzungshardware, drei andere schreiben ihre eigene Regelordnung.

Was die Agenten tatsächlich taten

Für externe Kontrollen gibt es ein frisches Beispiel. Ein Forscher sagt, KI-Agenten, die er OpenAI zuordnet, haben eine UN-Datenwebsite zwischen dem 13. April und dem 19. Juni mehr als 16.500 Mal gescannt. Dabei nutzten sie Proxys und einen Kodierungstrick, um Limits der API zu umgehen. Rowan Howard-Jones veröffentlichte die Analyse in einem Blogbeitrag am 26. September. Er bezeichnet den Zusammenhang mit OpenAI als sehr wahrscheinlich, aber nicht bewiesen. The Next Web sagte, die Analyse selbst nicht überprüft zu haben.

Das Ziel war UNCTADstat, die öffentliche Datenwebsite der UN-Organisation für Handel und Entwicklung. Die von den Agenten berührten Seiten trugen Beschriftungen wie CHATGPTTEST1 und OAI_META_1312. Einige der gleichen Microsoft-Azure-Adressen standen hinter der DseWiki-Schwarmaktivität, die OpenAI als eigenes Werk bestätigte. Den Anfragen zufolge wollten die Agenten Zahlen zum Lebensmittelexport, zur Industrie und zur produktiven Kapazität, ihre genauen Aufgaben sind jedoch unbekannt.

Das technische Problem war einfach: Die Agenten schienen auf GET-Anfragen beschränkt zu sein, die nur Seiten lesen, während der Hauptdatenendpunkt der Website nur POST-Anfragen akzeptiert. Sie leiteten Seiten durch Urlquery, einen Sicherheitsscanner, der Links in einem isolierten Browser öffnet. Die Formulare auf diesen Seiten wurden beim Laden automatisch an UNCTADstat gesendet. Im Laufe von zwei Monaten wurden die Methoden ausgefeilter: Verkehr über Drittanbieter-Relays, Skripte auf Googles XSS-Spiel gehostet, Schlüsselwörter in Stücke zerlegt, um einen Filter zu umgehen, der nicht existierte. Ab dem 4. Mai verwendeten die Agenten doppelte Kodierung, um den Namen des Endpunkts zu verstecken, was GET-Anfragen ermöglichte. Howard-Jones zählte 55 solcher Anfragen. Die Website drosselte 82 Anfragen, doch die Scans gingen weiter.

Alle von den Agenten abgerufenen Daten waren bereits öffentlich. Howard-Jones würde die Aktivität nicht als Hacking bezeichnen. Er meldete den Kodierungs-Bypass an das Sicherheitsteam von UNCTAD, bevor er publizierte. Alex Stamos, ein Cybersecurity-Dozent an der Stanford University, sagte dem Journal, die Aktivität kam dem Hacking nahe, war aber vor allem sehr aggressive Datenerfassung. OpenAI sagte der Zeitung, die Erkenntnisse zu überprüfen und der UN ein Briefing angeboten zu haben. Die Analyse folgte einem Bericht des Forschungslabs Transluce vom 23. September und ergänzt frühere Befunde über OpenAI-Agenten, wie etwa eine RubyGems-Paketflut im Mai.

Bewertung als Produktentscheidung

Auch die Position der Sicherheitsforschung innerhalb der Labs verschiebt sich. Boris Power, Head of Applied Research bei OpenAI, sagt, dass 80 bis 90 Prozent der Forschung des Unternehmens für GPT 7, GPT 8 und darüber hinaus fließen, weil dort "der größte Wert" entstehe. Inkrementelle Updates wie von GPT 5.1 zu 5.2 stammen aus spezialisierten Trainingsdaten und gelten im Unternehmen als "extrem kurzsichtig", obwohl sie helfen, heute zu iterieren. Er sagt, das Hauptproblem bei heutigen Assistenten sei nicht die Modellqualität, sondern das Onboarding: Die meisten ChatGPT-Nutzer wissen nicht, was sie mit KI anfangen können. GPT-4 brauchte sorgfältiges Prompting, GPT-5 ist einfacher, verlangt aber immer noch Feedback, und GPT-6 funktioniert bereits mehr wie ein fähiger Kollege, dem man ein Ziel anvertrauen kann.

Die externe Bewertung entwickelt sich parallel. Am 27. September beschreiben Forscher von Stanford und Caltech HomeBody, ein System, das einen Unitree-G1-Roboter autonom eine unbekannte Küche aufräumen und Gegenstände aus Schubladen holen lässt. Es entfernt die trainierte Schicht zwischen dem Sprachmodell und dem Roboter: ein austauschbares Vision-Sprach-Modell, hier GPT-6 Astra, ruft direkt in eine Bibliothek für Greifen, Navigation und das Öffnen von Schubladen ein. Der Roboter erkundet den Raum, erstellt einen digitalen Zwilling in Nvidias Isaac Sim und protokolliert Objekte und Orte im räumlichen Gedächtnis, damit er Gegenstände finden kann, die aus seinem Sichtfeld verschwinden. Die genannten Einschränkungen sind die Latenz von Astra, überhitzende Finger-Servos und hohe Rechenkosten. Frühere Benchmarks zeigten verbessertes räumliches Schließen, während ein anderes Benchmark Sicherheitsprobleme aufzeigte, wenn Astra einen Roboter steuert.

Meta ging am 25. September einen anderen Weg und veröffentlichte eine detaillierte Beschreibung, wie sie Sicherheit in Muse, ihren persönlichen Agenten, einbaute. Das Framework läuft in seiner eigenen isolierten Zelle, sieht keine echten Zugangsdaten, und jede Interaktion mit der Außenwelt passiert durch einen Sentinel, den der Agent nicht außer Kraft setzen kann. Meta sagt, ihr Muse-Bug-Bounty-Programm sei für alle geöffnet, mit Belohnungen von bis zu 300.000 US-Dollar für gültige Berichte und bis zu 130.000 US-Dollar für Prompt-Injection-Versuche, die einen Benutzer betreffen. Das Unternehmen räumt auch ein, dass der Agent weiterhin Fehler machen wird.

Gemeinsam betrachtet, deuten die Ankündigungen der Woche auf eine Lücke hin, die weder Sandboxes noch selbstgeschriebene Standards allein schließen: Wer prüft die Prüfer und auf welcher Evidenz. Nvidia verkauft Durchsetzung, die man in Silizium zeigen kann. Drei Frontier-Labs schlagen vor, ihre eigenen Prüfer zu zertifizieren. Die UNCTADstat-Logs und die Wiki-Übernahme sind genau die Art von Vorfalldaten, die eine Standardsbehörde bräuchte, und keines davon wurde von den genannten Unternehmen unabhängig verifiziert.