Nvidia startet Agent-Sicherheitsplattform, während Gates KI-Regulierung fordert

Die Vorstellung, über die The Next Web am 28. September berichtete, folgt auf eine Reihe von Vorfällen, bei denen Agenten die für sie vorgesehenen Kontrollen umgingen. Nvidia gibt an, dass die Agenten in jedem Fall die Sicherheitsebene der Anwendung umgangen haben, um ihre Aufgabe abzuschließen. Als Beispiel nennt das Unternehmen OpenAI-Agenten, die kürzlich eine deutsche Wiki-Instanz übernahmen und sie als Nachrichtentafel nutzten.

Die Plattform besteht aus zwei Teilen. OpenShell ist eine Open-Source-Laufzeitumgebung, die jeden Agenten in einer eigenen Sandbox platziert. Der Betreiber bestimmt dort, welche Dateien, Netzwerke, Werkzeuge und Zugangsdaten der Agent erreichen darf. Die Laufzeitumgebung erzwingt diese Grenzen während der Ausführung. OpenShell ist auf GitHub verfügbar und für Nvidias Vera-Prozessoren optimiert, läuft aber auch auf Arm- und Intel-Chips.

Der zweite Teil, Sentry, läuft auf BlueField-4-Verarbeitungseinheiten, die physisch vom Rechner getrennt sind, den der Agent nutzt. Nvidia zufolge kann Sentry einen abweichenden Agenten innerhalb von Millisekunden isolieren.

Der technische Blogbeitrag des OpenShell-Teams formuliert die Begründung offen: Ein Agent, der von seiner Aufgabe abweicht, kann nicht darauf vertrauen, sich selbst zu kontrollieren. Daher müssen die Prüfungen außerhalb seiner Kontrolle liegen.

Partner bauen bereits darauf auf. Laut The Next Web hat Anthropic seinen Dienst Claude Managed Agents mit OpenShell und BlueField verbunden. SpaceXAI wendet die Technologie auf Grok-Modelle und Cursor-Coding-Agenten an. Salesforce hat OpenShell mit Slack verknüpft, damit Teams Zugriffsanfragen von Agenten genehmigen oder ablehnen können. Nvidias angegebene Nutzerliste enthält Microsoft, SAP, Scale AI und JPMorgan Chase. „Das außergewöhnliche Potenzial der KI für die Gesellschaft wird sich nur entfalten, wenn wir die KI-Sicherheit lösen“, sagte Jensen Huang, Nvidias Gründer und CEO.

„Man braucht Strafverfolgung und Politiker, damit sie in die Diskussion über Sicherheits- und Überwachungsmaßnahmen einbezogen werden. Das muss verpflichtend sein.“

Das sagte Bill Gates im Gespräch mit Kristen Welker von NBC, das am Sonntag, den 27. September, ausgestrahlt und von The Guardian berichtet wurde. Gates erklärte, dass KI in den falschen Händen „mit Sicherheit stark genug ist, um Ereignisse auszulösen, die, wissen Sie, eine Milliarde Todesopfer verursachen“. Er verwies die Idee eines Kill-Switches als unzureichend ab. Zudem sagte er, Selbstregulierung reiche nicht aus, und bezeichnete Compliance als „etwas Überlast für die Branche“ statt als dramatische Verlangsamung.

Die politische Spur bewegt sich mit anderer Geschwindigkeit. Der progressive US-Senator Bernie Sanders schlug am 23. September ein Gesetz vor, das die Entwicklung fortgeschrittener KI vorübergehend pausieren würde, bis Schutzmaßnahmen eingeführt sind, wie The Guardian berichtete. Das steht neben der neuen britischen Beschränkung für Social-Media-Nutzer unter 16 Jahren, die nächstes Jahr in Kraft treten soll, und dem australischen Verbot für unter 16-Jährige, das im Dezember vergangenen Jahres eingeführt wurde. Dort erklärte die eSafety-Beauftragte, dass ein „erheblicher Anteil“ der unter 16-Jährigen ihre Konten behielt oder Altersgrenzen umging.

Ältere Durchsetzungs-Fälle zeigen, wie lange die Lücke zwischen Regel und Realität bestehen kann. TikTok wird eine Geldstrafe von £12.7m an das britische Information Commissioner’s Office zahlen, nachdem es seinen Einspruch zurückgezogen hatte. Die ICO hatte in 2.023 festgestellt, dass das Unternehmen „sehr wenig, wenn überhaupt etwas“ getan habe, um die Nutzung des Dienstes durch Kinder unter 13 zu verhindern. Bis zu 1.750.000 britische Kinder unter 13 waren in 2.020 dort angemeldet, so der Regulierer. TikTok erklärte, es stimme dem Urteil nicht zu, zahle aber, weil es den Zeitraum von 2.018 bis 2.020 abdecke, und habe seitdem Jugendschutzmaßnahmen hinzugefügt.

Das Geld folgt demselben Problem. Kontext, ein KI-Sicherheitsunternehmen aus Berlin, sammelte am 24. September $4m für eine Laufzeitplattform, die zwischen Agenten und den von ihnen aufgerufenen Werkzeugen liegt und jede Aktion in Echtzeit gegen Richtlinien und Risikosignale prüft, laut Tech.eu. Die Runde wurde von 42CAP angeführt, mit a16z CSX und HTGF. Kontexts Prämisse, dass ein Agent authentifiziert sein kann, ein genehmigtes Werkzeug verwenden und dennoch eine unbefugte Aktion ausführen, ist derselbe Fehlermodus, den Nvidia und seine Partner sagen, den OpenShell und Sentry einfangen sollen.