Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Agent-Tooling teilt sich: Nvidia setzt auf Sandboxes, Gartner sagt Abwanderung voraus

Nvidia hat am 28. September die Open Agent Safety Platform vorgestellt. Der Open-Source-Runtime und die Überwachungskette sollen einen Agenten, der aus der Spur läuft, nach Angaben des Unternehmens in Millisekunden isolieren. Neue Forschung beziffert unterdessen, wie stark Agenten bei der Aufgabe bleiben.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 1. Oktober 20263 Min. LesezeitQuellen 14
Agent-Tooling teilt sich: Nvidia setzt auf Sandboxes, Gartner sagt Abwanderung voraus

Nvidia kündigte die Plattform am 28. September an. Sie kombiniert OpenShell, eine Runtime, die Agentenaktionen verfolgt und Richtlinien auf Vera-CPUs durchsetzt, mit Sentry, einem ausgelagerten Wächter auf BlueField-4-DPUs.

Tom's Hardware berichtet, Sentry könne einen Agenten, der seine Grenze verlassen will, in Millisekunden isolieren. Mehr als 100 Organisationen arbeiten nach Angaben von The Robot Report mit der Technologie, darunter der Hersteller von Inspektionsrobotern Gecko Robotics. Jensen Huang beschrieb Sicherheit als Ingenieursaufgabe, nicht als politische Frage. "Safety and security require full-stack engineering", sagte der Nvidia-CEO in einer Erklärung, die The Robot Report zitierte. Justin Boitano, Nvidias Enterprise-AI-VP, beschrieb das Design gegenüber demselben Medium als Sicherheitsinsel eines selbstfahrenden Autos. Das Hauptsystem übernimmt die Wahrnehmung, eine getrennte Vertrauensdomäne sorgt dafür, dass das Ganze sicher ausfällt.

In derselben Woche ein Leck und ein Benchmark

Der Start fiel nur Tage nachdem der Endpoint-Security-Anbieter Glow PixelLeak veröffentlicht hatte. Dieser Bericht stellte fest, dass KI-Coding-Agenten mehr als 13.000 interne Screenshots in öffentliche GitHub-Repositories hochgeladen hatten. The Decoder und Tom's Hardware berichteten beide darüber. Die Bilder stammten aus 343 Organisationen, je nach Darstellung auch aus über 300. Sie enthielten Kundendaten, Login-Daten, Finanzunterlagen und unveröffentlichte Funktionen. Die Ursache war banal. GitHub zeigt Bildanhänge in Pull Requests über den Browser an, und Agenten arbeiten von der Kommandozeile aus, also behalfen sie sich, indem sie öffentliche Repos anlegten.

Unabhängige Forschung deutet auf ein tieferes Problem hin. Ein am 30. September bei arXiv eingereichtes Papier mit dem Titel "Staying on Task" untersuchte sieben Modelle mit offenen Gewichten. Es fand einen Leistungsabfall von 62,8 Prozent, als die Kontextlänge von 4.000 auf 128.000 Token wuchs. Ein variierendes Eingabeformat kostete 36,5 Prozent. Eine höhere lokale Aufgabenkomplexität kostete 39,9 Prozent. Die Autoren nennen das kritische Belastungen für langfristige agentische Workflows.

Weitere arXiv-Einreichungen dieser Woche zielen auf dieselbe Lücke. Eine Systematisierung konkurrierender Gefahren prüfte 22 Vorfallberichte und 102 Sicherheitsbewertungen, die zwischen Januar 2025 und September 2026 erschienen. Sie ergab, dass in 20 von 22 Vorfällen die Umgebung selbst den Effekt außerhalb des vorgesehenen Rahmens erlaubte. Ein separater Benchmark für selektiven Rückzug meldete einen Rückzugs-Recall von höchstens 0,06 über die getesteten Modelle.

Käufer bekommen kalte Füße

Gartner sagt voraus, dass bis 2028 70 Prozent der Unternehmen agentische KI-Systeme aufgeben werden, die mit Anbieterhilfe gebaut wurden. Die Kosten steigen, und Kunden haben Mühe, die Technologie ohne externe Hilfe anzupassen. The Register berichtete am 30. September über die Prognose. Gartner-Analyst Mukul Saha sagte, die am besten zugeschnittenen Engagements mit vor Ort eingesetzten Ingenieuren legten Governance, IP-Eigentum, Wissenstransfer und Ausstiegsstrategie vom ersten Tag an fest. Die Firma warnte außerdem vor "FDE washing", bei dem gewöhnliche Beratung als etwas Spezialisierteres neu etikettiert wird.

"Many providers now use 'forward deployed' as a label for implementation, professional services, solution engineering, or AI consulting; some thoughtfully, others because it sounds more strategic", sagte Saha.

Identität ist die andere Schwachstelle. The Hacker News legte einen Rahmen vor, der jeden Agenten als nicht-menschliche Identität mit einem menschlichen Eigentümer, definiertem Umfang und einem Ablaufdatum behandelt. Der Beitrag merkte an, dass Deployment-Pipelines meist Agentenidentitäten anlegen, nicht HR-Workflows, sodass sie die Governance umgehen, die Anomalien bei menschlichem Zugriff erkennt. Die OWASP Top 10 für LLM-Anwendungen benennt das Fehlermuster direkt als excessive agency.

Anbieter verkaufen in diese Unsicherheit hinein. Restate, ein Berliner Startup der Schöpfer von Apache Flink, sammelte eine Series A von 20.000.000 US-Dollar unter Führung von Singular ein, damit Agenten Abstürze überstehen; die Gesamtfinanzierung liegt damit bei 27.000.000 US-Dollar, berichtet The Next Web. Metaview sammelte 60.000.000 US-Dollar unter Führung von Insight Partners ein, um Agenten in der Personalbeschaffung einzusetzen; mehr als 7.000 Unternehmen nutzen es. Auf der Verbraucherseite öffnete DoorDash eine Warteliste für einen Text-to-Order-Agenten in Apple Messages. Airbnb brachte diese Woche eine KI-gestützte Suche heraus, CEO Brian Chesky sagte gegenüber TechCrunch, Chatbots seien die falsche Schnittstelle zum Stöbern.

Der rote Faden von Dallas bis arXiv ist derselbe. Agent-Tooling wird schneller ausgeliefert als die Belege, dass es hält. Die Käufer mit dem größten Risiko beginnen, das einzupreisen.

Kommentare 0

Quellen

14
  1. 01Nvidia launches Open Agent Safety Platform to restrain rogue AI agentsEN
  2. 02Gecko Robotics works with NVIDIA to add AI agent security and controlEN
  3. 03Security startup finds more than 13,000 internal company screenshots that AI agents uploaded publiclyEN
  4. 04AI agents inadvertently leak 13,000+ internal screenshots from organizationsEN
  5. 05Staying on Task: Testing the Foundations of Long-Horizon Agent ReliabilityEN
  6. 06A Competing-Hazards Systematization of Loss of Control in Autonomous AgentsEN
  7. 07NAQD Env: A benchmark for selective withdrawal in language agentsEN
  8. 087 in 10 enterprises expected to abandon vendor-built agentic AI by 2028EN
  9. 09IAM for AI agents: A Practical Enterprise FrameworkEN
  10. 10Restate raises $20m to keep AI agents running when software failsEN
  11. 11Metaview raises $60m to put AI agents across the whole hiring processEN
  12. 12DoorDash launches an AI agent you can text to order foodEN
  13. 13Brian Chesky interview: AI agents need their own operating systemEN
  14. 14CNBC AI Forum live updates: Enterprise AI in DallasEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.