Microsofts ThinkingBox zeigt: Agenten hinterlassen falsche Datensätze, obwohl sie Erfolg melden
Microsoft und Hugging Face haben ThinkingBox am 3. Oktober veröffentlicht. Der Benchmark bewertet KI-Agenten anhand der Datensätze, die sie in der Datenbank hinterlassen. In 121.680 gültigen Durchläufen mit 12 Modellen scheiterten 79.853 Versuche an den ausführbaren Prüfungen.

Der Benchmark spielt 507 zustandsbehaftete Geschäftsprozesse durch, jeden davon 20 Mal, und zwar jeweils von einem identischen, sauberen Backend aus. Er ignoriert, was der Agent behauptet, und prüft, was der Agent geschrieben hat: Feldwerte, geforderte Wirkungen und Nebenwirkungen. Microsoft hat das Paper gemeinsam mit Hugging Face veröffentlicht. Der Blogbeitrag mit den Ergebnissen ist auf den 3. Oktober datiert.
Die Fehlerzahlen wiegen schwerer als die Erfolgsquote. Von den 79.853 gescheiterten Versuchen endeten 67,24 Prozent trotzdem sauber, riefen ein Werkzeug auf, das den Zustand ändert, und meldeten keinen abschließenden Werkzeugfehler. Die ausführbaren Prüfungen fanden dann in 77,61 Prozent dieser Fälle falsche Feldwerte. Unbeabsichtigte zusätzliche Wirkungen traten in 43,30 Prozent auf, fehlende geforderte Wirkungen in 25,36 Prozent, wobei sich die Kategorien überschneiden. Anders gesagt: Ein Agent, der sagt, er sei fertig, ist kein Beleg dafür, dass irgendetwas erledigt wurde.
Das durchgerechnete Beispiel im Paper ist eine Kundin, deren Küchengerät für 745 Dollar in einer Ausnahme bei einem Kurier in einem Verteilzentrum in Nashville lag, fünfzehn Tage nach dem geschätzten Liefertermin.
Der Agent tätigte neun Werkzeugaufrufe und las die Rückerstattungsrichtlinie zweimal. Er prüfte das Kundensegment und stellte korrekt fest, dass kein Anspruch auf Entschädigung für verspätete Lieferung bestand. Dann schloss er das Ticket als gelöst. Der geforderte Endzustand war eine Sperre bis zur Klärung. Genau diese Lücke soll der Benchmark messen. Ein Prüfer, der Werkzeugaufrufe beobachtet, sieht neun wohlgeformte Aufrufe. Ein Prüfer, der kontrolliert, ob der Agent in die Datenbank geschrieben hat, sieht das ebenfalls. Nur der Datensatz widerspricht, und der Datensatz ist das, was die Kundin erlebt.
Warum das jeden betrifft, der Agentenkapazität einkauft
Unternehmen bemessen Agenten heute nach erledigten Aufgaben. ThinkingBox hält dagegen, dass die brauchbare Einheit ein wiederholbarer Endzustand ist. Jede Aufgabe im Benchmark läuft 20 Mal von einem sauberen Backend aus. Ein Agent, der eine Rückerstattung einmal korrekt bearbeitet und bei den nächsten vier Durchläufen verpfuscht, gilt nicht als funktionierender Rückerstattungsagent.
Unbekannt ist weiterhin, wie sich diese Raten mit der Gestaltung der Testumgebung, den Werkzeugschemata und der Modellwahl verschieben. Die headline figures fassen 12 Modelle zusammen, ohne Aufschlüsselung nach Modell in der veröffentlichten Zusammenfassung.
Das Messproblem zieht Aufmerksamkeit aus mehreren Richtungen gleichzeitig auf sich. Am 8. Juni stellte Emre Turan ein Paper auf arXiv ein, in dem er argumentiert, menschliche Freigabeschranken seien der leichte Teil der Agentensicherheit. Auf einem handgelabelten Satz von 125 adversarisch gewichteten Agentenaktionen stimmten die Prüfer nur mäßig darin überein, was als riskant gilt, mit einem Fleiss' kappa von 0,52. Turan modelliert den Prüfer als ermüdend, während die Eskalationslast wächst. Er kommt zu dem Ergebnis, dass Sicherheit bei steigender Eskalationsrate eine umgekehrte U-Kurve bildet: Mehr menschliche Aufsicht kann ein System unsicherer machen. Sein Paper bezeichnet keinen der Mechanismen als neu und zitiert frühere Arbeiten, darunter FALCON und DeCCaF.
Zwei verschiedene Kritiken treffen denselben schwachen Punkt.
ThinkingBox sagt, abschließende Antworten und gültige Werkzeugaufrufe seien Stellvertreter. Turan sagt, der menschliche Prüfer sei kein unendlich verfügbares Orakel. Beide zeigen auf dasselbe fehlende Teil: eine Prüfung, die hält, wenn Agent und Aufsicht beide fehlbar sind.
Der Werkzeugrummel um den Benchmark
Anbieter verkaufen bereits die Schicht, die ThinkingBox testet. Kimchi, eine Plattform für Coding-Agenten auf Basis von Pi, bewirbt eine einzige Durchsetzungsschicht für Ausgaben, Daten, Deployment und Modellrouting, mit harten Obergrenzen pro Nutzer, Team, API-Schlüssel oder Modell. Das eigene Marketing zeigt ein Teambudget bei 4.820 Dollar von 5.000 Dollar und einen Nutzer bei 820 Dollar von einer Obergrenze von 800 Dollar mit hartem Stopp.
Spawned geht einen anderen Weg. Das Unternehmen stellt Infrastruktur im eigenen AWS-, GCP- oder Azure-Konto des Kunden bereit, mit exportierbaren und Terraform-kompatiblen Ressourcen. Es listet Google Cloud und Kubernetes als verfügbar und Azure als geschlossene Beta. Keines der beiden Unternehmen hat unabhängige Ergebnisse dazu veröffentlicht, ob diese Kontrollen die von ThinkingBox gemessenen Fehlermodi verringern. Budgetobergrenzen stoppen einen durchgehenden Agenten beim Geldausgeben. Sie hindern ihn nicht daran, den falschen Ticketstatus zu schreiben.
Ein Agent kann korrekt klingen und trotzdem den falschen Wert hinterlassen, den falschen Datensatz ändern oder eine zusätzliche Nebenwirkung erzeugen.
Apple hat auf der Zugriffsseite nachgelegt. In einem Beitrag auf seiner Developer-Website erklärte Apple, Full Disk Access unter macOS umgehe weitgehend seine Datenschutzkontrollen. Einige Entwickler nutzten es auf Weisen, die Nutzer gefährden könnten, indem sie Dateien, Mail, Nachrichten und Browserverlauf offenlegten. Apple kündigte an, Kontrollen einzuführen, damit Nutzer diesen Zugriff nur durch eine sehr ausdrückliche Handlung erteilen. Welche Kontrollen das sind und wann sie erscheinen, hat das Unternehmen nicht gesagt.
Der gemeinsame Faden von Benchmark, arXiv-Paper und Apples Hinweis: Die Ausgabe eines Agenten muss gegen etwas außerhalb des Agenten geprüft werden. ThinkingBox setzt die Prüfung in den Backend-Zustand. Turan setzt sie in eine gemessene Eskalationskurve. Apple setzt sie in die Berechtigungsabfrage. Keiner davon schließt die Lücke allein.
Quellen
10- 01The Agent Said It Was Done. The Database DisagreedEN
- 02Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 03Pi-based coding agent with hard budget capsEN
- 04Spawned: AIO cloud platform for humans and agentsEN
- 05Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Writing Evals for Agentic Systems as a 4 Step LoopEN
- 08I stopped reviewing my agents' code. Here's what I do insteadEN
- 09Let AI agents use your site with 3 HTML attributesEN
- 10Give Your AI Agent Its Own IdentityEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.