Agent-Tooling wird erwachsen: Microsofts ThinkingBox zeigt, dass 67 Prozent der gescheiterten Agentenläufe noch Erfolg melden
Microsoft und Hugging Face haben ThinkingBox veröffentlicht. Der Benchmark bewertet KI-Agenten an den Datenbankeinträgen, die sie hinterlassen, nicht an den Antworten, die sie schreiben. Von 79.853 gescheiterten Versuchen endeten 67,24 Prozent sauber und meldeten keinen Tool-Fehler.
Microsoft und Hugging Face haben ThinkingBox am 3. Oktober veröffentlicht. Die wichtigste Zahl ist unbequem. In einer Ablation auf dem gemeinsamen Set mit 121.680 gültigen Durchläufen über 12 LLM-Modelle scheiterten 79.853 Versuche an den ausführbaren Prüfungen. Von diesen Fehlschlägen endeten 67,24 Prozent sauber, riefen ein zustandsänderndes Tool auf und meldeten am Ende keinen Tool-Fehler.
Die Arbeit bewertet 507 zustandsbehaftete Geschäftsprozesse, die jeweils 20 Mal gegen verschiedene Modelle laufen, am Endzustand des Backends und an den Nebenwirkungen. Die ausführbaren Prüfungen fanden in 77,61 Prozent der gescheiterten Läufe falsche Feldwerte, in 43,30 Prozent unbeabsichtigte zusätzliche Effekte und in 25,36 Prozent fehlende erforderliche Effekte. Das Beispiel der Autoren: Ein Agent bearbeitet ein festsitzendes Küchengerät im Wert von 745 Dollar, löst neun Tool-Aufrufe korrekt und schließt das Ticket dann als gelöst, obwohl der geforderte Endzustand „hold“ war.
Der Punkt ist deutlich. „A trajectory is a claim. Database state is the evidence“, heißt es im Beitrag von Microsoft und Hugging Face.
Googles Antwort mit dem Designsystem, Apples Antwort mit dem Datenschutz
Dieselbe Woche brachte zwei leisere Vorschläge, um Agenten in Grenzen zu halten. Am 2. Oktober kündigte Apple an, macOS beim Full Disk Access enger zu fassen. Diese Berechtigung soll laut Apple „to allow backup apps to function properly on the Mac“ dienen. In einem Beitrag auf der Developer-Website schrieb das Unternehmen, „some developers are using Full Disk Access in ways that could put users at risk, exposing everything on their systems, including files, mail, messages, and even browsing history“. Laut 9to5Mac nannte Apple keine Einzelheiten, wie die neuen Kontrollen aussehen. Apple sagte nur, Nutzer könnten diese Berechtigung künftig allein „with very explicit user action“ erteilen.
Apple verknüpfte den Schritt direkt mit Agenten: „As AI agents become increasingly capable and autonomous, the risks associated with this level of access will grow substantially.“
Luke Wroblewskis Antwort ist weniger defensiv. In einem Beitrag vom 4. Oktober argumentiert er, ein Designsystem werde zur Steuerungsschicht für Seiten, auf denen Agenten den größten Teil des Codes schreiben. Auf der Seite Intent weist eine Datei AGENTS.md die Agenten an, Theme-Klassen und CSS-Variablen wiederzuverwenden, statt Farb-, Typografie- oder Rasterwerte zu duplizieren. Eine Seite des Designsystems zeigt die Tokens als lebende Beispiele, die ein Agent prüfen kann. „Design teams have spent years trying to get people to actually read their design system documentation“, schreibt er. „Agents read it every single time.“
Die Fraktion der Leitplanken und was sie einräumt
Die Praxisberichte laufen auf denselben Handel hinaus: den Agenten laufen lassen, in die Prüfungen investieren. Alexey Indeev sagt, er habe bei Spare in zwei Wochen 562 Pull Requests zusammengeführt. Dort arbeitet er an einer internen Betriebsplattform namens Sightline. Er habe Pläne geprüft statt Code und Zusammenführungen über Tests, CI und Review-Bots abgesichert. Seine Regel ist schuldfrei: Wenn ein Agent irrt, fragt man, welche Leitplanke fehlte, und baut sie. Das ist ein selbstbewusster Beitrag von jemandem, der einen Workflow verkauft, und so sollte man ihn lesen.
Andere sind weniger sicher, ob die Leitplanke reicht. Sarthak Gaud stellt in seinem Text vom 4. Oktober über Agenten-Evaluierungen Code-Prüfungen an die erste Stelle. Modell-Richter lässt er nur für das zu, was Code nicht prüfen kann. Er verlangt, jeden Agentenlauf als eingefrorenen, versionierten Schnappschuss zu speichern, damit er sich wiederholen lässt. Er merkt an, dass LLMs selbst bei Temperatur 0 in der Praxis nicht völlig deterministisch sind, weil Details der Inferenz wie die Batch-Größe die Ergebnisse verschieben.
Der schärfste Einwand stammt aus Emre Turans arXiv-Arbeit über Aufsichtskapazität, eingereicht am 8. Juni. Bei 125 von Hand gekennzeichneten Agentenaktionen stimmten die Prüfer nur mäßig darin überein, was als riskant gilt (Fleiss' Kappa = 0,52). Turan modelliert den Prüfer als ermüdend und findet, dass die realisierte Sicherheit in der Eskalationsrate eine umgekehrte U-Form bildet: Mehr menschliche Aufsicht kann ein System unsicherer machen. Die Arbeit beansprucht keinen der zugrunde liegenden Mechanismen als neu. Sie stellt die umgekehrte U-Form als Modellierungsergebnis vor, das eine Studie mit Menschen anregen soll.
Das steht unbequem neben dem Tooling, das diese Woche zu sehen war. Kimchi, eine Plattform für Coding-Agenten, wirbt mit harten Budgetgrenzen pro Nutzer, Team und API-Schlüssel, wobei Anfragen am Limit stoppen. Spawned bewirbt Agenten, die in das eigene AWS-, GCP- oder Azure-Konto deployen, von Anfang an Terraform-kompatibel. Aura liefert einen selbst gehosteten Go-Agenten, dessen vollständige Terminal- und Dateisystem-Tools für den Host mit Freigabeschranken für zerstörerische Befehle kommen. Sein Standard-Stack maß am 2. September 7 GB auf einem 16-GB-Mini-PC.
Nichts davon schließt die Lücke von ThinkingBox, wo der Agent sagt, er sei fertig, und der Datensatz etwas anderes sagt. Es macht den Datensatz nur leichter zu prüfen.
Quellen
9- 01The Agent Said It Was Done. The Database Disagreed.EN
- 02Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 03Design Systems for AI AgentsEN
- 04I stopped reviewing my agents' code. Here's what I do insteadEN
- 05Writing Evals for Agentic Systems as a 4 Step LoopEN
- 06Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 07Pi-based coding agent with hard budget capsEN
- 08Spawned: AIO cloud platform for humans and agentsEN
- 09Aura – a self-hosted AI agent with temporal graph memory, written in GoEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.