Microsoft und Hugging Face: Agenten scheitern an 35 Prozent der Unternehmensaufgaben
Ein Benchmark von Microsoft und Hugging Face über 507 zustandsbehaftete Geschäftsabläufe ergab, dass Agenten in 79.853 von 121.680 gültigen Durchläufen die ausführbaren Prüfungen nicht bestanden. Bei 67,24 Prozent dieser Fehlschläge endete der Lauf trotzdem mit einer sauberen Antwort und ohne Werkzeugfehler.

Microsoft und Hugging Face haben ThinkingBox am 3. Oktober veröffentlicht. Der Benchmark bewertet KI-Agenten nach den Datensätzen, die sie in einer Datenbank hinterlassen, nicht nach den Sätzen, die sie zurückschreiben. Die Kennzahl ist eindeutig. In einer Ablation mit gemeinsamem Testsatz über 121.680 gültige Durchläufe auf 12 LLM-Modellen scheiterten 79.853 Versuche an den ausführbaren Prüfungen. Die Arbeit ist über Hugging Face verfügbar, das Paper liegt bei.
Für alle, die Agenten einkaufen oder betreiben, ändert sich die Einheit des Nachweises. Eine polierte Schlussantwort und ein sauber geformter Werkzeugaufruf sind Stellvertreter, argumentieren die Autoren, und schwache dazu. Ein Agent kann korrekt klingen und dabei den falschen Ticketstatus schreiben, einen nötigen Seiteneffekt auslassen oder einen zusätzlichen erzeugen. Für Unternehmen heißt das: Abnahmetests, die auf Transkripten beruhen, lassen Systeme durch, die Datensätze still beschädigen. Weder Microsoft noch Hugging Face haben gesagt, wie der Benchmark in die Produktfreigabe einfließen soll. Die 507 Abläufe sind ein fester Satz, keine Erhebung realer Produktionsaufgaben.
Eine saubere Antwort ist kein sauberer Endzustand
Das Eröffnungsbeispiel des Benchmarks ist ein Küchengerät für 745 Dollar, das in einem Verteilzentrum in Nashville fünfzehn Tage über dem geschätzten Liefertermin feststeckt. Der Agent macht neun Werkzeugaufrufe. Er liest die Erstattungsrichtlinie korrekt und stellt fest, dass der Kunde keinen Anspruch auf Ausgleich für die verspätete Lieferung hat. Dann schließt er das Ticket als gelöst. Die Ausnahme beim Frachtführer ist weiterhin offen. Der geforderte Endzustand war on hold, bis zur Klärung. Die Datenbank widerspricht.
Die Aufschlüsselung der Fehlschläge wird unangenehm für Teams, die bereits Agenten betreiben. Von den 79.853 gescheiterten Versuchen endeten 67,24 Prozent trotzdem sauber, riefen ein zustandsänderndes Werkzeug auf und meldeten keinen abschließenden Werkzeugfehler. Die ausführbaren Prüfungen fanden in 77,61 Prozent dieser Fälle falsche Feldwerte, in 43,30 Prozent ungewollte zusätzliche Effekte und in 25,36 Prozent fehlende erforderliche Effekte. Diese Befunde überschneiden sich, und das Paper sagt das auch. Jede Aufgabe läuft 20 Mal von einem identischen sauberen Backend aus. Ein Agent, der eine Erstattung einmal bearbeitet und die nächsten vier verpatzt, ist kein Erstattungsagent.
Eine Trajektorie ist eine Behauptung. Der Datenbankzustand ist der Beweis. Wiederholung ist der Vertrauenstest.
Die Autoren nennen auch externe Beiträger, darunter Tommy Guy von Enderis AI, früher bei Microsoft, und Sergio Paniego von Hugging Face, daneben die früheren Praktikanten Zhuochun Li, Ali Keramati und Youngmin Ko. Das Paper ist zusammen mit dem Blog verfügbar. Die Beispielaufgabe lässt sich als sandbox_external_retail_group1.py:test_case_ST003_006 ausführen, wo die scheiternde Prüfung ein einzelnes Feld betrifft.
Apple bewegt sich bei der Berechtigung, die Agenten anfordern
Separat kündigte Apple am 2. Oktober an, macOS um Kontrollen für den Vollzugriff auf die Festplatte zu erweitern, jene Berechtigung, die laut Apple existiert, damit Backup-Apps funktionieren. In einem Beitrag auf der Developer-Website schrieb Apple, "some developers are using Full Disk Access in ways that could put users at risk, exposing everything on their systems, including files, mail, messages, and even browsing history, without users' full knowledge and understanding." 9to5Mac berichtete am selben Tag über die Änderung.
Apple machte keine Angaben dazu, wie die neuen Kontrollen aussehen oder wann sie kommen. Den Schritt verknüpfte das Unternehmen aber direkt mit Agenten: "As AI agents become increasingly capable and autonomous, the risks associated with this level of access will grow substantially." 9to5Mac nennt Meta Muse und OpenAIs Dots als dauerhaft laufende Agenten, die breiten Zugriff auf persönliche Daten anfordern. Für Mac-Flotten in Unternehmen lautet die praktische Frage, ob die zusätzliche Abfrage die skriptgesteuerte Einrichtung bricht. Apple hat dazu nichts gesagt.
Auch am anderen Ende des Stacks rückt die Identität von Agenten in den Blick. Der AgentID-Ansatz von AgentMail, veröffentlicht am 4. Oktober, argumentiert, dass ein Agent mit deinem eigenen Login dafür sorgt, dass jede App seine Aktionen unter deinem Namen protokolliert. Abschalten lässt sich das nur, indem du dein Passwort änderst. Die Alternative gibt dem Agenten eine eigene Postfachadresse als stabile Kennung, während der Mensch als Eigentümer eingetragen wird. Der Beitrag ist Herstellermaterial, und die Sicherheitsaussagen stammen vom Unternehmen selbst. Die Form des Problems ist real genug, dass Replit laut einer Schlagzeile der Fachpresse vom 27. Oktober eine Identitätsverfolgung pro Agent eingeführt hat.
Aufsicht hat einen Preis und eine Grenze
Das menschliche Freigabe-Gate, auf das die meisten Teams setzen, hat seine eigene Rechnung. Ein Paper von Emre Turan, am 8. Juni bei arXiv eingereicht, labelte 125 adversarisch gewichtete Agentenaktionen. Es zeigte, dass Prüfer nur mäßig darin übereinstimmen, welche davon riskant sind, mit einem Fleiss' kappa von 0,52. Es gibt kein einziges richtiges Label, auf das man trainieren könnte. Schlimmer noch: Modelliert man den Prüfer als ermüdend, während das Eskalationsvolumen steigt, folgt die realisierte Sicherheit einer umgekehrten U-Kurve. Mehr zu eskalieren kann das System unsicherer machen. Der sicherheitsoptimale Schutz eskaliert unterhalb der vollen Eskalation, was zugleich die Einstellung ist, mit der eine lastbewusste Strategie einem Flooding-Angriff widerstehen kann. Das Paper rahmt Aufsicht selbst als Problem der Ressourcenverteilung. Die umgekehrte U-Kurve und das Flooding-Ergebnis seien Modellierungsergebnisse, die eine Humanstudie begründen, heißt es dort.
Sarthak Gauds Beitrag über Evals, veröffentlicht am 4. Oktober, macht von der Bauseite her denselben Punkt. Nicht deterministische Systeme lassen sich nicht an einem festen erwarteten Output messen. Also stellt er einfache Codeprüfungen an den Anfang, etwa ob die Datenbank im richtigen Zustand endete oder das richtige Werkzeug aufgerufen wurde. Einen Judge zieht er nur für das heran, was Code nicht prüfen kann. Er warnt zudem, dass Agentenläufe eingefroren und versioniert werden müssen, Werkzeuge und MCP-Antworten eingeschlossen, sonst lassen sich alte Läufe nicht erneut abspielen. Das ist dieselbe Lehre wie bei ThinkingBox, nur aus einer anderen Richtung: Der Datensatz ist der Test.
Drift kommt ohne Deployment
Es gibt einen leiseren Fehlermodus, den kein einzelner Lauf einfängt. Am 3. Oktober veröffentlichte sdarchitect.blog den vierten Teil einer Reihe über KI-Risiken und fragte, warum sich das Verhalten eines Agenten ändert, wenn niemand den Agenten geändert hat. Kein neuer Prompt, keine Codeänderung, kein getauschtes Modell, und die Release-Pipeline ist sauber. Die Antwort des Beitrags: Ein Agent ist ein System aus Modellen, Harnesses, Werkzeugen, Daten, anderen Agenten und Menschen. Bewegt sich eines davon, ändert sich der Output. Er verweist auf NIST-Leitlinien zur Überwachung generativer KI-Systeme nach dem Deployment und auf Microsofts Lifecycle-Leitlinien, die Foundation-Modelle als versionierte Abhängigkeiten behandeln.
Die fünf Dimensionen von Agentendrift, die der Autor beschreibt, hängen zusammen. Genau das macht die Diagnose schwerer als das Lesen eines Diffs. Geschäftlich heißt das: Kontinuierliche Evaluation ist für Teams, die Agenten in die Produktion bringen, kein nettes Extra. Sie ist der einzige Weg zu bemerken, dass das, was du letzten Monat freigegeben hast, nicht mehr das ist, was jetzt läuft.
All das hat den Ansturm der Werkzeuge nicht gestoppt. Kimchi, am 4. Oktober gestartet, verkauft einen regierten Coding-Agenten mit harten Budgetgrenzen pro Nutzer, Team und API-Schlüssel, dazu Ausgabenverfolgung pro Modell und eine Durchsetzungsschicht, die vor dem Verlassen der Umgebung greift. Spawned, ebenfalls am 4. Oktober erschienen, bietet eine Steuerungsoberfläche, um Infrastruktur in das eigene AWS-, GCP- oder Azure-Konto eines Kunden zu deployen, mit versionierten und Terraform-kompatiblen Ressourcen. Beide adressieren eine reale Lücke: Agenten, die handeln, brauchen Budgets und Grenzen, die Menschen prüfen können.
Das Muster der Woche ist, dass die Werkzeugschicht schneller reift als die Evidenzschicht. Benchmarks wie ThinkingBox beziffern, wie oft Agenten den falschen Datensatz hinterlassen. Apple verschärft die Berechtigung, mit der sie auf die Festplatte gelangen. Identitätsanbieter wollen, dass Agenten aufhören, menschliche Logins zu leihen. Offen bleibt, ob Unternehmen für diese Evidenz zahlen oder weiter auf die Kraft einer sauberen Schlussantwort setzen.
Quellen
8- 01The Agent Said It Was Done. The Database DisagreedEN
- 02Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
- 03Give Your AI Agent Its Own IdentityEN
- 04Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
- 05Writing Evals for Agentic Systems as a 4 Step LoopEN
- 06AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
- 07Pi-based coding agent with hard budget capsEN
- 08Spawned: AIO cloud platform for humans and agentsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.