Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Microsoft und Hugging Face messen Agent-Zuverlässigkeit an 79.853 fehlgeschlagenen Prüfungen

Microsoft und Hugging Face haben ThinkingBox am 3. Oktober veröffentlicht. Der Benchmark bewertet KI-Agenten nach den Datenbankeinträgen, die sie hinterlassen, nicht nach den Antworten, die sie schreiben. In 507 Geschäftsabläufen scheiterten 79.853 von 121.680 gültigen Durchläufen an den ausführbaren Prüfungen.

KI & ModelleErklärtKatrin HoffmannVeröffentlicht: 4. Oktober 20264 Min. LesezeitQuellen 8
Microsoft und Hugging Face messen Agent-Zuverlässigkeit an 79.853 fehlgeschlagenen Prüfungen

Microsoft und Hugging Face haben den Benchmark gemeinsam gebaut. Das geht aus einem Blogbeitrag von Hugging Face vom 3. Oktober hervor. Jede der 507 zustandsbehafteten Aufgaben läuft 20 Mal gegen ein sauberes Backend, über 12 LLM-Modelle hinweg. Die Prämisse ist einfach: Eine fertige Antwort ist eine Behauptung, die Datenbank ist der Beweis.

Warum das zählt, hängt davon ab, wo man steht. Wer Agenten auf Abrechnungs-, Ticketsysteme oder Lagerbestände ansetzt, bekommt aus dem Beitrag ein Argument. Endgültige Antworten und gültige Tool-Aufrufe seien nur Stellvertreter, heißt es dort, geprüft werden müsse der Endzustand. Käufer von Agentenplattformen sollten erwarten, dass Anbieter Fragen zur Wiederholbarkeit beantworten, nicht nur zur Demo-Qualität. Weder der Beitrag noch die Autoren nennen, welches der 12 Modelle am häufigsten scheiterte oder wie sich die Ergebnisse auf ein kommerzielles Produkt übertragen lassen.

Die Schlagzeilenzahl ist deutlich. Eine Ablation auf einem gemeinsamen Set umfasste 121.680 gültige Durchläufe über 12 LLM-Modelle. Davon scheiterten 79.853 Versuche an den ausführbaren Prüfungen.

Saubere Abschlüsse, falsche Einträge

Von diesen Fehlschlägen endeten laut der Darstellung von Microsoft und Hugging Face 67,24% dennoch sauber, riefen ein zustandsänderndes Tool auf und meldeten keinen abschließenden Tool-Fehler. Die ausführbaren Prüfungen fanden in 77,61% dieser Fälle falsche Feldwerte, in 43,30% unbeabsichtigte zusätzliche Effekte und in 25,36% fehlende erforderliche Effekte; die Befunde überschneiden sich. Die Autoren führen einen Einzelhandelsfall durch, angelehnt an eine Benchmark-Aufgabe, sandbox_external_retail_group1.py:test_case_ST003_006. Ein Agent bearbeitet das hängende Küchengerät eines Kunden im Wert von 745 Dollar in neun Tool-Aufrufen und liest die Rückerstattungsrichtlinie korrekt. Dann schließt er das Ticket als gelöst, obwohl der erforderliche Endzustand auf Warten lautete. Eine Feldprüfung schlägt fehl.

Der Benchmark wird veröffentlicht, damit andere ihn ausführen können. Er läuft über OpenEnv, und laut Beitrag können Leser den Fall selbst durchspielen.

ThinkingBox ist nicht der einzige jüngere Versuch, die Bewertung von Agenten von der Chatqualität zu lösen. Ein Erfahrungsbericht von Sarthak Gaud beschreibt eine Schleife in vier Schritten für Evals. Einen Schnappschuss jedes Agentenlaufs einfrieren, jeden Schritt von einer Fachperson als richtig oder falsch markieren lassen, die Anmerkungen zu einem Datensatz zusammenführen und Codeprüfungen als erste Instanz behandeln, bevor ein Judge hinzukommt. Gaud empfiehlt, mit etwa 20 Läufen zu beginnen. Das ist wenig neben 507 Abläufen mit je 20 Durchläufen, doch das Prinzip stimmt: festhalten, was passiert ist, und es dann prüfen.

Auch die Aufsicht hat eine Grenze

Die andere Hälfte des Problems ist der Mensch im Prozess. Ein Paper von Emre Turan, am 8. Juni auf arXiv veröffentlicht, argumentiert, Genehmigungshürden seien der leichte Teil. Schwer sei zu beurteilen, welche Aktionen zu stoppen sind. Bei einem handgelabelten Satz von 125 adversarisch gewichteten Agentenaktionen stimmten Prüfer nur mäßig darin überein, was als riskant galt, mit einem Fleiss' kappa von 0,52. Modelliert man Prüfer als ermüdend unter Eskalationslast, folgt die realisierte Sicherheit einer umgekehrten U-Kurve bei der Eskalationsrate: Mehr menschliche Aufsicht kann ein System unsicherer machen. Das Paper bezeichnet die umgekehrte U-Kurve und die Modellierung eines Flooding-Angriffs als Ergebnisse, die eine Humanstudie begründen.

"A trajectory is a claim. Database state is the evidence. Repetition is the trust test."

Dieser Satz aus dem Beitrag von Microsoft und Hugging Face fasst die Verschiebung zusammen. Wiederholbarkeit ist jetzt der Test, und ein einzelner guter Lauf beweist wenig.

Einige Teams organisieren sich bereits um diese Annahme herum. Alexey Indeev schrieb am 4. Oktober, er habe in zwei Wochen 562 Pull Requests zusammengeführt, ohne jede Zeile zu prüfen. Er verließ sich stattdessen auf Tests, CI und Review-Bots, die ein Agent nicht umgehen kann. Seine eigene Warnung: KI-Code ist nicht deterministisch, und menschlicher Code auch nicht.

Andere zeigen auf ein anderes bewegliches Teil. Ein Blogbeitrag zu Agent Drift vom 3. Oktober fragt, warum sich das Verhalten eines Agenten ändert, wenn niemand Prompt, Code oder Modell angefasst hat. Seine Antwort: Modelle, Harnesses, Tools und Daten sitzen alle in einem System von Systemen, und jedes davon kann sich bewegen. Der Beitrag verweist auf NIST-Leitlinien zur Überwachung generativer KI nach dem Deployment sowie auf Microsoft-Lifecycle-Leitlinien, die Foundation-Modelle als versionierte Abhängigkeiten behandeln.

Tool-Anbieter antworten auf unterschiedlichen Ebenen. Apple erklärte in einem Entwicklerblogbeitrag, über den 9to5Mac am 2. Oktober berichtete, es werde Kontrollen ergänzen, sodass das Erteilen von Full Disk Access einen sehr ausdrücklichen Schritt des Nutzers verlangt. AgentMail argumentiert in einem Beitrag vom 4. Oktober, Agenten sollten ein eigenes Postfach und einen eigenen Anmeldeschlüssel bekommen, statt das Passwort einer Person zu borgen. So lässt sich ein fehlgeleiteter Agent abschalten, ohne seinen Besitzer auszusperren. Kimchi, am 4. Oktober gestartet, verkauft eine Durchsetzungsschicht, die Agentenausgaben bei Limits pro Nutzer, pro Team oder pro Schlüssel stoppt.

Der gemeinsame Faden ist die Messung. ThinkingBox meldet drei Zahlen pro Aufgabe, und der Beitrag legt nicht offen, wie die 12 Modelle ausgewählt wurden oder wie die Bestehensquoten pro Modell aussehen.

Wer Agenten auf Produktionsdaten loslässt, bekommt eine nüchterne Empfehlung. Prüfe die Datenbank, nicht das Transkript, und führe die Aufgabe mehr als einmal aus.

Kommentare 0

Quellen

8
  1. 01The Agent Said It Was Done. The Database Disagreed.EN
  2. 02Writing Evals for Agentic Systems as a 4 Step LoopEN
  3. 03Oversight Has Capacity: Calibrating Agent Guards to a Subjective Fatiguing HumanEN
  4. 04I stopped reviewing my agents' code. Here's what I do insteadEN
  5. 05AI Risk - A user's guide (Part IV): Understanding Agent DriftEN
  6. 06Apple says it's tightening macOS privacy controls amid the rise of AI agentsEN
  7. 07Give Your AI Agent Its Own IdentityEN
  8. 08Pi-based coding agent with hard budget capsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.