Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

ServiceNows AutoSynthData macht aus Agentenfehlern Trainingsdaten

ServiceNow hat am 2. Oktober eine Pipeline für Unternehmensagenten veröffentlicht, die aus den eigenen Fehlern eines Modells neue Trainingsaufgaben erzeugt. Sie zielt auf die Lücken bei Retrieval und Tool-Nutzung, an denen Einsätze scheitern. Vorgestellt wurde AutoSynthData auf Hugging Face von vier ServiceNow-Forschern.

KI & ModelleNachrichtKatrin HoffmannVeröffentlicht: 2. Oktober 20267 Min. LesezeitQuellen 14
ServiceNows AutoSynthData macht aus Agentenfehlern Trainingsdaten

Die Pipeline heißt AutoSynthData. Sie nutzt die Fehler eines Zielmodells und die Erfolge eines stärkeren Lehrermodells, um zu entscheiden, was das Modell als Nächstes lernen soll. Daraus erzeugt sie neue Aufgaben, die genau diese Fähigkeiten abprüfen, wie der am 2. Oktober veröffentlichte Engineering-Beitrag beschreibt.

Das ist wichtig, weil das Problem der Unternehmensagenten zu großen Teilen ein Retrieval-Problem ist. Ein Agent, der die richtige Richtlinie, den richtigen Asset-Datensatz oder die richtige Arbeitsnotiz im entscheidenden Moment nicht findet, scheitert an der Aufgabe. Ein einzelner Fehler reicht fürs Training nicht aus.

Die ServiceNow-Autoren Esakkivel Esakkiraja, Shruthan Radhakrishna, Denis Akhiyarov und Sagar Davasam beschreiben die Lücke nüchtern: Ein Modell kann breit aufgestellt sein und trotzdem mit einer bestimmten Umgebung kämpfen, mit einem Workflow, den es schlecht beherrscht, mit einer Kombination von Tools, die es falsch bedient, oder mit einer Vorgabe, die es nicht einhält. Der Beitrag nennt drei Bedingungen für eine erzeugte Aufgabe: Machbarkeit, Realismus und Schwierigkeit. Dazu kommen drei für den Prüfer, der das Ergebnis bewertet, an erster Stelle Konsistenz. Die Verifikation trägt das Verfahren: Ohne verlässliche Kontrolle bringen synthetische Aufgaben nichts bei. ServiceNow zeigt die Methode an EnterpriseOps Gym, einem Benchmark, der in diesem Jahr mit einem Paper erschienen ist. Sie gehört zu mehreren Forschungsarbeiten aus demselben Zeitfenster, die dasselbe Problem aus unterschiedlichen Richtungen angehen: wie sich Unternehmenssysteme in einen Kontext bringen lassen, in dem sie tatsächlich handeln können.

Retrieval-Qualität wird zur messbaren Größe

Am 30. September nahmen sich zwei Preprints, die bei arXiv eingereicht wurden, die Repräsentationsschicht unterhalb des Unternehmens-Retrievals vor. Merieme Askour und Ayoub Merimi schlagen eine Theorie der Kontext-Suffizienz für generative KI-Personalisierung vor. Sie argumentieren: Sobald Kontext billig bereitzustellen ist, ist mehr nicht besser.

Ihr Rahmen unterscheidet vier Zustände, Unzulänglichkeit, Suffizienz, Sättigung und Interferenz, und definiert eine Context-Sufficiency Frontier, um die minimale relevante Menge zu bestimmen. In einem Vollfaktor-Experiment mit einem generativen Recommender bei einem großen Möbelhändler verbesserte relevanter Kontext die Angemessenheit, während irrelevanter Kontext sie senkte und das Retrieval instabil machte.

Das zweite Paper stammt von Terry Dorsey und Kevin Huggins. Es führt Enterprise Representation Simplification und ein repräsentationsneutrales Modell namens Enterprise Representation Complexity ein. Die Autoren argumentieren, dass Unternehmensinformationen Strukturen anhäufen, die von Anwendungen, Projekten und organisatorischen Grenzen geprägt sind, und dass diese repräsentative Komplexität von Menschen und KI-Systemen gleichermaßen gepflegt und gedeutet werden muss. Ihre zentrale Aussage für Retrieval-Praktiker: Weniger Komplexität auf Aufgabenebene verringert den repräsentativen Umfang, den ein KI-System identifizieren, verknüpfen und deuten muss, und die Text-to-SQL-Forschung liefert Belege dafür, dass geringere Schema- und Denkkomplexität die Genauigkeit verbessern kann. Die Autoren betonen ausdrücklich, dass ERC kein allgemeingültiges Maß für Komplexität, Leistung oder Kosten ist.

Keines der beiden Paper liefert ein Produkt. Beide deuten aber auf dieselbe Diagnose: Einem Retrieval-System mehr Kontext zuzuwerfen ist nicht dasselbe, wie ihm ausreichenden Kontext zu geben, und der Unterschied zeigt sich im Produktivbetrieb als instabile Antwort.

Identität ist die andere Hälfte des Grounding-Problems

The Hacker News veröffentlichte am 28. September ein Framework für Identity and Access Management von KI-Agenten, das einen Fehlermodus benennt, den Retrieval-Teams meist spät entdecken. IAM-Plattformen bringen zum Ausdruck, welcher Zugriff beabsichtigt ist, während Anwendungen und Infrastruktur offenlegen, was der Agent tatsächlich ausgeführt hat.

Dazwischen liegt das, was der Artikel identitätsbezogene dunkle Materie nennt: Agenten, Zugangsdaten, anwendungsgebundene Konten und Authentifizierungspfade, die zentrale Identitätsdaten nie melden. Der Beitrag verweist auf die OWASP Top 10 für Anwendungen großer Sprachmodelle, die übermäßige Handlungsmacht als LLM06 führt, und listet fünf häufige Fehler, darunter fehlende Zuständigkeit, langlebige Secrets und unbegrenzte Delegation.

Der Retrieval-Bezug ist direkt. Ein Agent mit breiten Rechten kann Daten abrufen, für die er nie vorgesehen war, und eine statische Rollenzuweisung begrenzt dieses Verhalten nicht. Konfigurationsbefunde beschreiben eine Möglichkeit, Telemetrie beschreibt, was passiert ist.

Cloud-Anbieter schieben die Infrastruktur nach unten

Microsoft hat Azure Container Apps Express allgemein verfügbar gemacht, meldete InfoQ am 1. Oktober, zeitgleich mit der allgemeinen Verfügbarkeit von Azure Container Apps Sandboxes, der isolierten Rechenebene, auf der Express läuft. Express nimmt ein Container-Image, eine Region und die Konfiguration, die die App braucht, und richtet Rechenleistung, Ingress und Skalierung selbst ein. Es läuft auf Consumption-CPU mit sekundengenauer Abrechnung und skaliert im Leerlauf auf null.

Microsoft beschreibt Express als developer-first und agent-first. Die Dokumentation hält fest, dass es vollständig auf Sandboxes aufbaut. Diese stellen aus vorgewärmten Pools bereit, starten in unter einer Sekunde, isolieren jede Workload in einer eigenen hardwaregetrennten MicroVM-Grenze und unterstützen Suspend und Resume mit Wiederherstellung in unter einer Sekunde. Entwickler können Sandboxes direkt nutzen, und Microsoft positioniert diesen Weg für Agentenplattformen und sichere Code-Ausführungsdienste. Reaktionen auf Reddit deuteten an, dass das Primitiv schon vor der Ankündigung im Einsatz war; ein Kommentator namens MuhBlockchain behauptete, ACA Sandboxes trügen zentrale Azure-Dienste einschließlich Foundry Hosted Agents, was Microsofts eigenes Material nicht angibt.

CoreWeave bewegte sich einen Tag früher in dieselbe Richtung. Das Unternehmen stellte am 30. September auf seiner Veranstaltung Fully Connected in San Francisco CoreWeave Forge vor, eine integrierte Softwareplattform zum Entwickeln, Betreiben und Verbessern von KI-Modellen und Agenten, wie Data Center Knowledge berichtete. Forge gibt es in den Editionen Free, Pro und Enterprise, enthalten sind CoreWeave Notebooks, Agent Lens zur Beobachtung von Produktionsagenten und RL Rollouts.

Corey Sanders, Senior Vice President of Product Management bei CoreWeave, sagte in einem Media Briefing, das Unternehmen sei von dem Ziel, der beste Anbieter für KI-zentrierte Infrastruktur zu sein, dazu übergegangen, KI-Dienste zu liefern, mit denen Kunden Anwendungen auf seiner Plattform bauen. IDC-Analyst Dave McCarthy sagte gegenüber Data Center Knowledge, CoreWeave brauche ein breiteres Unternehmenspublikum und ein größeres Software-Ökosystem, um ein tragfähiges Geschäft aufzubauen.

Woher die Nachfrage kommt

Die Nutzerbasis generativer KI in China hat Ende Juni 700.000.000 überschritten, meldete das China Internet Network Information Centre, ein Plus von 16 Prozent gegenüber 602.000.000 Ende 2025, als die Durchdringung bei 42,8 Prozent lag. Die South China Morning Post, die die Veröffentlichung am 29. September aufgriff, vermerkte, dass 76 Prozent der befragten Nutzer generative KI für Antworten einsetzten, 48 Prozent für die Bearbeitung von Bildern oder Videos und 38 Prozent für Textverarbeitung.

Das sind Verbraucherzahlen, keine Unternehmenszahlen. Sie setzen aber die Erwartungshaltung, an der sich Unternehmens-Retrieval-Systeme heute messen lassen müssen, und sie erklären, warum Anbieter aus allen Schichten darum wetteifern, die Ausgaben von Agenten weniger nach Vermutung aussehen zu lassen.

Die Infrastrukturgrenzen darunter sind real. Optische Frequenzkamm-Generatoren, die viele Wellenlängen aus einem einzigen Laser erzeugen statt einem Laser pro Kanal, werden als Mittel gehandelt, um Strom, Kosten und Fehlerquellen zu senken, während KI-Rechenzentren über 16 Wellenlängen pro Faser hinauswachsen, berichtete Data Center Knowledge am 24. September. Frank Smyth, Gründer und CTO von Pilot Photonics, sagte, Kamm-Laser könnten potenziell viel mehr Wellenlängen deutlich dichter packen, ohne Interferenzen befürchten zu müssen. Marcello Girardi, CEO und Mitgründer von Solinide, nannte die praktische Grenze deutlich: Vier Wellenlängen seien für Laser-Arrays gelöst, die Schwierigkeit beginne bei acht, und bei 16 begrenze die Bauteilzahl. Steven Estrella von Quintessent ergänzte, angesichts der aktuellen Knappheit bei Indiumphosphid-CW-DFB-Lasern sei es wichtiger denn je, die Zahl der benötigten Laser zu senken.

Auch Unternehmenskäufer denken neu darüber nach, wo Inferenz läuft. Der Private Cloud Outlook 2026 von VMware, am 21. September von Data Center Knowledge zitiert, zeigt, dass 83 Prozent der Unternehmen Workloads aus der Public Cloud zurückgeholt haben oder dies planen, getrieben von Sicherheits-, Kosten-, Compliance- und Leistungsbedenken. Moderne Colocation-Anlagen unterstützen Schränke mit 35 kW bei Luftkühlung und 70 bis 150 kW bei optionaler Flüssigkühlung, und dort landet Inferenz auf vertraulichen Unternehmensdaten meist.

Nichts davon löst das Retrieval-Problem für sich genommen. Die Richtung der vergangenen Woche ist jedoch eindeutig: Die Branche behandelt Kontext, Repräsentation und Identität als technische Größen und nicht mehr als Prompts, an denen man feilt. Das ist ein schwierigeres Problem als das Verdrahten eines Vektorspeichers, und es entscheidet darüber, ob einem Agenten die Arbeit anvertraut werden kann.

Kommentare 0

Quellen

14
  1. 01AutoSynthData: Generating Training Data for Enterprise AgentsEN
  2. 02When More Data Is Not Enough: The Context-Sufficiency Frontier in Generative AI PersonalizationEN
  3. 03Enterprise Representation Simplification (ERS): Reducing Representational Complexity for Enterprise AIEN
  4. 04IAM for AI agents: A Practical Enterprise FrameworkEN
  5. 05Container Apps Express Reaches GA on a Newly Generally Available Sandbox LayerEN
  6. 06CoreWeave Targets Enterprises with Forge PlatformEN
  7. 07China's generative AI user base crosses 700 million, covering over half the populationEN
  8. 08The Role of Optical Frequency Comb Generators in AI Data CentersEN
  9. 09Enterprises Adopt Colocation for AI and Hybrid Cloud InitiativesEN
  10. 10Redefining enterprise intelligence with autonomous AIEN
  11. 11ShamAN-Q: Shampoo Augmented NanoQuant for Sub-1-bit LLM WeightsEN
  12. 12ReLaG: A Scalable Framework Generalizing Random Splits to Data with Latent RelationsEN
  13. 13Conformal Adversarial Generative EnsembleEN
  14. 14This startup helps food carts switch loud, dirty generators for batteriesEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.