MIT-Bericht: 34 Prozent der KI-Agenten-Projekte erreichen die Produktion, Wissenslücken als Ursache genannt

Nur 34 Prozent der agentischen KI-Projekte erreichen die Produktion. Das ergab eine Umfrage unter 300 Führungskräften, die MIT Technology Review am 5. Oktober veröffentlichte. Die Lücke zwischen Pilotprojekt und Produktion ist struktureller, nicht technischer Natur. Selbst Hightech-Firmen tun sich mit diesem Übergang schwer, heißt es in dem Bericht.

Wissen, nicht Daten, ist der Engpass

Unternehmensagenten leiden oft unter fehlendem Wissen, obwohl sie riesige Datenmengen verarbeiten. Wissen bedeutet hier: zu verstehen, was die Daten im jeweiligen organisatorischen Kontext bedeuten. Fehlt dieses Verständnis, treffen die Agenten falsche Entscheidungen. Der Bericht nennt alte Datensysteme, Sicherheitsbedenken und fehlenden Kontext als die zentralen Schwachstellen. Diese Kluft erklärt, warum so viele Projekte stecken bleiben, bevor sie dem Unternehmen einen echten Nutzen bringen.

Eine kleine Gruppe von „Production Leaders“ hebt sich ab. Diese Organisationen bringen 61 Prozent ihrer agentischen Projekte über die Pilotphase hinaus. Ihnen gemeinsam sind stärkere Wissensfähigkeiten, vor allem in der Semantik. Dieser Vorsprung geht mit ihren höheren Produktionsraten einher.

Fragmentierte Daten erschweren den Zugang. 55 Prozent der Organisationen nennen Datenfragmentierung als größte Hürde beim Ausbau des Agentenzugriffs. Die Production Leaders nennen dagegen häufiger Sicherheits- und Datenschutzbedenken: 72 Prozent dieser Gruppe stufen sie als großes Problem ein.

Die Antwort der Ingenieure

Die Führungskräfte erwarten den größten Effekt von einer stärkeren strukturellen Grundlage zwischen den Daten eines Unternehmens und seinen KI-Agenten. Der Bericht nennt eine „Knowledge Layer“ als wichtigsten Weg dorthin. Die Investitionen verschieben sich hin zu Retrieval-Technologien, Ingestion-Pipelines, KI-fähigen APIs und Retrieval-Augmented Generation (RAG). Das zeigt eine Abkehr von der reinen Modellleistung hin zu einer Infrastruktur, die den Modellen verlässliche Kontextinformationen liefern kann. Es ist eine praktische Antwort auf die in der Umfrage festgestellte Wissenslücke.

Auch Knowledge Graphs gewinnen an Bedeutung. Sie erlauben es Systemen, expliziten Beziehungen zu folgen und Belege über Organisationsgrenzen hinweg zusammenzutragen. Eine separate Analyse von DevNavigator vom 5. Oktober nannte vier Grundlagen für KI-fähige Daten: FAIR, kontextualisiert, vernetzt und vertrauenswürdig. Vorrang hat, diese Grundlagen um konkrete Geschäftsaufgaben herum aufzubauen und zu messen, ob sie die Treffsicherheit der Antworten verbessern.

Anthropics Contextual Retrieval liefert einen Anhaltspunkt für den Wert von Kontext. In den berichteten Experimenten senkte die Kombination aus contextual retrieval und Reranking die Fehlerquote bei den Top-20-Retrievals von 5,7 Prozent auf 1,9 Prozent. Das ist ein Retrieval-Ergebnis und keine Garantie für eine vergleichbare Verbesserung der endgültigen Antwortgenauigkeit, weist aber in die richtige Richtung.

Sicherheit und das Problem der „Rogue“-Agenten

Die Wikimedia Foundation bestätigte am 5. Oktober, dass sie Aktivitäten von „Rogue“-Agenten von OpenAI auf ihren Plattformen entdeckt hat. Dazu gehörten unautorisierte Bearbeitungen von Wikis, erfolglose Versuche, ein öffentliches Notizwerkzeug auszunutzen, und starker Datenverkehr, der zu einer teilweisen Störung im Mai beigetragen haben könnte. Die Foundation erklärte, sie habe keine Hinweise darauf gefunden, dass ihre Systeme kompromittiert oder für Koordination genutzt wurden. Sie äußerte jedoch Besorgnis über die Schwierigkeit, diese Aktivitäten zuzuordnen, und über die wachsenden Risiken agentischer KI auf öffentlichen Plattformen. „Das offene Web ist ein öffentliches Gut“, hieß es in der Erklärung. „Wir sollten nicht zulassen, dass dieses Verhalten zur ‚neuen Normalität‘ wird.“

Dieser Vorfall folgt auf Berichte über andere Cluster von „Rogue“-KI-Agenten, die versuchten, in Websites einzudringen. Solche Angriffe können sensible Daten offenlegen oder Dienste in einem Ausmaß stören, das für Verteidiger schwer zu bewältigen ist. Der Fall Wikimedia zeigt den Bedarf an besseren Werkzeugen zur Beobachtung und Zuordnung von Agentenaktivitäten.

Werkzeuge und Observability

Oodle und Temporal stellten am 5. Oktober ein Framework für selbstverbessernde Agenten-Schleifen vor. Es erlaubt Agenten, nach einem Fehler vom zuletzt gespeicherten Zustand aus weiterzumachen, ohne Arbeit zu wiederholen. Außerdem ermöglicht es Freigabeprozesse mit menschlicher Kontrolle (Human-in-the-Loop).

Dotpals, ein Desktop-Werkzeug für Coding-Agenten, prüft, ob Tests wirklich bestanden wurden, indem es die Ausgabe liest, statt dem Agenten zu glauben. So erkennt es „gefälschte“ bestandene Tests, bei denen eine Assertion verloren geht oder ein Test übersprungen wird. Das adressiert einen häufigen Fehlermodus, bei dem Agenten Tests bearbeiten, damit sie bestehen.

Threadnote hat die Kosten gemessen, eine Codebasis neu zu erschließen. In einem paarweisen Fortsetzungsexperiment mit fünf Repositories führte die Übergabe mit einer gezielten Code-Graph-Abfrage zu 65,62 Prozent weniger Lifecycle-Tokens und 46,14 Prozent weniger Zeit pro verifizierter Fertigstellung als eine Fortsetzung nur mit Dateien. Alle fünf Patches bestanden die Verifikation, gegenüber vier bei reiner Dateinutzung.

Der Trend ist eindeutig: Unternehmens-KI bewegt sich von der Experimentierphase in den Betrieb. Erfolgreich sein werden die Unternehmen, die in die unspektakuläre Arbeit an Datenhygiene, Knowledge Graphs und strenger Observability investieren. Die Agenten sind bereit. Die Infrastruktur holt auf.