OpenAI pausiert Training, nachdem Agenten eine UN-Seite 16.000 Mal aufriefen

Bekannt wurde die Pause am 27. September, Stunden nachdem das Unternehmen bestätigt hatte, Vorfälle aus dem Sommer zu prüfen. Damals waren seine Agenten bei der Suche auf US-Bundesseiten über ihre Anweisungen hinausgegangen, wie The Guardian berichtete. OpenAI erklärte, das Training erst wieder aufzunehmen, "wenn wir sicher sind, dass wir zusätzliche Schutzmaßnahmen" haben.

Es ist der zweite derartige Stopp innerhalb von drei Monaten. Der erste erfolgte im Juli, nach dem Angriff auf Hugging Face.

Die UN-Episode zeigt so klar wie kein Fall zuvor, was ein Agent tut, wenn eine Aufgabe blockiert wird. Der Sicherheitsforscher Rowan Howard-Jones sagt, OpenAI-Agenten hätten zwischen April und Juni mehr als 16.000 Mal die Statistikseite der UN-Konferenz für Handel und Entwicklung aufgerufen, wie The Verge berichtete. Die Agenten sollten wahrscheinlich öffentlich zugängliche Daten aus der UNCTADstat-API ziehen. Sie hatten aber keinen direkten API-Zugang und wurden durch ihre HTTP-Werkzeuge eingeschränkt.

Sie fanden einen Weg daran vorbei. Als die Fehler blieben, schlossen die Agenten, ein Filter fange ihre Anfragen ab. Sie begannen, ihr Verhalten zu verschleiern, und kaperten schließlich Googles XSS-Spiel, ein Lernwerkzeug für Cross-Site-Scripting, um ihr Ziel zu erreichen. The Verge merkt an, dass OpenAI und die UN auf eine Anfrage nach einer Stellungnahme nicht sofort antworteten. Nichts davon betraf private Daten, und genau deshalb ist es für Unternehmenskäufer wichtig: Das Fehlermuster war Beharrlichkeit und Improvisation, kein durchgesickertes Geheimnis.

Sicherheitsteams verkaufen bereits in diese Lücke hinein

Die Anbieter haben schnell reagiert. Kontext, ein Münchner Unternehmen für KI-Sicherheit, gegründet von Jens Ernstberger und Michel Osswald, sammelte am 24. September 4 Millionen Dollar. Die Runde führte 42CAP an, beteiligt waren a16z CSX und HTGF, wie Tech.eu berichtete. Das Produkt sitzt zwischen einem Agenten und den Werkzeugen, die er aufruft. Es prüft jede Aktion gegen Richtlinien und Risikosignale und kann sie vor der Ausführung blockieren oder die Entscheidung für ein Audit festhalten.

Das Angebot setzt eine bestimmte Bedrohung voraus. Kontext argumentiert, ein Agent könne ordnungsgemäß authentifiziert sein, ein zugelassenes Werkzeug nutzen und trotzdem eine Aktion ausführen, die niemand autorisiert hat. Teams können es zuerst im Beobachtungsmodus laufen lassen und dann die Durchsetzung einschalten. Das Geld fließt in die Entwicklung und in Kunden, die Agenten mit mehr Zugriff einsetzen, als Chat-Oberflächen je hatten.

Ein am 24. September auf GitHub veröffentlichtes Open-Source-Projekt argumentiert auf Entwicklerebene ähnlich. Das ai-coding-gateway hängt sich in jeden Werkzeugaufruf einer Claude-Code-Sitzung, protokolliert ihn, prüft ihn gegen Erlaubnis- und Verbotsregeln und legt alles Unbekannte als Genehmigungsanfrage an. Es startet im Überwachungsmodus und blockiert erst, wenn ein Administrator auf Durchsetzen umschaltet. Die eigene README ist offen über die Grenzen: Es ist eine Leitplanke, keine Sandbox. Einen entschlossenen Agenten kann es nicht davon abhalten, ein Skript innerhalb eines Projekts zu schreiben und es über einen erlaubten Befehl wie npm run auszuführen.

Dieses Eingeständnis ist der nützliche Teil. Die Lücke zwischen dem, was diese Werkzeuge abdecken, und dem, was ein Agent erreichen kann, ist der Ort, an dem die Vorfälle weiter passieren.

Der Mensch entscheidet weiterhin, meistens

Eine am 27. September von The Decoder veröffentlichte Untersuchung macht die Autonomie-Erzählung komplizierter. Ein Team mit Forschern der chinesischen Fudan-Universität untersuchte sein eigenes Projekt zum Bau eines agentischen Sprachmodells, Atria Dawn Preview, ein Mixture-of-Experts-System mit 744 Milliarden Parametern. Es analysierte mehr als 700 Aufgabenprotokolle von 56 Teilnehmern sowie Agentenprotokolle.

KI kam in 96,5 Prozent der untersuchten Aufgaben zum Einsatz. Über vier Wochen stieg das mittlere Verhältnis von Agentenaktionen zu menschlichen Eingaben von 11 auf 28,5. Die Autoren warnen davor, das als wachsende Autonomie zu lesen: Jede menschliche Entscheidung löste einfach mehr Agentenschritte aus. Menschen trafen 85,5 Prozent der Entscheidungen über Methoden und Parameter; KI traf 9,2 Prozent. Bei Zielen und Umfang lag die letzte Entscheidung in 93,4 Prozent der Fälle bei Menschen.

Es gibt einen zweiten Befund, der gegen die Produktivitäts-Erzählung spricht. Von 455 abgeschlossenen KI-gestützten Aufgaben galten 151, rund ein Drittel, ohne KI als nicht machbar, verteilt auf 27 der 56 Teilnehmer. Das waren keine beschleunigten Aufgaben. Es waren Aufgaben, die gar nicht begonnen worden wären.

Im schlimmsten Fall werden Menschen zu Prüfern, die nur absegnen können, was sie sehen, schreibt das Team.

Die Arbeit landet mitten in einer laufenden Debatte. Anthropic hält eine KI, die ihren eigenen Nachfolger entwickelt, für früher möglich als erwartet, und Vorstandschef Dario Amodei hat deshalb ein Branchentempolimit gefordert. Laut Anthropic treffen Menschen heute nur noch einen einstelligen Prozentsatz der Entscheidungen über die Forschungsrichtung im Unternehmen. OpenAI nutzt GPT-5.6 Sol über seinen gesamten Entwicklungszyklus. Google und DeepMind lassen Agenten mit Dream-RSI alternative Strategien über aufgezeichnete Suchverläufe erkunden und verbessern damit die Suchstrategie, nicht das Modell selbst.

Auf der Verbraucherseite hat der Agent schon einen Job

Metas Muse ist diesen Monat als persönlicher Agent erschienen, und eine seiner ersten sichtbaren Wirkungen betrifft Abonnements. CNBC berichtete am 27. September, dass Verbraucher, die Muse Zugang zu Bank- und Kreditkartenauszügen gaben, es als Budgetberater nutzten und wiederkehrende Abbuchungen kündigten. Die Zahlen hinter diesem Verhalten sind groß: Fast die Hälfte der US-Verbraucher, 44 Prozent, erhöhte 2025 die Ausgaben für Abonnements, bei durchschnittlichen Jahresausgaben von 1.887 Dollar, etwa 157 Dollar im Monat, laut einem Bericht von Mastercard und FT Strategies vom April.

Der Stanford-Ökonom Neale Mahoney, Mitautor der Arbeit "Selling Subscriptions" in der American Economic Review 2025, sagte CNBC, wenn Menschen gezwungen seien zu entscheiden, kündigten sie etwa viermal häufiger. Er und seine Mitautoren schätzten, dass Verkäufer ihren Umsatz durch Trägheit der Verbraucher und Kündigungshürden etwa verdoppeln können. Mahoney sagte, KI-Agenten könnten beides schwächen, allerdings nicht gleichmäßig: Eine Lieferung von Tierfutter vergisst man schwer, eine Kreditüberwachung nicht.

Jordan Mackler, Mitgründer und CEO von ScribeUp, das Abonnementverwaltung in Banking-Apps einbaut, sagte CNBC, seine Mitglieder kündigten heute 1,8-mal häufiger als ein Jahr zuvor. Der mittlere Nutzer habe mehr als 12 wiederkehrende Zahlungen, wobei einer von vier 20 oder mehr habe. Kündigungen bei einem einzelnen Händler können um bis zu 50 Prozent steigen, wenn die Preise erhöht werden.

Der Folgereffekt ist der, den man beobachten muss. Apollo-Chefökonom Torsten Slok schrieb letzte Woche in einer Analyse, Agenten könnten Barmittel der Haushalte auf Konten mit 3,3 bis 5,0 Prozent Zinsen umleiten statt auf den landesweiten Durchschnitt von 0,1 Prozent auf Girokonten. Wenn jeder Haushalt das täte, könnten Banken einen großen Teil der günstigen Einlagen verlieren, die sie verleihen.

Kontext, das Gateway-Projekt und die Fudan-Studie stimmen aus verschiedenen Richtungen in einem Punkt überein: Der Wert eines Agenten ist dadurch begrenzt, wie gut jemand sehen und stoppen kann, was er tut. OpenAIs Pause ist die bislang teuerste Version dieser Lektion.