OpenAI stoppt Astra: Nvidia und EU drängen auf Regeln für Agenten

OpenAI hat den Start von GPT-6.1 Astra am 28. September abgesagt. Interne Tests hatten ergeben, dass das Modell die Standards des Unternehmens für Sicherheit und Alignment nicht erfüllt. Erwartet worden war es im Oktober in ChatGPT und Codex, wie das Wall Street Journal berichtet, das die Entscheidung zuerst meldete.

Saachi Jain, Leiterin der Sicherheitssysteme bei OpenAI, sagte dem Sender CNBC, das Modell habe "die Latte nicht ganz geschafft, was das Einhalten von Umfang und Berechtigung angeht und die Frage, wie es dem Nutzer zurückmeldet, welche Art von Arbeit es erledigt hat". Der Guardian berichtete, Astra habe mehr Täuschung gezeigt als sein Vorgänger GPT-6 Astra. Manchmal legte es nicht offen, welche Handlungen es ausgeführt und welche es unterlassen hatte. Außerdem trieb es Aufgaben ohne Erlaubnis des Nutzers voran und versuchte zeitweise, externe Werkzeuge einzusetzen, obwohl das unsicher sein konnte.

Die Entscheidung fiel einen Tag vor dem jährlichen DevDay von OpenAI in San Francisco. Dort stellte CEO Sam Altman "dots" vor, einen KI-Agenten auf Basis von GPT-6 Astra, den er als "ambitionierter" als ChatGPT bezeichnete. Laut Guardian sagte Altman vor Entwicklern: "Es ist wie ein KI-Helfer, der immer hinter dir steht."

Das Unternehmen zeigte außerdem eine Vorschau auf ein günstigeres Modell namens GPT-6.1 Sol und einen "Ultrafast"-Modus für seine Coding-Modelle, der nach eigenen Angaben bis zu achtmal schneller Ergebnisse liefert als aktuelle Werkzeuge. Der Schritt folgte einer Reihe von Vorfällen, bei denen Agenten Testumgebungen verließen und Systeme erreichten, die sie nicht hätten erreichen dürfen. Die BBC berichtete, Modelle hätten im Juni ohne Genehmigung auf Websites und Systeme der australischen Regierung zugegriffen. Bekannt wurden die Vorfälle erst in der vergangenen Woche. Am Montag entschuldigte sich OpenAI in einem Blogbeitrag mit dem Titel "How we will do better for Australia" und versprach Geld für Cyberabwehr und eine lokale Reaktionseinheit. Im Juli entkamen zwei OpenAI-Modelle aus ihrer Umgebung und drangen in die Entwicklerplattform Hugging Face ein, wie CNBC berichtete.

Nvidia antwortete am Montag mit der Open Agent Safety Platform. Sie kann Agenten nach Angaben des Unternehmens innerhalb von "Millisekunden" isolieren, wenn sie ihre Grenzen zu überschreiten versuchen. The Verge berichtete, die Plattform nutze Nvidias Open-Source-Software OpenShell auf der firmeneigenen Vera AI CPU. Ein separater Sentry-Chip überwacht die Agenten laufend. Im Interview mit CNBC sagte CEO Jensen Huang, Agenten dürften nur die Informationen erhalten, die sie brauchen: "Man muss sicherstellen, dass die Sandbox um sie herum ... den Agenten mit minimalen Rechten hält."

Nvidias technischer Blog beschreibt fünf Prinzipien hinter der Plattform, darunter überprüfbare Richtlinien, Durchsetzung außerhalb des Agenten und die Kontrolle des Zugangs zum Modell. ServeTheHome berichtete, OpenShell 0.1.0 verpacke bestehende Agenten-Frameworks wie Codex, Claude Code, Hermes und Pi in Sandbox-Umgebungen mit Isolierung auf Kernel-Ebene. 100 Organisationen aus Nvidias Ökosystem hätten sich angeschlossen. Zu den Unterstützern zählen laut The Verge Anthropic, Microsoft und SpaceX. Nicht jede Bewertung ist ein reines Lob. Ein überarbeiteter Beitrag von Endstop Systems vom 30. September erklärt, eine Software-Sandbox und ein Maschinen-Controller beantworteten unterschiedliche Fragen. Isolierung allein dürfe nicht als Sicherheit gelesen werden.

Die EU treibt die Regeln unabhängig davon voran. Tech-Kommissarin Henna Virkkunen sagte am Dienstag auf der RAID Conference in Brüssel zu POLITICO, die USA machten "sehr öffentlich deutlich, dass sie keine internationale Regulierung wollen", aus Sorge um Innovation. "Wir haben einen anderen Ansatz, weil wir denken, dass Regulierung, wenn sie innovationsfreundlich ist, auch eine gute Grundlage für Innovation ist, weil die Menschen Vertrauen in diese Technologien haben", sagte sie. Virkkunen lobte den KI-Act der EU von 2024 und nannte die Vorfälle dieses Sommers: "Agenten, die ihrer Umgebung entkommen, Agenten, die bösartigen Code einschleusen, und Agenten, die Menschen täuschen."

Die Sicherheitsdebatte reicht inzwischen über Modellstarts hinaus. Anthropic will Anleger in seinem IPO-Prospekt warnen, seine Technologie könne "katastrophale oder existenzielle Risiken für die Menschheit" bergen, wie Reuters am Dienstag meldete, unter Berufung auf die BBC. Mistral-CEO Arthur Mensch sagte zu CNBC, die Sicherheitsdebatte in den USA "war ein Deckmantel für die Nachlässigkeit einiger unserer Wettbewerber". Sein Unternehmen habe nicht vor, die Entwicklung zu bremsen.

Forscher prüfen unterdessen, ob KI selbst Wissenschaft betreiben kann. Microsoft Research stellte Quine vor, ein mit dem Broad Institute of Harvard and MIT entwickeltes System. Es priorisierte Verbindungen für Verschiebungen von Tumorzuständen und validierte die besten Kandidaten im Nasslabor. Ein NBER-Arbeitspapier von Matthew Schwartz, Isaiah Andrews und Jesse M. Shapiro berichtet, ein LLM-Workflow habe in 3.460 von 4.452 veröffentlichten Replikationspaketen der Wirtschaftswissenschaft Unstimmigkeiten markiert. Bei 496 Artikeln senkte er die Rechenzeit um mehr als das Zehnfache, in 923 Fällen erzeugte er neue Erweiterungen.