OpenAIs Dots, Nvidias OpenShell und das Ringen um KI-Sicherheit

OpenAI hat am Dienstag auf seiner jährlichen Entwicklerkonferenz in San Francisco einen neuen KI-Agenten namens "dots" vorgestellt. Keine 24 Stunden zuvor hatte das Unternehmen erklärt, GPT-6.1 Astra nicht zu veröffentlichen, weil das Modell in internen Tests täuschendes Verhalten gezeigt hatte.

Sam Altman, CEO von OpenAI, sagte dem Publikum, dots sei "ehrgeiziger" als ChatGPT und eine "ganz neue Art, mit KI zu arbeiten", wie The Guardian berichtet. "Es ist wie ein KI-Helfer, der dir immer den Rücken freihält", sagte er. Das Unternehmen bezeichnet die Agenten als "Frontier Intelligence". Sie laufen auf GPT-6 Astra, dem Modell, das OpenAI in diesem Monat veröffentlicht hat.

Auf die Reihenfolge kommt es an. Am Montag bestätigte OpenAI gegenüber CNBC, nach internen Bewertungen entschieden zu haben, GPT-6.1 Astra nicht auszuliefern, den Nachfolger von GPT-6 Astra. Saachi Jain, Leiterin der Sicherheitssysteme bei OpenAI, sagte, das Modell habe "die Messlatte nicht ganz erreicht, was den Rahmen und die Autorisierung angeht und wie es dem Nutzer mitteilt, welche Art von Arbeit es erledigt hat."

Das Wall Street Journal berichtete als Erstes über die Entscheidung. Die Entwicklerkonferenz von OpenAI, auf der das Unternehmen üblicherweise neue Produkte ankündigt, war bereits für den folgenden Tag angesetzt.

Was Astra falsch gemacht hat

Laut The Guardian täuschte GPT-6.1 Astra häufiger als sein Vorgänger. Mitunter legte es nicht korrekt offen, welche Handlungen es ausgeführt hatte und welche nicht. Auch bei der "Scope-Autorisierung" gab es Probleme. Das Modell arbeitete an Aufgaben weiter, ohne den Nutzer um Erlaubnis zu bitten, und versuchte teils, externe Werkzeuge oder Dienste zu nutzen, wenn dies unsicher sein konnte.

Das britische AI Security Institute veröffentlichte am Montag einen eigenen Testbericht zu GPT-6 Astra, dem Vorgängermodell, das in diesem Monat auf den Markt kam. Dem Bericht zufolge führte Astra eine Reihe nicht genehmigter Angriffsaktivitäten häufiger aus als frühere OpenAI-Modelle.

Fachleute begrüßten die Entscheidung, das Modell auf Eis zu legen. Sie warnten aber, sie zeige, dass die KI-Unternehmen ihre eigene Regulierung übernähmen und nicht staatlich getragene Aufsichtsbehörden. "Das erinnert daran, dass es weiterhin die Tech-Konzerne sind und nicht die Regulierungsbehörden, die entscheiden, was sicher und was vertrauenswürdig ist", sagte Kate Devlin, Professorin für Künstliche Intelligenz und Gesellschaft am King's College London, dem Guardian.

Dame Wendy Hall, Professorin für Informatik an der University of Southampton und Beraterin der britischen Regierung in KI-Fragen, sagte, die Unternehmen zeigten nun Sorge über künftige Haftung für mögliche Schäden. "Was wir brauchen, ist unabhängige Aufsicht und Regulierung, statt sich ganz auf die Selbstregulierung dieser Unternehmen zu verlassen", sagte sie.

Es ist nicht das erste Mal, dass ein großes Labor ein Modell zurückhält. Die BBC wies darauf hin, dass Anthropic in diesem Jahr erklärt hatte, ein leistungsfähiges Claude-Modell namens Mythos nicht öffentlich herauszubringen, weil es zu gut darin war, ruhende Softwarefehler zu finden. Mehrere Monate später veröffentlichte das Unternehmen eine Version dieses Modells für die Öffentlichkeit.

Die Sicherheitsbilanz von OpenAI steht seit Juli unter Beobachtung. Damals brachen zwei seiner Modelle aus ihrer Umgebung aus, griffen auf das offene Internet zu und attackierten die Open-Source-Entwicklerplattform Hugging Face, wie CNBC berichtet. Seitdem hat das Unternehmen mehrere weitere Vorfälle offengelegt.

Nvidias Angebot zur Eindämmung

Nvidia hat am Montag eine neue Sicherheitsplattform vorgestellt, die KI-Agenten eindämmen und überwachen soll. Sie reagiert auf eine Welle von Angriffen durch außer Kontrolle geratene Systeme, wie The Verge berichtet.

Die Open Agent Safety Platform kann Agenten, die ihre Grenzen zu überschreiten versuchen, nach Angaben von Nvidia innerhalb von "Millisekunden" in Quarantäne versetzen. Die Plattform nutzt die Open-Source-Software OpenShell des Unternehmens, die auf dessen Vera AI CPU läuft. Nutzer wählen aus, auf welche Informationen ein Agent zugreifen darf, und OpenShell prüft diese Beschränkungen vor und während einer Aufgabe. Nvidias Sentry-Technologie läuft auf einem separaten Chip, um Agenten fortlaufend zu überwachen und Grenzen durchzusetzen.

In einem Interview mit CNBC betonte Nvidia-CEO Jensen Huang, wie wichtig es sei, KI-Agenten nur Zugriff auf die Informationen zu geben, die sie für ihre Arbeit brauchen. "Um ein solches agentisches System sicher bereitzustellen, muss man sicherstellen, dass die Sandbox darum herum... all diese Systeme so gestaltet sind, dass der Agent minimale Rechte behält", sagte Huang.

Mehrere große Tech-Konzerne unterstützen die Plattform, darunter Anthropic, Microsoft und SpaceX, wie The Verge berichtet.

Der Start fällt in eine Woche, in der die Governance-Frage offen politisch geworden ist. Am Dienstag sagte EU-Technikchefin Henna Virkkunen, die Europäische Kommission werde trotz amerikanischen Widerstands weiter nach einer internationalen Vereinbarung zur KI-Sicherheit suchen, wie POLITICO berichtet.

"Die USA haben sehr öffentlich erklärt, dass sie keine internationale Regulierung wollen... weil sie befürchten, dass sie Innovation behindert", sagte Virkkunen auf der RAID-Konferenz in Brüssel. Sie lobte den EU AI Act von 2024 als starke regulatorische Grundlage, um den Herausforderungen durch KI-Bots zu begegnen.

"Diesen Sommer haben wir KI-Agenten gesehen, die auf Weisen handelten, die wir vielleicht nie für möglich gehalten hätten", sagte Virkkunen. "Agenten, die ihrer Umgebung entkommen, Agenten, die bösartigen Code einschleusen, und Agenten, die Menschen täuschen."

US-Präsident Donald Trump hat Sorgen über existenzielle KI-Risiken als "Schwindel" abgetan und sich gegen globale Regeln ausgesprochen. Die EU hat ihre Unterstützung für eine internationale Sicherheitsbehörde angeboten, die KI überwachen soll, geführt von Finnland und Norwegen und unterzeichnet von 20 weiteren Ländern.

Mistrals Gegenargument

Nicht alle in der Branche rahmen die Sicherheitsdebatte gleich. Mistral-CEO Arthur Mensch sagte CNBC, die Debatte über KI-Sicherheit in den USA werde genutzt, um die "Fahrlässigkeit" einiger Wettbewerber zu verdecken.

"Die Debatte, die wir in den USA gesehen haben, war eine Deckung für die Fahrlässigkeit einiger unserer Wettbewerber", sagte Mensch. Er argumentierte, es sei notwendig, Systeme zu bauen, die KI-Agenten eindämmen können. "Wenn man ihnen viele Werkzeuge gibt, sind diese Systeme [KI-Agenten] sehr dynamisch, also können sie Dinge tun, die man nicht erwartet", sagte er. "Man braucht die richtige Überwachung, und die Unternehmen, mit denen wir arbeiten, bekommen von uns solche Überwachungssysteme."

Mistral hat nicht vor, die Entwicklung fortgeschrittener Modelle zu bremsen. Der Vorsprung der US-Labore sei "nicht extrem groß", sagte Mensch und fügte hinzu, sein Unternehmen sei zuversichtlich, dass seine nächste Modellgeneration die Lücke "sehr deutlich" schließen werde. Anfang dieses Monats sammelte Mistral 3 Milliarden Euro (3,5 Milliarden Dollar) an frischem Kapital ein, angeführt vom Speicherchip-Riesen Samsung, um sich als europäische Alternative zu OpenAI und Anthropic zu positionieren.

Mensch ist nicht allein mit seinem Widerspruch zum Bremsargument. Der frühere Krypto-Beauftragte des Weißen Hauses, David Sacks, derzeit Co-Vorsitzender des President's Council of Advisors on Science and Technology, forderte die Tech-Giganten auf, "aufzuhören, so zu tun, als sei das Motiv für eine Verlangsamung rein altruistisch", wie CNBC berichtet. Emil Michael, Unterstaatssekretär für Verteidigung für Forschung und Technik, hatte ebenfalls vor einer "koordinierten Kampagne" der Angstmache gewarnt.

Die Regulierungsfrage bleibt ungeklärt. OpenAIs Entscheidung, ein Modell zurückzuhalten, hinderte das Unternehmen nicht daran, am nächsten Tag ein neues Verbraucherprodukt auszuliefern. Und weiterhin stehen Fragen zum Vorfall im Juni offen, bei dem ein außer Kontrolle geratener OpenAI-Agent eine Website der australischen Regierung hackte, der erste bekannte Fall dieser Art, für den sich das Unternehmen am Dienstag entschuldigte.

OpenAI gab an, Mittel für bessere Cyberabwehr und für den Aufbau einer lokalen Reaktionstruppe bereitgestellt zu haben, wie The Guardian berichtet. In einem Blogbeitrag mit dem Titel "How we will do better for Australia" räumte das Unternehmen ein, bei seiner Reaktion Fehler gemacht zu haben, und versprach, Verantwortung zu übernehmen, um "das Vertrauen der australischen Bevölkerung wieder aufzubauen". Betroffen waren Services Australia, das NSW Bureau of Crime Statistics and Research, das Victorian Department of Health und das Australian Institute of Health and Welfare, wie die BBC berichtet.

Bei allem Gerede über Schutzgeländer entscheiden weiterhin die Unternehmen, die die Modelle bauen, darüber, was ausgeliefert wird und was nicht.