OpenAI: Akteure mit Verbindung zu Moonshot versuchten, verborgenes Reasoning zu extrahieren
OpenAI hat nach eigenen Angaben eine koordinierte Kampagne gestoppt, die geschütztes Reasoning aus seinen Modellen ziehen sollte. Einen Kern der Aktivität bringt das Unternehmen mit Personen in Verbindung, die mit dem chinesischen Anbieter Moonshot AI zu tun haben. Der Blogbeitrag vom 1. Oktober nennt einen Höchstwert von 16.000 Anfragen innerhalb von zwei Tagen, gestellt von mehr als 4.000 Nutzern.

Die Darstellung von OpenAI ist so konkret, dass sie sich prüfen lässt. Die Aktivität begann am 1. Juli, zunächst in geringem Umfang, wie aus dem Blogbeitrag hervorgeht. Am 24. und 25. Juli schnellte sie dann auf 16.000 Anfragen hoch, die einem einschlägigen Extraktionsmuster folgten, gestellt von über 4.000 Nutzern. Eine breitere Auswertung fand verwandte Prompt-Muster in mehr als 15.000 Konten. Laut OpenAI war die Kampagne bis zum 28. Juli vollständig gestoppt. Eine Fußnote hält fest, dass es sich um Extraktionsversuche handelte, nicht zwingend um erfolgreiche. Welche Modelle betroffen waren, teilte das Unternehmen nicht mit.
Die Betreiber sind nicht in eine Datenbank eingedrungen.
„Die Betreiber haben unsere Verschlüsselung nicht gebrochen, keine Datenbank kompromittiert und keinen direkten Zugriff auf gespeicherte Nutzergespräche erlangt“, zitiert The Register den Blog. Stattdessen manipulierten sie die Interaktion mit den Modellen so, dass geschütztes Reasoning in einer für den Anfragenden sichtbaren Form reproduziert werden konnte. OpenAI definiert geschütztes Reasoning als den internen Datensatz, mit dem ein Modell eine Aufgabe durcharbeitet. Die Technik nennt das Unternehmen „adversarial distillation“: der systematische und unerlaubte Einsatz der Ausgaben oder des Reasonings eines Modells, um ein anderes zu trainieren oder zu verbessern.
Das Entschlüsselungsorakel
Der Mechanismus ist wichtig, weil er den Fix von OpenAI überdauert hat. Anbieter schicken Reasoning als verschlüsselte Datenpakete an Kunden zurück. Die Kunden reichen sie mit Folgefragen wieder ein, damit der Anbieter die Gedankenkette nicht speichern muss. Der Forscher Joachim Schaeffer und sein Team zeigten, dass diese Pakete mit geteilten Schlüsseln verschlüsselt sind. Sie lassen sich deshalb zwischen Sitzungen, zwischen Nutzern und sogar zwischen verschiedenen Modellen desselben Anbieters verschieben. Ein schwächeres, günstigeres Modell aus derselben Familie kann dann als Entschlüsselungsorakel dienen. Es gibt die verborgenen Gedanken des stärkeren Modells Wort für Wort aus. OpenAI nennt die Forscher namentlich und bestätigt, dass die gemeldeten Angriffswege real waren.
OpenAI hat nach eigenen Angaben inzwischen betrügerische Konten gesperrt und die Registrierung verschärft. Der Pfad, über den jemand fremdes verschlüsseltes Reasoning erneut abspielen und lesen konnte, ist geschlossen. Zudem prüft das Unternehmen gestreamte Ausgaben und hält sie zurück, wenn sie Reasoning offenlegen könnten. Die Erkenntnisse gingen über das Frontier Model Forum und Regierungskanäle weiter. CNBC berichtet, das Unternehmen habe erklärt, die Betreiber hätten weder Verschlüsselung noch Datenbanken noch gespeicherte Nutzergespräche kompromittiert. Moonshot antwortete nicht unmittelbar auf die Anfrage von CNBC. Auch The Register fragte nach und erhielt keine sofortige Antwort; die Frage, welche Modelle betroffen waren, blieb gegenüber OpenAI unbeantwortet.
Am selben Tag veröffentlichten die Forscher ein Update. „We stole reasoning. Again“, schrieb Schaeffer auf X, wie THE DECODER berichtet. Sein Argument: Wer die eigene API absichert, sichert damit nicht das weitere Ökosystem der Cloud-Anbieter ab, die ebenfalls Zugang zu den Modellen verkaufen. Das Team fand heraus, dass der Trick wochenlang auf Plattformen wie Microsoft Azure weiter funktionierte.
Das ist die unangenehme Fortsetzung. OpenAI kann das eigene Loch schließen. Das eines Wiederverkäufers kann es nicht im Alleingang schließen.
Hintergrund, und warum die Einordnung zählt
Der Vorwurf fällt in ein dichtes Feld. Tom’s Hardware merkt an, OpenAI sei unsicher, ob alle beobachteten Betreiber ein einziger Akteur waren. Der Beitrag ließ offen, wie hoch die Erfolgsquote lag und wie viele der Nutzer mit Moonshot verbunden waren. Wenige Wochen zuvor hatte Anthropic mehrere chinesische KI-Entwickler beschuldigt, darunter Moonshot AI und Alibaba, Claude heimlich zum Training eigener Systeme genutzt zu haben, so CNBC. The Register ergänzt, dass Michael Kratsios, Trumps Berater für Wissenschaft und Technologie, Ende Juli Moonshot beschuldigte, sein Modell Kimi K3 durch Destillation von Anthropics Fable erstellt zu haben.
OpenAI argumentiert, extrahiertes Reasoning könne ein anderes Modell trainieren, ohne die Schutzmaßnahmen zu übernehmen, die für die nutzerseitigen Ausgaben des Originalmodells gelten. In großem Maßstab, so das Unternehmen, könne Destillation den Transfer fortgeschrittener Fähigkeiten beschleunigen, ohne dass in gleichem Umfang in Sicherheit investiert werde. The Register formuliert es schärfer: US-Modellbauer dürfen auf Webdaten trainieren, die Destillation ihrer Modelle gilt aber als Risiko für die nationale Sicherheit. Die Redaktion bringt diesen Widerspruch in ihrer Überschrift und löst ihn nicht auf.
Vieles an dieser Geschichte dreht sich um Kontrolle, nicht um Fähigkeiten. Am 30. September reichte der Generalstaatsanwalt von Florida, James Uthmeier, einen Antrag auf einstweilige Verfügung gegen fünf OpenAI-Gesellschaften und Sam Altman persönlich ein. Er verlangt vom Gericht unter anderem, dem Unternehmen die Entwicklung von KI-Modellen ohne unabhängige Prüfinstanzen und Genehmigung zu untersagen, wie Tom’s Hardware berichtet. Der Antrag gehört zu einer im Juni im Highlands County eingereichten Klage. Eine separate Klage einer gemeinnützigen Organisation zum Hugging-Face-Hack argumentiert, „eine KI hat es getan“ sei keine Verteidigung, wie Ars Technica meldet. Die FTC hat nach Angaben von THE DECODER eine umfassende Untersuchung gegen OpenAI, Anthropic und weitere Labore wegen Verbraucherschutzfragen eröffnet.
Dagegen läuft der Fluss offener Gewichte weiter. TechCrunch meldete am 1. Oktober, AWS habe Strands Decider 2B veröffentlicht, ein quelloffenes Entscheidungsmodell nach dem Vorbild von TypeSafe’s Jev, klein genug für den lokalen Betrieb. Amazon-Distinguished-Engineer Marc Brooker baute die erste Version selbst, und sie stand kurzzeitig an der Spitze des Jevbench-Rankings für Modelle ihrer Größe. Cloudflare veröffentlichte unter der Lizenz Apache 2.0 seine eigenen Entscheidungsmodelle Clef und Clef-flash auf seinem Blog. Das Unternehmen gibt an, Clef führe den Jev Decision Index an, und die Klassifizierung einer Domain habe 2,2 Sekunden gedauert gegenüber 4,7 Sekunden für gpt-oss-120b im selben Workflow. Metas Context Language Models Repository meldet 11,4 Prozent höhere Genauigkeit bei 21,5 Prozent weniger FLOPs auf BrowseComp-Plus, wenn Modelle Kontext wie eine Datei verwalten. Selbst der ehrenamtliche Weg funktioniert. Coop ist ein Modell mit rund 145.000.000 Parametern, von Grund auf auf FineWeb-Edu vortrainiert. Mitwirkende reichen Pseudo-Gradienten als Hugging-Face-Pull-Requests ein, die ein zustandsloser GitHub-Actions-Cronjob zusammenführt.
Die beiden Geschichten sind nicht getrennt. Günstige, lokal lauffähige Modelle mit offener Lizenz sind genau das, was Destillation überhaupt attraktiv macht. Sie sind auch genau das, was ihre Kontrolle schwer macht. OpenAI kann einen Akteur benennen und Konten sperren. Der Trick mit dem verschlüsselten Reasoning, das zeigt das Update der Forscher, wandert weiter.
Auf Fragen zur Kampagne lässt der Beitrag von OpenAI die naheliegenden Fragen offen. Wie viele der mehr als 15.000 Konten ließen sich auf Moonshot zurückführen? Welche Modelle gaben Reasoning preis? Wie viel von dem, was herauskam, war brauchbar? Solange diese Zahlen fehlen, ist die belastbarste überprüfbare Aussage enger als die Schlagzeilen. Im Juli gab es einen koordinierten Extraktionsversuch, er war groß, und er wurde auf der API eines Anbieters gestoppt. Nicht überall. Die Bewertung des Vorfalls durch OpenAI selbst umfasst nach eigenen Angaben ein Volumen von 2.000.000.000 Token, die im Zusammenhang mit den gemeldeten Mustern verarbeitet wurden.
Quellen
12- 01OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 02OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 03AI race heats up as OpenAI flags alleged model-copying campaignEN
- 04Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 05Florida attorney general asks judge to bar OpenAI from developing new AI models without third-party approvalEN
- 06"An AI did it" is no defense, says nonprofit suing OpenAI over Hugging Face hackEN
- 07FTC launches sweeping probe into OpenAI, Anthropic, and other AI labs over consumer protection concernsEN
- 08Amazon releases its own Jev clone as decision models flood the webEN
- 09Clef: our open-source decision modelsEN
- 10Context Language Models (CLMs)EN
- 11Coop: A small language model pretrained by volunteersEN
- 12Google rolls out new Gemini AI model but restricts access over safety concernsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.