OpenAI stoppt Destillationskampagne mit Verbindung zu Moonshot AI
OpenAI hat nach eigenen Angaben eine koordinierte Kampagne zur Extraktion geschützten Schlussfolgerns aus seinen Modellen unterbunden. Einen Kern dieses Geschehens ordnet das Unternehmen Personen zu, die mit Moonshot AI in Verbindung stehen, dem Entwickler von Kimi. Die ersten Aktivitäten begannen am 1. Juli.

OpenAI veröffentlichte am 4. Oktober auf seiner Website die eigene Darstellung der Kampagne. Das Unternehmen erklärt, die Betreiber hätten weder die Verschlüsselung gebrochen noch eine Datenbank kompromittiert oder direkten Zugriff auf gespeicherte Nutzergespräche erlangt. Stattdessen hätten sie Modellinteraktionen in Formen gelenkt, die geschütztes Schlussfolgern sichtbar und im großen Stil als Ausgabe wiedergaben, entgegen den Nutzungsbedingungen.
Dieser Unterschied ist für alle wichtig, die Sicherheitswerkzeuge auf Frontier-Modelle aufsetzen. Die Angriffsfläche war die eigene Denkspur des Produkts, nicht ein Serverraum. OpenAI beschreibt das Geschehen als vereinbar mit adversarieller Destillation. Gemeint ist der systematische Einsatz der Ausgaben eines Modells, um ein anderes zu trainieren, nachzubauen oder zu verbessern.
Die Zeitleiste des Unternehmens ist ungewöhnlich genau. Die Aktivität begann am 1. Juli mit geringem Volumen. Am 24. und 25. Juli folgten Spitzen mit hohem Volumen: 16.000 Anfragen mit einem relevanten Extraktionsmuster von mehr als 4.000 Nutzern. Ein breiterer Block von mehr als 15.000 Nutzern mit verwandten Prompt-Mustern war laut OpenAI bis zum 28. Juli vollständig unterbunden.
Eine Technik sticht hervor. OpenAI zufolge kopierten die Betreiber verschlüsseltes Schlussfolgern aus einem Gespräch und baten ein Modell in einem anderen Gespräch, den verborgenen Inhalt zu entschlüsseln und abzuschreiben. Wenn das funktioniert, ist die praktische Grenze zwischen der endgültigen Antwort eines Modells und seiner internen Arbeit dünner, als Kunden annehmen. OpenAI erklärt, inzwischen Gegenmaßnahmen eingeführt und Details über das Frontier Model Forum an Branchenpartner weitergegeben zu haben.
Warum eine Denkspur es wert ist, gestohlen zu werden
Geschütztes Schlussfolgern ist der interne Verlauf eines Modells, während es eine Aufgabe durcharbeitet. Wer es extrahiert, kann nach OpenAIs Argumentation Informationen erhalten, die in der endgültigen Antwort zurückgehalten werden. Genau dieses Material bräuchte ein Wettbewerber, um Fähigkeiten nachzubauen. Das Unternehmen warnt zudem, ein destilliertes Modell übernehme womöglich nicht die Schutzvorkehrungen, die für die nutzerseitige Ausgabe des Originals gelten. In großem Maßstab, so heißt es, beschleunigt Destillation den Transfer von Fähigkeiten ohne entsprechenden Aufwand für Sicherheit.
OpenAI räumt ein, es sei unklar, ob jeder in diesem Zeitraum beobachtete Betreiber zu einem einzigen Akteur gehörte. Nur einen Kern ordnet das Unternehmen Personen mit Verbindung zu Moonshot AI zu. Moonshot hat sich in OpenAIs Beitrag nicht öffentlich geäußert, und der Beitrag sagt nicht, ob OpenAI das Unternehmen vor der Veröffentlichung kontaktiert hat. Keine der beiden Seiten hat rechtliche Schritte bekannt gegeben.
Die Offenlegung folgt einem Muster, bei dem Labore Berichte über Vorfälle erst veröffentlichen, wenn Gegenmaßnahmen greifen. OpenAI erklärt, den Umfang untersucht, Korrekturen eingeführt und Rückmeldungen von Forschern und Branchenpartnern eingeholt zu haben, bevor das Unternehmen an die Öffentlichkeit ging. Unabhängige Sicherheitsforscher meldeten über Responsible Disclosure auch verwandte Schwachstellen zwischen Modellen und bei der Verdichtung von Gesprächen. OpenAI bestätigt, dass diese Angriffspfade real waren.
Für Käufer von KI-Sicherheitsprodukten ist die Lehre enger als die Schlagzeile. Der Vorfall war kein klassischer Einbruch mit gestohlenen Zugangsdaten. Es war der Missbrauch einer legitimen Schnittstelle, oft genug wiederholt, um wie ein Angriff auszusehen.
Google zeichnet das Modellmenü unter den Nutzern neu
Gleichzeitig verschiebt sich der Zugang zu Modellen. Laut einem aktualisierten Google-Supportdokument, über das 9to5Google am 3. Oktober berichtete, werden Nutzer der Gemini-App ohne bezahltes Abonnement ab dem 9. Oktober auf das Modell 3.5 Flash-Lite beschränkt. Sie verlieren den Zugang zu 3.6 Flash und 3.1 Pro.
Abonnenten von AI Plus für 4,99 US-Dollar im Monat erhalten nur noch Flash-Lite und Flash, Pro entfällt. Google will diesen Nutzern laut eigener Aussage eine E-Mail schicken, die erklärt, wann die Änderungen greifen. AI Pro für 19,99 US-Dollar im Monat und AI Ultra für 99,99 oder 199,99 US-Dollar im Monat behalten den Zugang zu allen drei Modellen. Kunden von AI Pro bekommen zusätzlich die Option Deep Think für maximales paralleles Schlussfolgern, die bisher den Ultra-Tarifen vorbehalten war.
THE DECODER berichtete am 4. Oktober, der Aufbau spiegele OpenAIs Freemium-Struktur für ChatGPT, bei der die kostenlose Stufe auf das kleinste Modell reduziert ist. Die Publikation merkte außerdem an, Google könnte sich auf Gemini 4 Argon vorbereiten, das teurer im Betrieb sein dürfte. 9to5Google berichtete, Argon komme zuerst zu Abonnenten von AI Ultra. Ebenso, dass Google nicht gesagt hat, ob Argon als Pro-Modell zählt oder in einer Stufe darüber liegt.
Die Änderung hat eine Sicherheitsdimension, die leicht übersehen wird. Teams, die interne Werkzeuge auf das Modell gebaut haben, das die Chat-Oberfläche gerade auslieferte, finden sich nach dem 9. Oktober womöglich auf Flash-Lite wieder. Prompts, die auf Pro abgestimmt sind, verhalten sich anders, und niemand verschickt eine Migrationsmitteilung für einen Standardwert.
Google bereitet laut 9to5Google außerdem für Oktober die Stufen niedrig, mittel und hoch für jedes verfügbare Modell vor. Höherer Aufwand liefert gründlichere Antworten und verbraucht mehr vom Limit eines Nutzers. Das ist ein Abrechnungsdetail so sehr wie ein Produktdetail.
Anthropic fragt zuerst und lässt den Schalter aus
Anthropic bittet Claude-Nutzer seit Kurzem, Sprachgespräche freiwillig für das Modelltraining bereitzustellen, wie BleepingComputer am 4. Oktober berichtete. Die Abfrage erscheint, wenn jemand die Sprachfunktionen von Claude nutzt. Sie fragt um Erlaubnis, das Audio zur Verbesserung der Modelle des Unternehmens zu verwenden.
Die Einstellung ist laut der Oberfläche, die BleepingComputer sah, standardmäßig aus. Nutzer können Erlauben oder Jetzt nicht wählen, den Schalter später unter Einstellungen, Datenschutz ändern und die Sprachdaten danach löschen. Das Sprachtraining ist getrennt von der bestehenden Option, mit Chats und Coding-Sessions zu trainieren, sodass sich beide Entscheidungen unabhängig treffen lassen.
Diese Trennung ist der interessante Teil. Ein Nutzer kann Sprachaufnahmen herausrücken und zugleich gewöhnliche Chats und Claude-Code-Sessions aus dem Training heraushalten, oder umgekehrt. Anthropic hat nicht gesagt, wie viele Menschen zugestimmt haben, und der Bericht nennt keine Zahl dafür, wie viele Sprachdaten das Unternehmen hält.
Kleine Modelle, lokale Rechner und ein CVE-Audit
Sicherheitsteams, die keine Daten an eine gehostete API schicken dürfen, haben jetzt mehr lokale Optionen. Jerry Gamblin, der in den Arbeitsgruppen Quality, Automation und Consumer des CVE-Programms mitarbeitet, ließ Cloudflares Clef-Modelle lokal über Ollama 0.35.1 laufen. Er stellte allen 27.489 CVEs, die in den 60 Tagen bis zum 3. Oktober veröffentlicht wurden, zwei Fragen: Nennt die Beschreibung eine Sicherheitsauswirkung, und wie klar ist sie für einen Verteidiger?
Die Ergebnisse, am 4. Oktober in seinem Blog veröffentlicht, beziffern eine vertraute Klage. Außerhalb des Linux-Kernels sagen 989 von 23.736 Beschreibungen, also 4,2 Prozent, nie, was ein Angreifer tun könnte. Der Kernel ist ein eigener Fall: Seine veröffentlichte Richtlinie überlässt die Auswirkung dem Nutzer, deshalb nennen 3.661 seiner 3.753 Einträge keine. Damit steigt die Zahl über alle CVEs auf 4.650 von 27.489, also 16,9 Prozent.
Clef Flash, ein Modell mit 9 Mrd. Parametern, beantwortete beide Fragen auf einem Laptop mit einem Median von unter einer Sekunde pro CVE, ohne API-Schlüssel. Flash erwies sich allein als zu streng, deshalb las das größere Clef-Modell mit 27 Mrd. Parametern alles nach, was es außerhalb des Kernels markiert hatte, und kippte 1.198 von 2.187 Fällen, also 54,8 Prozent. Gegen 129 CVEs, die Gamblin von Hand etikettierte, fing der zweistufige Ansatz 15 der 16 ab, die er als ohne Auswirkung eingestuft hatte, und markierte nie einen seiner positiven Fälle. Beide Modelle stehen unter Apache 2.0 und sind aus Qwen-Modellen feinabgestimmt, schreibt er.
Gamblin stellt klar, dass nichts in seinem Beitrag eine Position des CVE-Programms ist. Das Audit ist das Wochenendprojekt eines Forschers, kein Befund einer Aufsichtsbehörde. Es misst die Qualität der Prosa, nicht ob ein Fehler ausnutzbar ist.
OpenAIs eigener Beitrag macht einen verwandten Punkt: Destillation und die Extraktion von Schlussfolgern sind keine Schwachstellen, die nur seine Modelle betreffen. Das Unternehmen erklärt, ähnliche Techniken könnten andere fortgeschrittene Systeme treffen, weshalb Abstimmung zwischen den Laboren Teil der Verteidigung ist.
Quellen
9- 01Disrupting a coordinated model-distillation campaignEN
- 02Gemini app limiting what models free and AI Plus users can accessEN
- 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
- 04Anthropic asks Claude users to share voice data for AI model trainingEN
- 05Decision Models vs. CVE DataEN
- 06OpenAI's latest features take direct aim at the app store modelEN
- 07Ideogram 4.5: The most precise edit modelEN
- 08No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
- 09Language Model "Shape"EN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.