Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Offene Gewichte rücken die Wertschöpfungskette hinauf: Chipdesign, Sprache und Tabellenmodelle in einer Woche

OpenAI und Synopsys haben am 30. September einen mehrjährigen Vertrag über den Bau von GPT-Synopsys geschlossen, einem spezialisierten Modell für Chipdesign. Es ist eine von mindestens fünf Veröffentlichungen und Partnerschaften mit offenen oder offen beschriebenen Modellen in den letzten Tagen des Septembers.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 30. September 20268 Min. LesezeitQuellen 7
Offene Gewichte rücken die Wertschöpfungskette hinauf: Chipdesign, Sprache und Tabellenmodelle in einer Woche

Das Neueste in der Arbeit mit offenen Modellen ist kein Benchmark-Wert. Es ist ein Vertrag. Am 30. September erklärten OpenAI und Synopsys, sie hätten eine mehrjährige strategische Partnerschaft geschlossen, um ein spezialisiertes KI-Modell für Chipdesign namens GPT-Synopsys zu bauen, berichtet The Decoder. Synopsys verkauft Werkzeuge zur elektronischen Designautomatisierung, also die Software, mit der Ingenieure Chips auslegen. OpenAI lizenziert diese Werkzeuge für das Projekt.

Das erklärte Ziel ist ein Modell, das „über Chipdesign und Verifikation reasoning betreiben und die Werkzeuge von Synopsys direkt bedienen kann“. Beide Unternehmen sagen, erste Tests mit Halbleiterkunden liefen, Kundendaten würden nicht zum Training verwendet und verschlüsselt gespeichert, und man werde das Produkt gemeinsam vermarkten und Erlöse teilen. Synopsys-CEO Sassine Ghazi sagt, KI könne den Designprozess deutlich beschleunigen. OpenAI-Mitgründer Greg Brockman beschreibt den Vertrag als Weg zu besseren Chips und besserer KI.

Das ist ein geschlossenes Modell in einer kommerziellen Pipeline. Dieselbe Woche brachte eine ganz andere Art von Veröffentlichung.

Kleine Modelle, kleine Dateien, laute Behauptungen

Fermion Research veröffentlichte am 30. September Phonon-2 und bezeichnet es als das genaueste offene Spracherkennungsmodell unter 900 MB. In einem 164 MB großen Download, so das Unternehmen, erreiche es die Genauigkeit seines 2,5 GB großen Lehrermodells in voller Präzision Punkt für Punkt, übertreffe es bei Besprechungen und Parlamentsreden und verwandle eine Stunde Audio auf einem MacBook Air in etwa 20 Sekunden Text. Die Gewichte liegen auf Hugging Face unter CC-BY-4.0, der Lizenz von NVIDIA Parakeet TDT 0.6B v3, von dem sie abstammen.

Die interessante Zahl ist 5,21. Über die sieben englischen Sets des Open ASR Leaderboard kommt Phonon-2 auf durchschnittlich 5,21 Prozent Wortfehlerrate, und jedes offene Modell mit besserem Wert ist mindestens 5,8-mal so groß, so die Veröffentlichung des Unternehmens. Jedes Encoder-Gewicht wird als eine von fünf gelernten Stufen gespeichert, als Base-3-Ziffern zu fünf pro Byte gepackt, wobei ein weiteres Bit pro Gewicht ungleich null die Größenordnung wählt. Das ergibt rund 2,1 Bit pro gespeichertem Gewicht. Das Unternehmen sagt, der Vorsprung halte unter Störgeräuschen, vom stillen Raum bis zu Hintergrundlärm so laut wie der Sprecher, wo es vor Parakeet Redux bleibt.

Eine unabhängige Überprüfung liegt nicht in der Akte. Behandle den Leaderboard-Platz und die Aussage zum Störgeräusch als Herstellerangaben, bis jemand sie nachvollzieht.

Am selben Tag stellte NVIDIA sein Foundation-Modell für Tabellendaten auf Hugging Face. NVIDIA Kumo Tabular ist ein offenes Foundation-Modell für tabellarische Daten, das die Labels neuer Zeilen in einem einzigen Vorwärtsdurchlauf vorhersagt, ohne Training, ohne Feintuning und ohne Feature Engineering, für Klassifikation und Regression gleichermaßen. Es wurde ausschließlich auf künstlichen Daten vortrainiert, kommt in drei Größen von 28.000.000 bis 215.000.000 Parametern, läuft über NVIDIAs Open-Source-Bibliothek structured-data-models und erscheint unter der Lizenz OpenMDW-1.1 für kommerzielle Nutzung. NVIDIA sagt, es stehe auf vier Benchmarks an erster Stelle: TabArena, BeyondArena, TALENT und ScoringBench.

Die Architekturdetails zählen weniger als der Rahmen. Tabellarische Arbeit wurde zwei Jahrzehnte lang von gradientenverstärkten Bäumen beherrscht, und NVIDIAs Argument lautet, dass ein vortrainierter Transformer eine beschriftete Tabelle im Kontext lesen und den Lebenszyklus pro Aufgabe überspringen kann: Labels sammeln, Features bauen, Hyperparameter abstimmen. Das Modell nutzt Spalten-, Zeilen- und In-Context-Attention in der Linie von TabICL und TabPFN, mit einer längensensitiven Attention-Temperatur, damit die Softmax-Attention nicht zerfließt, wenn eine Inferenz-Tabelle weit größer ist als eine Trainingstabelle. Fehlende Werte brauchen keine Imputation.

Offene Gewichte von Freiwilligen und von einem Staatsinstitut

Zwei Veröffentlichungen vom 30. September kamen ganz ohne Unternehmen dahinter, oder mit einem staatlichen. Coop ist ein kleines Sprachmodell, das Freiwillige vortrainiert haben, ohne Server, ohne Finanzierung und ohne Daemon. Die Trainingsschleife läuft auf gespendeter Consumer-Hardware plus kostenlosen Tarifen von Hugging Face und GitHub Actions, so das GitHub-Repository. Stufe 2 läuft: ein Decoder-only-Transformer mit rund 145.000.000 Parametern, von Grund auf auf FineWeb-Edu vortrainiert, mit 12 Schichten, 14 Köpfen, d=896, einem Kontext von 1.024 Tokens und einem Byte-Level-BPE-Vokabular von 32.000. Stufe 1, ein Modell mit 15.000.000 Parametern auf TinyStories, endete über seinem Chinchilla-optimalen Budget, mit einer Validierungs-Loss, die in sechs Tagen von 9,01 auf 2,8 fiel.

Der Mechanismus ist die Geschichte. Worker laden den aktuellen Checkpoint herunter, führen lokale AdamW-Schritte auf einem persönlichen Datenanteil aus, berechnen einen Pseudo-Gradienten und reichen ihn als Pull Request gegen ein öffentliches Hugging-Face-Datensatz-Repository ein. Ein zustandsloser GitHub-Actions-Cronjob, geplant alle fünf Minuten, in der Praxis aber in Abständen von Minuten bis zu einigen Stunden ausgelöst, liest den Checkpoint und die offenen Pull Requests im Posteingang, verwirft zu alte Einsendungen, beschneidet und kosinusgewichtet den Rest, aggregiert sie per getrimmtem Mittel oder geometrischem Median, macht einen äußeren Nesterov-Schritt, lädt den neuen Checkpoint hoch, schreibt Beitragende ins Ledger und schließt die verarbeiteten Pull Requests.

Das Repository ist ehrlich bei der Evaluation. Eine einzelne Validierungs-Loss sagt nichts, weil äußere Schritte sie ebenso oft nach oben wie nach unten bewegen. Deshalb fittet das Leaderboard eine Steigung über die Reihe gegen Tokens statt gegen äußere Schritte und gibt sie mit Standardfehler an. „Geht runter“ heißt, die Steigung überschreitet zwei Standardfehler. Das ist eine ehrlichere Berichtsregel, als die meisten finanzierten Labore hinbekommen.

Am selben Tag veröffentlichten das UK AI Security Institute und Meridian Labs Inspect, ein Open-Source-Framework für Evaluierungen von Frontier-KI. Inspect deckt Coding, agentische Aufgaben, Reasoning, Wissen, Verhalten und multimodales Verstehen ab und kommt mit über 200 vorgefertigten Evaluierungen. Seine Bausteine sind Datensätze, Solver und Scorer. Es unterstützt Tool-Aufrufe einschließlich MCP-Tools sowie eingebaute bash-, python-, Websuche- und Computer-Tools, führt beliebige externe Agenten wie Claude Code, Codex CLI und Gemini CLI aus und kapselt nicht vertrauenswürdigen Modellcode in Docker, Kubernetes, Modal, Proxmox und Vagrant über eine Erweiterungs-API. Der Zeitpunkt ist deutlich. Evaluierungswerkzeuge von einem staatlichen Sicherheitsinstitut kommen in derselben Woche, in der eine US-Aufsichtsbehörde eine branchenweite Untersuchung zu fehlgeleiteten KI-Agenten eröffnete.

Offene Gewichte dringen in Chinas Chip-Stack ein

Deepseek veröffentlicht Open-Source-Programmierwerkzeuge für Huaweis KI-Chips, laut einem Beitrag auf Deepseeks offiziellem WeChat-Kanal, wobei Reuters über die Open-Source-Stellung berichtet. Im Mittelpunkt steht TileLang, eine Open-Source-Programmiersprache für KI-Chips, ursprünglich von Forschern der Peking-Universität entwickelt. Deepseek nutzt sie seit etwa einem Jahr und beschreibt sie nun als sein wichtigstes Werkzeug für die Arbeit an künstlicher allgemeiner Intelligenz, so The New York Times.

Die Software enthält Bibliotheken für Berechnungen und für den Datentransport zwischen Chips. Laut Deepseek hat Huawei die Arbeit „voll unterstützt“, und beide Unternehmen optimierten einen Supernode, einen Verbund aus 128 Ascend-950-Chips. Deepseek argumentiert, wer ein unabhängiges Software-Ökosystem für KI-Chips aufbauen wolle, brauche zuerst eine universelle Sprache, die leicht zu programmieren ist und trotzdem die volle Leistung aus der Hardware holt. TileLang biete ein einfacheres Programmiermodell als CUDA.

Das hängt mit einer breiteren Debatte darüber zusammen, wo NVIDIAs Vorsprung liegt. Das Forschungsunternehmen SemiAnalysis nannte den CUDA-Graben „potenziell tot“, nachdem es OpenAIs Inferenzchip Jalapeno getestet hatte, weil OpenAI neue Modelle so schnell auf eigener Hardware zum Laufen bringt. Jalapeno habe NVIDIAs Blackwell bei der Leistung pro Watt in den meisten getesteten Szenarien geschlagen. SemiAnalysis fügte eigene Einschränkungen hinzu: Die Tests deckten relativ leicht zu optimierende Szenarien mit etwa 8.000 Eingabe- und 1.000 Ausgabe-Tokens ab, und AgentX, der Benchmark für mehrstufige Agentenaufgaben, sei noch nicht gelaufen. Im August fand SemiAnalysis Nvidia bei diesem Benchmark weit vorn und sagte, Nvidia werde pro Token weiterhin billiger sein als AMD, selbst wenn AMD seine Hardware verschenke, weil der Vorteil in der Software liege, die viele Chips zu einem System verbindet. Huaweis Chips waren nicht Teil des AgentX-Vergleichs.

Auch im Inland gibt es einen Druckpunkt. Huawei räumt ein, die Nachfrage zu Hause nicht bedienen zu können, und will deshalb weniger Chips ins Ausland verkaufen. Mit Blick auf die US-Exportkontrollen sagte Huaweis amtierender rotierender Vorsitzender Eric Xu, das Unternehmen könne keine Zukunft akzeptieren, die davon abhänge, ob andere bereit seien, Chips nach China zu verkaufen.

Worauf zu achten ist

Das Muster über diese Veröffentlichungen hinweg: Offene Gewichte beschränken sich nicht mehr auf Chatbot-Checkpoints. Sie kommen als Sprach-Encoder, klein genug für ein Laptop, als Tabellen-Vorhersager für Unternehmensdaten, als Evaluierungs-Harness von einer staatlichen Sicherheitsbehörde, als freiwillige Trainingsschleifen auf kostenlosen Tarifen und jetzt als Programmierwerkzeuge für einen Nicht-Nvidia-Beschleuniger-Stack.

Zwei Dinge bleiben offen. Erstens sind die Benchmark-Aussagen zu Phonon-2 und Kumo Tabular in dieser Akte Angaben der Hersteller oder Betreuer, und keiner der drei Modellveröffentlichungen liegt eine unabhängige Reproduktion bei. Zweitens bewegt sich das regulatorische Bild in die entgegengesetzte Richtung zu den Veröffentlichungen: Die Untersuchung der FTC gegen Anthropic, OpenAI und Metr ist die erste offizielle US-Durchsetzungsmaßnahme, die fehlgeleitete KI-Agenten berührt, wie The Guardian am 30. September berichtete.

Offene Gewichte klären nichts davon. Sie verlagern die Debatte nur auf Hardware, die mehr Menschen betreiben können.

Kommentare 0

Quellen

7
  1. 01OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
  2. 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  3. 03NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular PredictionEN
  4. 04Coop: A small language model pretrained by volunteersEN
  5. 05Inspect: An open-source framework for large language model evaluationsEN
  6. 06China's AI industry closes ranks as Deepseek ships open-source software for Huawei's Ascend chipsEN
  7. 07US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.