Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Der Open-Source-Stack für LLM-Fine-Tuning wird um Agenten herum neu gebaut, nicht um Modelle

Am 30. September hat Cloudflare Forge als Open Source veröffentlicht, eine Generierungspipeline, die aus einer API-Spezifikation SDKs, CLIs, Dokumentation und MCP-Server macht. NVIDIA hat außerdem Kumo Tabular veröffentlicht, ein Foundation-Modell, das aus Tabellen in einem einzigen Forward-Pass Vorhersagen trifft, ohne Training und ohne Feature Engineering. Beides sind keine Fine-Tuning-Werkzeuge, aber beide zeigen, wohin sich der offene Stack bewegt.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 30. September 20269 Min. LesezeitQuellen 15
Der Open-Source-Stack für LLM-Fine-Tuning wird um Agenten herum neu gebaut, nicht um Modelle

Der jüngste Beitrag hier ist kein Fine-Tuning-Framework. Am 30. September veröffentlichte Cloudflare Forge, eine quelloffene, steckbare Generierungspipeline. Sie verwandelt eine API-Spezifikation in SDKs, CLIs, Dokumentation und MCP-Server. Laut dem Blog des Unternehmens erzeugt Forge bereits die Ausgabe, die für die cf CLI nötig ist. In den nächsten Monaten soll es die API-Dokumentation und die SDKs von Cloudflare antreiben.

Der angegebene Grund ist nicht Bequemlichkeit für Entwickler. Cloudflare schreibt, man habe Forge gebaut, "weil wir es selbst brauchten, um Agenten als unsere Kunden zu behandeln". Die dahinterliegende API umfasst mehr als 3.500 Operationen. Sie verteilen sich auf Dienste, die in Rust, Go, TypeScript und Python geschrieben sind. Diese Einordnung ist der Hinweis. Die Werkzeuge rund um ein Modell, der Kitt, der aus Gewichten ein Produkt macht, werden jetzt als Open Source veröffentlicht und standardisiert. Oft kommen sie vor den Modellen selbst.

NVIDIA hat am selben Tag denselben Schritt gemacht, in einer anderen Ecke. Der Eintrag Kumo Tabular auf Hugging Face, veröffentlicht am 29. September, beschreibt ein offenes Foundation-Modell für tabellarische Klassifikation und Regression.

Bei gegebenen gelabelten Zeilen liefert es Klassenwahrscheinlichkeiten oder Zahlen in einem einzigen Forward-Pass. Es braucht kein Training, kein Tuning und kein Feature Engineering. Es kommt in drei Größen von 28 Millionen bis 215 Millionen Parametern und wurde ausschließlich auf künstlichen Daten vortrainiert. Die Lizenz ist OpenMDW-1.1 für kommerzielle Nutzung. NVIDIA sagt, es liege auf TabArena, BeyondArena, TALENT und ScoringBench auf Platz eins. Der Anspruch ist ausdrücklich ein Ersatz für den Zyklus aus Neutraining und Deployment. Gradient-Boosted Trees haben diesen Zyklus zwei Jahrzehnte lang dem maschinellen Lernen in Unternehmen aufgezwungen. Der offene Stack spaltet sich also in zwei Teile. Der eine Zweig entfernt den Fine-Tuning-Schritt aus ganzen Kategorien von Arbeit. Der andere Zweig braucht weiterhin geänderte Gewichte, und seine umgebende Maschinerie wird geöffnet.

Der Zweig der billigen Inferenz wächst schnell

Fermion Research veröffentlichte am 30. September Phonon-2, ein Modell zur englischen Spracherkennung. Sein Encoder speichert jedes Gewicht als eine von fünf gelernten Stufen bei etwa 2,1 Bit pro Gewicht. Der Download ist 164 MB groß. Laut der Forschungsseite des Unternehmens liegt es im Durchschnitt bei 5,21 Prozent Wortfehler über die sieben englischen Sets des Open ASR Leaderboard. Jedes offene Modell, das besser abschneidet, ist mindestens 5,8-mal so groß. Eine Stunde Audio wird auf einem MacBook Air in etwa 20 Sekunden zu Text. Die Gewichte stehen unter CC-BY-4.0 und stammen von NVIDIAs Parakeet TDT 0.6B v3.

Das Muster wiederholt sich bei Metas OpenZL, das am 29. September in Version v0.3.0 erschien. Die Release Notes beschreiben eine neue LZ-Engine, die PivCo Huffman als Entropie-Backend nutzt. Die Dekompression ist 33 Prozent schneller als v0.2.0 und 144 Prozent schneller als Zstandard bei gleichen Einstellungen.

Interessanter für alle, die Modelle trainieren oder bedienen, ist der Compression Transformer. Es ist ein kleines neuronales Netz, das numerische Kompressionsgraphen im laufenden Betrieb aufbaut, pro Eingabe, ohne Training pro Quelle. Meta hat es an 868 Familien numerischer Ströme, 34.737 Dateien und 17,9 GB getestet. Meta sagt, es komprimiere im Durchschnitt 35 Prozent besser als zstd -19. Außerdem liege es nur 1,1 Prozent unter Graphen, die trainiert wurden. Kleinere Gewichte, bessere Kompression, weniger verbrauchte Tokens. Das ist die Richtung, und sie kostet die Fine-Tuning-Branche Arbeit.

TypeSafes Jev ist das klarste Beispiel für ein Modell, das ohne die übliche Anpassung auskommt. Es beantwortet Choice-, Score- und Noul-Fragen, statt Text zu generieren. Dadurch ist es billig genug, dass das interessante Problem das Routing wird, nicht das Training.

The Register berichtete am 29. September, dass Jevstiller, ein Open-Source-Projekt, Jev in ein lokales Studentenmodell destilliert. Es zielt auf 98 Prozent Übereinstimmung mit dem gehosteten Dienst. Außerdem beantwortet es vertraute Anfragen auf einer Geräte-CPU in nur 15 ms. Die eigene Dokumentation des Projekts, zitiert von The Register, sagt, sichere Eingaben würden lokal beantwortet, alles andere gehe stromaufwärts. Das ist Fine-Tuning unter anderem Namen, und es passiert auf dem Rechner des Nutzers, gegen einen Lehrer, den der Nutzer nicht kontrolliert.

Wogegen sich ein Fine-Tuning-Stack heute verteidigen muss

OpenAPPA, am 30. September auf GitHub veröffentlicht, sitzt zwischen einem Agenten und seinen Werkzeugen. Vor jedem Aufruf beantwortet es eine Frage: Dürfen diese Daten an dieses Ziel gehen? Es verfolgt Sensibilität und Vertrauenswürdigkeit von allem, was ein Agent liest. Es setzt Richtlinien durch, die in deklarativem TOML geschrieben sind.

Die Benchmarks des Projekts behaupten, dass in 1.320 Bewertungen kein gewerteter Angriff erfolgreich war, während 88 bis 90 Prozent der Aufgaben erledigt wurden. Sie vergleichen das damit, dass Microsoft FIDES 28 bis 35 Prozent der Angriffe durchlässt. Das sind die eigenen Zahlen der Autoren, auf ihren eigenen Testsuites. Das UAI-Protokoll, ebenfalls am 30. September veröffentlicht, greift dieselbe Lücke von der Identitätsseite an. Ein Agent bekommt eine Identität, die an einen rechenschaftspflichtigen Eigentümer gebunden ist, und einen Pass, der an Zeit und Gerichtsbarkeit gebunden ist. Außerdem bekommt er signierte, hash-verkettete Nachweise darüber, was er getan hat.

Das README ist vorsichtig, wie es die wenigsten Projekte sind. "UAI behauptet nicht, dass ein KI-Agent sicher ist", heißt es dort. "Es bietet einen Mechanismus, um die Handlungen eines Agenten zurechenbar und unabhängig überprüfbar zu machen." Beide Projekte existieren, weil die Alternative in diesem Jahr sichtbar versagt hat. Diese Alternative ist, dem System, das eine Aktion ausgeführt hat, auch das Schreiben des Logs zu vertrauen.

The Guardian berichtete am 30. September, dass die FTC eine branchenweite Untersuchung gegen Anthropic, OpenAI und andere eröffnet hat. Es ist die erste offizielle US-Durchsetzungsmaßnahme, die unkontrollierte KI-Agenten betrifft, mit formellen Auskunftsersuchen und geplanten erzwungenen Zeugenaussagen. Laut The Guardian berichtete die New York Post zuerst darüber.

Ars Technica meldete am selben Tag, dass OpenAI seinen Börsengang verschoben hat. Sam Altman sagte gegenüber Reportern am Developer Day des Unternehmens, man werde nicht "mit allen Kanonen losballern auf einen IPO", solange man noch "sichere Sicherheitsentscheidungen treffen" müsse. Ars bezifferte die Bewertung des Unternehmens auf 852 Milliarden US-Dollar. Es sei in Gesprächen, 30 Milliarden US-Dollar oder mehr bei etwa 1,4 Billionen US-Dollar aufzunehmen. Eine gemeinnützige Organisation namens Legal Advocates for Safe Science & Technology reichte am selben Tag in Kalifornien Klage ein. Sie fordert bessere Praktiken bei Evaluation, Überwachung und Training.

"Angesichts dessen, was wir an Fortschritt und Entwicklung [in der KI] sehen, werden Häufigkeit und Raffinesse dieser Hacking-Fälle nur zunehmen", sagte Vivian Dong, Programmdirektorin bei LASST, in Kommentaren, über die Ars Technica berichtete.

Trainingspraktiken sind jetzt ein rechtliches Risiko. Das ändert, wofür ein Fine-Tuning-Stack da ist.

Auch die Governance-Schicht wird als Open Source veröffentlicht

OpenClaw Enterprise, am 30. September angekündigt, ist der direkteste Versuch, darauf zu antworten. Es ist eine quelloffene, herstellerneutrale Control Plane für persistente Agenten. Sie bietet Multi-Tenancy, harte Grenzen zwischen vertrauenswürdigen und nicht vertrauenswürdigen Workloads, Sandboxing, LLM-basierte Reviews und feinkörnige Berechtigungen. Dem Blog zufolge entstand das Projekt bei OpenAI und wurde an die OpenClaw Foundation gespendet. Jetzt wird es mit Red Hat und NVIDIA entwickelt. Es ist Pre-1.0 und wird als geeignet für interne Pilot-Workloads beschrieben. OpenAI betreibt laut der Ankündigung bereits OpenClaw-Agenten mit vollem Zugriff auf Codebasen und Plugins.

Inspects des britischen AI Security Institute, dokumentiert am 30. September, deckt die Messseite ab. Es ist ein Framework für Frontier-Evaluierungen mit zusammensetzbaren Datensätzen, Solvern und Scorern. Es enthält mehr als 200 vorgefertigte Evaluierungen. Es unterstützt das Ausführen beliebiger externer Agenten, darunter Claude Code, Codex CLI und Gemini CLI, mit Sandboxing in Docker, Kubernetes oder Modal.

Dann ist da die stillere, praktischere Schicht. Ein am 30. September veröffentlichtes GitHub-Repository katalogisiert bekannte Fehler in ChatGPT Work und Codex nach OpenAIs DevDay am 29. September. Es verlinkt Nutzerberichte statt bestätigter Bugs. Die zentrale Beschwerde: Lange Agentenläufe scheitern, und das verbrauchte Kontingent wird nicht erstattet, weil es keinen Checkpoint zum Fortsetzen gibt. Ein zitierter Bericht zur Codex-Desktop-App sagt, ein Reparaturlauf habe nach 7 Stunden 15 Minuten etwa 50 Prozent eines Wochenkontingents verbraucht. OpenAI hat nichts davon bestätigt. Der Autor des Repositories sagt, GPT-5.6 Sol funktioniere über OpenCode gut, was eher auf die Infrastruktur als auf die Modelle zeigt.

Vincent Schmalbach macht am 30. September die kommerzielle Version desselben Arguments. Er sagt, OpenAI habe ihm 5.000 US-Dollar an Nutzungsguthaben über zwei Codex-Konten gegeben. Außerdem habe man ihm mitgeteilt, das Kontingent seiner 200-US-Dollar-Abos werde ab dem 30. Oktober halbiert, wenn Pro 200 von 20x auf 10x des Plus-Kontingents gehe. Er plant, auf Plus herunterzugehen und die Differenz für Claude-Abos auszugeben. Das ist der Bericht eines Kunden, keine Marktumfrage. Aber die Richtung passt zu einem Stack, in dem das Modell eine Ware und der Harness das Produkt ist.

Das fehlende Stück

Das Thema, das mich auf die Suche geschickt hat, ein Open-Source-Stack für LLM-Fine-Tuning, ist der dünnste Teil dieses Artikels. Zwei Einträge kommen ihm nahe. Bespoke Labs' Nimble, am 30. September veröffentlicht, liefert Daten, ein Trainingsrezept und ein 9B-Modell, das typisierte Entscheidungen trifft. Das README stellt ausdrücklich klar, dass es nicht von Jev destilliert wurde. Es soll zeigen, wie man Daten kuratiert, trainiert und bedient, und zu mehr Forschung anregen.

OpenResearch, ebenfalls am 30. September veröffentlicht, ist ein lokal-first Desktop- und CLI-Arbeitsbereich. Es gibt Coding-Agenten Literatursuche über alphaXiv, bioRxiv und PubMed. Außerdem Experimentausführung auf Slurm, Kubernetes, Modal oder Hugging Face Jobs. Und es führt ein lokales SQL-Protokoll jedes Laufs, damit Agenten aus früheren Ergebnissen lernen können. Keines von beiden ist ein Trainer. Beide setzen voraus, dass das Modell schon existiert und das Schwierige Orchestrierung, Datenherkunft und Evaluation sind. Das ist eine echte Verschiebung, und sie ist nicht offensichtlich eine gute Nachricht für alle, deren Produkt ein Wrapper um ein Trainingsskript war.

Ein Gegengewicht von Rest of World am 30. September: Chinas inländische Hubs für offene Modelle skalieren stark. Alibabas ModelScope, 2022 gestartet, hostet heute mehr als 170.000 Modelle. OSChinas MoArk, 2023 gestartet, bedient etwa 20.000.

OSChina-CEO Xu Yong sagte der Publikation, nicht jeder könne ständig ein VPN nutzen. Er sagte, China entwickle in der KI schneller ein unabhängiges Ökosystem als in der Internet-Ära. Rest of World berichtet außerdem, dass Nvidia im September angekündigt habe, Hugging Face für 12,9 Milliarden US-Dollar zu übernehmen. Souveräne Stacks bedeuten souveränes Fine-Tuning, und diese Arbeit wird nicht mit denselben Werkzeugen geschehen wie bei allen anderen.

Die Veröffentlichungen der Woche teilen eine Prämisse: Höre auf zu trainieren, wenn du stattdessen routen, komprimieren oder verifizieren kannst. Ob das für die Workloads gilt, die wirklich neue Gewichte brauchen, ist die Frage, die keine dieser Ankündigungen beantwortet hat.

Kommentare 0

Quellen

15
  1. 01Introducing Forge: the open source pipeline for generating SDKs, CLIs, docs, and moreEN
  2. 02NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular PredictionEN
  3. 03Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  4. 04Release OpenZL v0.3.0EN
  5. 05Open source tool distills Jev so you can run it locallyEN
  6. 06OpenAPPA: Deterministic guardrails that don't break agentsEN
  7. 07UAI: An open protocol for identity and accountability of AI agentsEN
  8. 08US trade regulator opens investigation into AI giants including Anthropic and OpenAIEN
  9. 09OpenAI delays IPO over AI safety concernsEN
  10. 10OpenClaw Enterprise - The Open Agent PlatformEN
  11. 11Inspect: An open-source framework for large language model evaluationsEN
  12. 12OpenAI after DevDay 2026: known issues for serious development workEN
  13. 13OpenAI Is Paying Me to Move My Business to AnthropicEN
  14. 14Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
  15. 15The open-source AI platforms vying to become China's Hugging FaceEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.