Kleine Modelle gehen lokal: Neue Tools und 501B offene Gewichte formen die On-Device-KI

Reflection stellte am 5. Oktober Beam vor, sein erstes Modell mit offenen Gewichten.

Die spärliche Mixture-of-Experts-Architektur umfasst 501.000.000.000 Gesamtparameter, von denen 23.000.000.000 aktiv sind. Sie ist für Coding, Reasoning und agentische Workloads konzipiert. Laut Unternehmensblog wurde Beam auf 23.800.000.000.000 Tokens vorab trainiert. Der Reinforcement-Learning-Lauf mit hohem Rechenaufwand generierte über 100.000.000 Rollouts auf 10.500 NVIDIA GB300 GPUs in vier Wochen.

Der Fall für lokale Inferenz

Beam zielt auf Inferenzeffizienz ab, nicht auf rohe Größe.

Das Unternehmen behauptet, Scores vergleichbar mit GLM-5.2 zu erreichen, während es 3 bis 4 Mal weniger Inferenz-Rechenleistung verbraucht. Bei Coding-Aufgaben nähert es sich Qwen 3.8-Max an. Wo Frontier-Modelle wie Kimi K3 in der rohen Leistung noch vorne liegen, liegt der Vorteil von Beam in der Kosten pro Token. Die Gewichte sind noch nicht öffentlich; sie durchlaufen das finale Red-Teaming. Reflection wird die Gewichte, den technischen Bericht und die Modellkarte später diesen Monat veröffentlichen.

Diese Veröffentlichung erfolgt, während eine Welle von Tools entsteht, die wirklich kleine Modelle, die im Bereich von 8B bis 35B laufen, für die tägliche Entwicklung praktikabel machen. Der Trend dreht sich nicht nur um Geldersparnis. Es geht um Latenz, Datenschutz und das Ausführen von Agenten auf Hardware, die man besitzt.

Tools, die die Erfahrung mit kleinen Modellen verbessern

Reika ist ein Coding-Agent-CLI, das um kleine lokale Modelle herum entwickelt wurde. Es zielt auf 8B bis 35B Modelle ab, oft quantisiert auf Q2 bis Q4, mit 16.000 bis 32.000 Token-Kontextfenstern. Das README, veröffentlicht am 5. Oktober, stellt fest, dass das Harness sorgfältig mit dem Kontext umgeht und eleganter scheitert. Es sagt, wenn es feststeckt. Das Projekt ist pre-1.0, daher können Befehle und Einstellungen noch ändern. In Tests behandelten 14B bis 35B Modelle Multi-Datei-Aufgaben am zuverlässigsten. 8B bis 9B Modelle bewältigten einfache, klar abgegrenzte Aufgaben. Unter 7B kam man selten weit.

Die Entwickler veröffentlichten ihre Erkenntnisse in docs/findings.md.

Ein Mid-Kontext-Rewrite verarbeitete 8.453 Tokens des Prompts und kostete 7,9 Minuten Prefill. Ein Anhängen in derselben Sitzung kostete 25 Tokens und 3,5 Sekunden. Die eigene Kontextverwaltung des Harness kostete mehr als das Modell. Sie stellten auch fest, dass die Wortwahl des Prompts der schwächste Hebel ist. Bei einer vagen Aufgabe auf Q2 konvergiert oder spiralt ein Modell etwa 50/50, und das Harness kann diese Rate nicht bewegen. Es kann nur die Kosten der fehlschlagenden Hälfte reduzieren.

Jeff-Code verfolgt einen anderen Ansatz. Es ist ein Fork von Pi, dem Coding-Agenten von Mario Zechner. Es setzt Jeff, ein 0,8B Entscheidungsmodell, in die Agenten-Schleife. Um jede Qwen-Runde herum trifft Jeff zwei schnelle Entscheidungen von jeweils etwa 0,2 Sekunden. Es entscheidet, ob es den nächsten Schritt selbst machen kann, wie das Lesen einer Datei oder das Ausführen von Tests. Das Schreiben und Bearbeiten von Dateien bleibt immer beim größeren Modell. Es entscheidet auch, ob Qwen hart nachdenken muss. Das Denken bleibt aus, es sei denn, Jeffs Wahrscheinlichkeit, dass die Runde volles Denken benötigt, erreicht 0,6. In der Auswertung liefen etwa drei Viertel der Qwen-Runden mit ausgeschaltetem Denken.

Die Ergebnisse sind spezifisch. Bei gepaarten Aufgaben erreichte Jeff-Code eine Passrate von 62,4 % gegenüber 62,8 % für Qwen 3.8-27B allein. Der gepaarte Unterschied betrug minus 0,2 Punkte, mit einem 95 %-Intervall von minus 2,6 bis plus 2,1. Die Zeit pro Aufgabe fiel auf das 0,68-fache der Baseline. Die Gesamtzeit für alle Aufgaben zusammen betrug das 0,86-fache. Das ist eine 47 % Beschleunigung, oder 32 % weniger Zeit, bei derselben Passrate. Die Beschleunigung ist auf Terminal-Bench 2.0 weniger klar, wo das Verhältnis 0,96 betrug.

Entscheidungsmodelle und die neue Architektur

Liquid AI stellte d1 vor, sein erstes Entscheidungsmodell, das nun Text und Bilder unterstützt.

Ein Entscheidungsmodell beantwortet Fragen zu einer Situation mit einer Wahrscheinlichkeit für jede mögliche Antwort. Es nimmt unstrukturierte Daten und eine oder mehrere Fragen als Eingabe, liest sie in einem Vorwärtspass und gibt Wahrscheinlichkeiten zurück, ohne Tokens zu generieren. Eine Textentscheidung dauert 200 bis 300 Millisekunden. Liquid AI testete d1 gegen GPT-6.1 Sol und Claude Opus 5.5 auf sechs realen Anwendungen. d1 erreicht oder übertrifft GPT-6.1 Sol bei vier davon. Es kostet 19 bis 200 Mal weniger als beide Modelle und antwortet bei jeder Aufgabe deutlich schneller.

Sean Goedecke, der über das System One Modell Jev schrieb, argumentiert, dass diese Modelle ihre eigenen Ersatzteile trainieren können. Sobald man zufrieden damit ist, wie ein Jev-Klassifizierer arbeitet, kann man seine Eingabe- und Ausgabedaten sammeln. Man kann dann einen spezifischen, handgefertigten Klassifizierer auf diesen Daten trainieren. Es wird kein allgemeiner Klassifizierer sein, aber er sollte bei der spezifischen Aufgabe gut funktionieren und viel schneller sein. Dieses Muster, das Destillieren eines allgemeinen System One Modells in einen spezialisierten Klassifizierer, wird wahrscheinlich üblich werden.

Interfaze AI veröffentlichte Interfaze 1 Lite, ein Mixture-of-Architectures-Modell für Entwickler-Workloads. Es ist kein einzelnes Netzwerk. Es ist ein Reasoning-Kern plus Spezialisten, jeweils für die Aufgabe ausgewählt, die sie am besten beherrschen. Das ganze Modell läuft auf einer 80 GB GPU ohne externe Dienste. Es verarbeitet Dokumentenverständnis, Sprechtranskription, visuelles Grounding und strukturierte Ausgabe. Eine 95-minütige Aufnahme wird in etwa 90 Sekunden transkribiert. Es unterstützt 14 Sprachen für mehrsprachiges Reasoning mit einem 131.000-Token-Kontext. Es erzielt 83,8 auf olmOCR-Bench und 81,5 auf dem Structured Output Benchmark.

On-Device-Inferenz und Datenschutz

Der Drang nach lokalen Modellen dreht sich nicht nur um Leistung. Es geht darum, dass Daten auf dem Gerät bleiben.

Dictate ist eine Sprachnotiz-App für iPhone und Apple Watch, die vollständig auf dem Gerät läuft. Es verwendet Parakeet, ein offenes Sprachmodell, um 25 europäische Sprachen zu transkribieren. Apple Intelligence erstellt eine Lesefassung auf dem iPhone, entfernt Füllwörter und löst gesprochene Korrekturen auf. Die Audio-Datei verlässt das Telefon nie. Es gibt keinen Server, kein Konto und keine Analysen. Der einzige Ort, an den ein Transkript gehen kann, ist ein benutzerdefinierter Webhook, falls aktiviert.

JeffyClassify bietet Textklassifizierer in 51 Sprachen, die auf einer CPU laufen. Die mehrsprachigen Klassifizierer verwenden einen mehrsprachigen Satzencoder. Jeder Klassifizierer ist etwa 100 KB groß. Der Encoder wird geteilt. Sie wurden auf Amazon MASSIVE in 22 Minuten auf einer CPU trainiert. Es gibt auch spezialisierte Klassifizierer für Aufgaben wie SMS-Spam-Erkennung, die eine Genauigkeit von 99,1 % erreicht, und Echtzeit-Doom-Spielstand-Klassifizierung mit logistischer Regression ohne neuronales Netzwerk oder GPU.

Hintergrund und Kontext

Diese Entwicklungen passen in einen breiteren Wandel. Das Python Language Summit 2026 diskutierte Rust für CPython, ein Projekt, das darauf abzielt, Leistung und Sicherheit zu verbessern. David Hewitt, der als Botschafter für das Projekt fungierte, stellte fest, dass die Anzahl der Typ-Crash-Probleme in CPython stetig gestiegen ist. Rust könnte helfen, diese zu mildern. Der Vorschlag ist, Python-Distributoren zu bitten, optionalen Rust-Unterstützung in Python 3.16 zu versuchen, erwartet im Oktober 2027. Diese technische Infrastrukturarbeit unterstützt das Ökosystem, auf das kleine Modelle angewiesen sind.

Mittlerweile stellte eine Studie der UC Riverside unter der Leitung von Het Patel fest, dass Konfidenz und Korrektheit in großen Sprachmodellen aus verschiedenen internen Merkmalen entstehen. Dies hinterfragt die Annahme, dass die Konfidenz eines Modells ein zuverlässiger Indikator für Genauigkeit ist. Indem Forscher diese Merkmale identifizieren, können sie Modelle so anpassen, dass sie vorsichtiger sind, wenn sie wahrscheinlich falsch liegen. Dies ist ein Schritt hin zu verlässlicheren kleinen, lokalen Modellen in Entscheidungsrollen.

Die Open-Source-Community reagiert auch auf neue Videomodelle. MiniMax veröffentlichte die Modellgewichte von H3 am 3. August. Drei Tage später erreichte es die Spitze der Trendliste von Hugging Face. Obwohl H3 ein Videomodell ist, hob seine Veröffentlichung den Wert offener Gewichte im KI-Ökosystem hervor. Entwickler können das Modell herunterladen, bereitstellen, quantisieren und ändern. Dieser Geist des offenen Zugangs macht die aktuelle Welle kleiner, lokaler und On-Device-Modelle möglich.

Für Entwickler ist die Wahl klar. Wenn man Frontier-Leistung benötigt, verwendet man die großen, gehosteten Modelle. Wenn man Geschwindigkeit, Datenschutz oder Kostenkontrolle benötigt, verwendet man die kleinen, lokalen. Die Tools, die die zweite Option praktikabel machen, kommen endlich an.