Kleine Modelle werden lokal: neue Tools und 501.000.000.000B offene Gewichte verändern KI auf dem Gerät

Reflection hat am 5. Oktober Beam vorgestellt, das erste Modell des Unternehmens mit offenen Gewichten.

Die sparse Mixture-of-Experts-Architektur hat 501.000.000.000 Parameter insgesamt, davon 23.000.000.000 aktive. Sie ist für Programmierung, Schlussfolgern und agentische Arbeitslasten gebaut. Laut dem Blog des Unternehmens wurde Beam auf 23.800.000.000.000 Tokens vorab trainiert. Der Reinforcement-Learning-Lauf mit hohem Rechenaufwand erzeugte über 100.000.000 Rollouts auf 10.500 NVIDIA GB300 GPUs in vier Wochen.

Das Argument für lokale Inferenz

Beam zielt auf Effizienz bei der Inferenz, nicht auf reine Größe.

Das Unternehmen gibt an, Ergebnisse zu erreichen, die mit GLM-5.2 vergleichbar sind, bei 3- bis 4-mal weniger Inferenz-Rechenleistung. Bei Programmieraufgaben kommt es an Qwen 3.8-Max heran. Wo Frontier-Modelle wie Kimi K3 bei der reinen Fähigkeit vorn bleiben, liegt Beams Vorteil bei den Kosten pro Token. Die Gewichte sind noch nicht öffentlich, sie durchlaufen derzeit das abschließende Red-Teaming. Reflection will die Gewichte, den technischen Bericht und die Modellkarte später in diesem Monat veröffentlichen.

Die Veröffentlichung fällt in eine Zeit, in der eine Welle von Tools entsteht, die wirklich kleine Modelle im Bereich von 8B bis 35B für die tägliche Entwicklung praktisch machen. Bei diesem Trend geht es nicht nur ums Sparen. Es geht um Latenz, Datenschutz und darum, Agenten auf Hardware laufen zu lassen, die man selbst besitzt.

Tools, die das Erlebnis mit kleinen Modellen verbessern

Reika ist ein Coding-Agent-CLI, das von Anfang an um kleine lokale Modelle herum gebaut wurde. Es zielt auf Modelle von 8B bis 35B, oft quantisiert auf Q2 bis Q4, bei Kontextfenstern von 16.000 bis 32.000 Tokens. Das am 5. Oktober veröffentlichte README merkt an, dass der Harness sorgsam mit Kontext umgeht und kontrollierter scheitert. Er sagt, wenn er feststeckt. Das Projekt ist Pre-1.0, Befehle und Einstellungen können sich also noch ändern. Im Test bewältigten Modelle von 14.000.000.000 bis 35.000.000.000 Parametern Aufgaben über mehrere Dateien am zuverlässigsten. Modelle mit 8.000.000.000 bis 9.000.000.000 Parametern schafften einfache, klar umrissene Aufgaben. Unter 7.000.000.000 Parametern kamen sie selten weit.

Die Entwickler veröffentlichten ihre Ergebnisse in docs/findings.md.

Ein Rewrite mitten im Kontext verarbeitete 8.453 Tokens Prompt neu und kostete 7,9 Minuten Prefill. Ein Anhängen in derselben Sitzung kostete 25 Tokens und 3,5 Sekunden. Die Kontextverwaltung des Harness kostete mehr als das Modell selbst. Außerdem stellten sie fest, dass die Formulierung des Prompts der schwächste Hebel ist. Bei einer vagen Aufgabe unter Q2 konvergiert oder verliert sich ein Modell etwa im Verhältnis 50 zu 50, und der Harness kann diese Rate nicht verschieben. Er kann nur die Kosten der scheiternden Hälfte senken.

Jeff-Code geht anders vor. Es ist ein Fork von Pi, dem Coding-Agenten von Mario Zechner. Es setzt Jeff, ein Entscheidungsmodell mit 800.000.000 Parametern, in die Agentenschleife. Um jede Qwen-Runde trifft Jeff zwei schnelle Entscheidungen von je etwa 0,2 Sekunden. Es entscheidet, ob es den nächsten Schritt selbst übernehmen kann, etwa eine Datei lesen oder Tests ausführen. Schreiben und Bearbeiten von Dateien bleibt immer beim größeren Modell. Es entscheidet außerdem, ob Qwen hart nachdenken muss. Das Denken bleibt aus, solange Jeffs Wahrscheinlichkeit, dass die Runde volles Denken braucht, nicht 0,6 erreicht. In der Auswertung liefen etwa drei Viertel von Qwens Runden ohne Denken.

Die Ergebnisse sind konkret. Bei gepaarten Aufgaben erreichte Jeff-Code eine Erfolgsquote von 62,4 Prozent gegenüber 62,8 Prozent für Qwen 3.8-27B allein. Die gepaarte Differenz lag bei minus 0,2 Punkten, mit einem 95-Prozent-Intervall von minus 2,6 bis plus 2,1. Die Zeit pro Aufgabe sank auf das 0,68-Fache der Baseline. Die Gesamtzeit aller Aufgaben zusammen betrug das 0,86-Fache. Das ist eine Beschleunigung um 47 Prozent oder 32 Prozent weniger Zeit bei gleicher Erfolgsquote. Bei Terminal-Bench 2.0 ist die Beschleunigung weniger klar, dort lag das Verhältnis bei 0,96.

Entscheidungsmodelle und die neue Architektur

Liquid AI stellte d1 vor, das erste Entscheidungsmodell des Unternehmens, das jetzt Text und Bilder unterstützt.

Ein Entscheidungsmodell beantwortet Fragen zu einer Situation mit einer Wahrscheinlichkeit für jede mögliche Antwort. Es nimmt unstrukturierte Daten und eine oder mehrere Fragen als Eingabe, liest sie in einem einzigen Vorwärtsdurchlauf und gibt Wahrscheinlichkeiten zurück, ohne Tokens zu erzeugen. Eine Textentscheidung dauert 200 bis 300 Millisekunden. Liquid AI testete d1 gegen GPT-6.1 Sol und Claude Opus 5.5 an sechs realen Anwendungen. Bei vier davon erreicht oder übertrifft d1 GPT-6.1 Sol. Es kostet 19- bis 200-mal weniger als beide Modelle und antwortet bei jeder Aufgabe deutlich schneller.

Sean Goedecke, der über das System-One-Modell Jev schrieb, argumentiert, dass solche Modelle ihre eigenen Nachfolger trainieren können. Wenn man mit der Leistung eines Jev-Klassifikators zufrieden ist, kann man seine Eingabe- und Ausgabedaten sammeln. Dann lässt sich auf diesen Daten ein spezifischer, handgebauter Klassifikator trainieren. Er wird kein allgemeiner Klassifikator sein, aber er sollte die spezifische Aufgabe gut erledigen und viel schneller sein. Dieses Muster, ein allgemeines System-One-Modell in einen spezialisierten Klassifikator zu destillieren, dürfte üblich werden.

Interfaze AI veröffentlichte Interfaze 1 Lite, ein Modell mit gemischten Architekturen für Entwickler-Arbeitslasten. Es ist kein einzelnes Netz. Es besteht aus einem Schlussfolgerungskern plus Spezialisten, jeder für die Aufgabe gewählt, die er am besten kann. Das ganze Modell läuft auf einer einzigen 80-GB-GPU ohne externe Dienste. Es verarbeitet Dokumentverständnis, Sprachtranskription, visuelle Verankerung und strukturierte Ausgabe. Eine 95-minütige Aufnahme wird in etwa 90 Sekunden transkribiert. Es unterstützt 14 Sprachen für mehrsprachiges Schlussfolgern mit einem Kontext von 131.000 Tokens. Es erreicht 83,8 auf olmOCR-Bench und 81,5 auf dem Structured Output Benchmark.

Inferenz auf dem Gerät und Datenschutz

Der Antrieb zu lokalen Modellen kommt nicht nur von der Leistung. Es geht darum, dass Daten auf dem Gerät bleiben.

Dictate ist eine Sprachaufnahme-App für iPhone und Apple Watch, die vollständig auf dem Gerät läuft. Sie nutzt Parakeet, ein offenes Sprachmodell, um 25 europäische Sprachen zu transkribieren. Apple Intelligence erstellt auf dem iPhone eine Lesefassung, die Füllwörter entfernt und gesprochene Korrekturen auflöst. Das Audio verlässt nie das Telefon. Es gibt keinen Server, kein Konto und keine Analyse. Der einzige Ort, an den ein Transkript gehen kann, ist ein vom Nutzer definierter Webhook, sofern aktiviert.

JeffyClassify bietet Textklassifikatoren in 51 Sprachen, die auf einer CPU laufen. Die mehrsprachigen Klassifikatoren nutzen einen mehrsprachigen Satz-Encoder. Jeder Klassifikator ist etwa 100 KB groß. Der Encoder wird geteilt. Sie wurden auf Amazon MASSIVE in 22 Minuten auf einer CPU trainiert. Es gibt außerdem spezialisierte Klassifikatoren für Aufgaben wie SMS-Spam-Erkennung mit 99,1 Prozent Genauigkeit und Echtzeit-Klassifikation von Doom-Gameplay per logistischer Regression, ohne neuronales Netz oder GPU.

Hintergrund und Kontext

Diese Entwicklungen passen zu einer breiteren Verschiebung. Der Python Language Summit 2026 diskutierte Rust für CPython, ein Projekt zur Verbesserung von Leistung und Sicherheit. David Hewitt, der als Botschafter für das Projekt auftrat, merkte an, dass die Zahl der Typ-Crash-Probleme in CPython stetig steigt. Rust könnte helfen, diese zu mildern. Der Vorschlag lautet, Python-Distributoren zu bitten, optionale Rust-Unterstützung in Python 3.16 zu testen, das im Oktober 2027 erwartet wird. Diese Arbeit an der technischen Infrastruktur stützt das Ökosystem, auf das kleine Modelle angewiesen sind.

Unterdessen fand eine Studie der UC Riverside unter Leitung von Het Patel heraus, dass Zuversicht und Korrektheit in großen Sprachmodellen aus unterschiedlichen internen Merkmalen entstehen. Das stellt die Annahme infrage, dass die Zuversicht eines Modells ein verlässlicher Indikator für Genauigkeit ist. Indem die Forscher diese Merkmale identifizieren, können sie Modelle vorsichtiger einstellen, wenn sie wahrscheinlich falsch liegen. Das ist ein Schritt dahin, die kleinen lokalen Modelle in Entscheidungsrollen vertrauenswürdiger zu machen.

Die Open-Source-Gemeinschaft reagiert auch auf neue Videomodelle. MiniMax veröffentlichte am 3. August die Modellgewichte von H3. Drei Tage später erreichte es die Spitze der Trending-Liste von Hugging Face. H3 ist ein Videomodell, doch seine Veröffentlichung zeigte den Wert offener Gewichte im KI-Ökosystem. Entwickler können das Modell herunterladen, einsetzen, quantisieren und verändern. Dieser Geist des offenen Zugangs macht die aktuelle Welle kleiner, lokaler und auf dem Gerät laufender Modelle möglich.

Für Entwickler ist die Wahl klar. Wer Frontier-Fähigkeiten braucht, nutzt die großen gehosteten Modelle. Wer Geschwindigkeit, Datenschutz oder Kostenkontrolle braucht, nutzt die kleinen lokalen. Die Tools, die die zweite Option tragfähig machen, kommen endlich an.