Jeff-Code setzt ein 0,8B-Modell in die Schleife und beschleunigt einen 27B-Coder um 47%

Am 5. Oktober ging die GitHub-Seite des Projekts mit einer eng gefassten Behauptung online. Jeff-Code betreibt ein Entscheidungsmodell mit 800.000.000 Parametern namens Jeff innerhalb der Agentenschleife von Pi, dem Coding-Agenten von Mario Zechner und Mitwirkenden. Jeff trifft rund um jeden Qwen-Durchlauf zwei schnelle Entscheidungen, jede dauert etwa 0,2 Sekunden. Soll der nächste Schritt selbst ausgeführt werden, und muss Qwen in diesem Durchlauf intensiv nachdenken.

Über 1.242 gepaarte Aufgaben lag die Pass-Rate bei Jeff-Code bei 62,4% gegenüber 62,8% für Qwen 3.8-27B allein, also bei 27.000.000.000 Parametern. Die gepaarte Differenz beträgt minus 0,2 Punkte, mit einem 95%-Intervall von minus 2,6 bis plus 2,1. Die durchschnittliche Zeit pro Aufgabe sank auf das 0,68-fache, Intervall 0,64 bis 0,72, der Median lag bei 0,70-fach. Daher stammt die Zahl von 47%: 32% weniger Zeit im Mittel.

So sieht On-Device-KI aus, die im Jahr 2.026 tatsächlich ausgeliefert wird. Das kleine Modell schreibt den Code nicht, und niemand behauptet das. Es entscheidet, was übersprungen wird.

Dasselbe Muster zeigt sich bei Liquid AIs d1, einem Entscheidungsmodell, das Wahrscheinlichkeiten zurückgibt statt Token zu erzeugen, und bei Reika, einem Coding-Agent-CLI, das um Modelle mit 8.000.000.000 bis 35.000.000.000 Parametern bei Q2 bis Q4 auf einem Fenster von 16 bis 32.000 Token herum gebaut ist. Für Nutzer verschiebt sich die praktische Frage: nicht mehr, ob ein kleines Modell klug genug ist, sondern ob es billig genug ist, um dauerhaft zu laufen. Weder Jeff-Code noch Liquid haben gesagt, wie sich diese Systeme auf Hardware verhalten, die langsamer ist als eine Workstation-GPU.

Was das Harness beheben kann und was nicht

Die Dokumentation von Reika argumentiert mit Messungen statt mit Adjektiven. Das Projekt berichtet, dass ein Rewrite mitten im Kontext 8.453 Token Prompt erneut verarbeitete, was 7,9 Minuten Prefill kostete, während ein Anhängen in derselben Sitzung 25 Token und 3,5 Sekunden kostete. Es fand außerdem, dass die Formulierung des Prompts der schwächste Hebel war. Bei einer vagen Aufgabe unter Q2 konvergiert oder verläuft sich ein Modell etwa 50/50, und das Harness kann diese Rate nicht verschieben. Es kann nur ändern, was die scheiternde Hälfte kostet.

Die Testergebnisse sind mit Absicht wenig schmeichelhaft. Die Seite sagt, Modelle mit 14.000.000.000 bis 35.000.000.000 Parametern bewältigten Multi-File-Aufgaben am zuverlässigsten, Modelle mit 8.000.000.000 bis 9.000.000.000 Parametern schafften einfache, gut abgegrenzte Aufgaben, und alles unter 7.000.000.000 Parametern kam selten weit. Die Demo im Vordergrund läuft mit Qwen3.6 35B unter Unsloth UD-IQ2_M über llama.cpp, dreimal beschleunigt, und der erste Test des Modells scheitert, bevor es ihn aus dem Fehler heraus repariert. Reika ist Pre-1.0, Befehle und Verhalten können sich zwischen Releases noch ändern.

Jeff-Codes Zahlen zeigen dieselbe Ehrlichkeit dort, wo die Gewinne enden. Die gesamte Wall-Clock-Zeit über alle Aufgaben zusammen sinkt weniger als die Zeit pro Aufgabe, auf das 0,86-fache mit einem Intervall von 0,80 bis 0,93, weil Jeff-Code bei etwa 5% der Aufgaben mehr als 30 Minuten länger läuft als Qwen allein. Auch die Aufteilung nach Benchmark ist ungleich: 0,63-fach bei SWE-bench Verified und 0,64-fach bei Terminal-Bench Pro, aber keine klare Beschleunigung bei Terminal-Bench 2.0 mit 0,96-fach oder SkillsBench mit 0,91-fach.

Dann der Teil, der jeden betrifft, der den Trick kopieren möchte. Läuft man jeden Durchlauf ohne Nachdenken, ist es noch schneller und kostet 7,6 Punkte, Intervall minus 10,6 bis minus 4,5, mit einem Rückgang von 13,5 Punkten bei Terminal-Bench 2.0. Ein weniger vorsichtiger Jeff, dessen Schwelle von 0,6 auf 0,7 angehoben wurde, verliert 4,5 Punkte. In der so durchgeführten Evaluation liefen etwa drei Viertel von Qwens Durchläufen ohne Nachdenken. Das kleine Modell fügt keine Intelligenz hinzu. Es entscheidet, wann Intelligenz nötig ist.

Entscheidungsmodelle wandern vom Text zu Bildern

Liquid AI ging am 5. Oktober mit derselben Idee in eine andere Richtung und kündigte d1 an, das es als sein erstes Entscheidungsmodell bezeichnet und als erstes, das neben Text auch Bilder verarbeitet. Ein d1-Aufruf liest seine Eingabe in einem einzigen Vorwärtsdurchlauf und gibt Wahrscheinlichkeiten pro Antwort zurück, ohne Token zu erzeugen; eine Textentscheidung dauert 200 bis 300 Millisekunden. Das Unternehmen sagt, d1 erreiche oder übertreffe GPT-6.1 Sol bei vier von sechs Testanwendungen und koste 19-fach bis 200-fach weniger als sowohl dieses Modell als auch Claude Opus 5.5, und antworte bei jeder Aufgabe schneller.

Das Interessanteste ist, dass das Modell nie dafür trainiert wurde. Dank seiner hervorragenden Generalisierbarkeit versteht es die Aufgabe aus einer kurzen Beschreibung.

Diese Zeile stammt aus Liquids eigenem Beitrag, über eine Demo zur visuellen Inspektion, gebaut auf dem öffentlichen VisA-Datensatz mit Leiterplatten, Kerzen, Cashewkernen und Kaugummi, wo d1 gute und defekte Teile mit 85% bis 97% Genauigkeit sortiert. Die eigene Rahmung des Unternehmens ist der interessante Punkt: ein kleines spezialisiertes Modell, das auf eine Aufgabe generalisiert, die es nie gesehen hat, aus einem Satz Beschreibung heraus, statt aus einem Prompt und einem Kontextfenster.

Eine von Liquids Demos trifft direkt das Problem der Coding-Agenten. Sie heißt Context Compaction und lässt d1 jede Tool-Ausgabe in einer Agentensitzung lesen und behalten, kürzen oder verwerfen, wobei 52% der Token entfernt werden und jede Ausgabe erhalten bleibt, die die Aufgabe braucht. Liquid sagt, es habe vier der sechs Textanwendungen aus Open-Source-Projekten übernommen. Die Benchmark-Tabelle ist die des Unternehmens selbst, und d1s Rivale Jev erscheint nur als Name: Liquid sagt, ein eine Woche früher veröffentlichter experimenteller Release habe d1 zum ersten Modell gemacht, das Jev bei Textentscheidungen Konkurrenz macht, nennt aber keine Jev-Zahlen.

Sean Goedeckes Beitrag vom 5. Oktober erklärt, warum ein Modell wie Jev oder d1 leicht zu ersetzen ist, sobald es funktioniert. Weil man es für eine bestimmte Aufgabe promptet, kann man seine Ein- und Ausgaben protokollieren und darauf einen eigenen Klassifikator trainieren. Das handgebaute Modell wird billiger und schneller sein, da es kein Wissen über fremde Aufgaben mitbringt. Goedeckes Punkt ist nicht, dass kleine Entscheidungsmodelle schwach sind. Er ist, dass sie ein Zwischenschritt sind, und ein billiger, um ein Feature zu validieren, bevor jemand ML-Expertise einstellt.

Der Stack kleiner Modelle füllt sich um sie herum

Andere Releases in denselben 24 Stunden zeigen, wie weit sich das Werkzeug um kleine lokale Modelle bewegt hat. Interfaze 1.1 Lite, am 5. Oktober auf Hugging Face veröffentlicht, ist ein Modell mit gemischten Architekturen, das auf einer einzigen 80 GB GPU ohne externe Dienste läuft. Ein Vision-Language-Kern leitet Arbeit an Spezialisten für Dokumente, Sprache, Objekterkennung und Sicherheitsprüfungen weiter, und es hält einen Kontext von 131.000 Token. Die eigene Tabelle führt es mit 73,2 bei MMMU-Pro gegen 71,1 für Interfaze und 40,4 für GPT-5.4-Mini, und mit 83,8 bei olmOCR-Bench gegen 85,7 für Interfaze, das kleine Modell verliert also gegen seinen eigenen größeren Vorgänger bei einem Dokument-Benchmark und gewinnt beim multimodalen Schlussfolgern.

Metagente, am 5. Oktober auf GitHub veröffentlicht, setzt auf die Gegenwette: ein einzelnes Rust-Binary und eine kurze deklarative Agentendatei statt eines Python-Frameworks. Es spricht MCP und A2A nativ, und sein Ansatz ist, dass jeder Agent erklärt, welche Ordner, Umgebungsvariablen und andere Agenten er verwenden darf. Dieses Berechtigungsmodell ist der Teil, den man im Blick behalten sollte, wenn man Agenten auf der eigenen Maschine laufen lässt, wo der Fehlerfall nicht eine schlechte Antwort ist, sondern eine schlechte Dateioperation.

Auch die akademische Seite ist nicht geklärt. Eine Studie der UC Riverside, veröffentlicht am 23. September, fand, dass Zuversicht und Korrektheit in großen Sprachmodellen aus unterschiedlichen internen Merkmalen entstehen. Das Team untersuchte Metas Llama-3.1-8B und Googles Gemma-2-9B mit spärlichen Autoencodern und fand, dass die Unterdrückung von Merkmalen, die rein an Unsicherheit gebunden sind, die Genauigkeit stark senkte, während die Unterdrückung der meisten Merkmale, die an falsche Antworten gebunden sind, dies nicht tat.

Het Patel, Doktorand der Informatik an der UCR und Erstautor, setzte den Befund gegen die Standardannahme des Feldes: "Die Hauptannahme im Feld ist, dass ein Modell, wenn es zuversichtlich ist, wahrscheinlich korrekt liegt, und wenn es unsicher ist, eher falsch liegt." Der nützliche Teil ist, dass die Forscher das Verhalten änderten, indem sie interne Merkmale herunterdrehten statt neu zu trainieren, und das ist dieselbe Ökonomie, der Jeff-Code und d1 nachjagen.

Was die Zahlen nicht klären

Das Argument für kleine Modelle auf dem Gerät ruht auf drei Behauptungen, die die Releases vom 5. Oktober ungleichmäßig stützen. Bei den Kosten sind Liquids Abstand von 19-fach bis 200-fach und Jeff-Codes 0,68-fache Zeit pro Aufgabe beide selbst berichtet, gemessen gegen Baselines, die die Unternehmen gewählt haben. Bei der Fähigkeit sagt Reika ausdrücklich, dass sein Harness ein kleines Modell weniger frustrierend macht statt klüger, und Jeff-Codes Pass-Rate ist gleichbleibend, nicht besser. Beim Vertrauen sagt die UCR-Arbeit, dass die eigene Zuversicht eines Modells ein schlechter Wegweiser ist, was mehr zählt, wenn das Modell entscheidet, was übersprungen wird, als wenn ein Mensch seine Antwort liest.

Reflections Beam, am 5. Oktober angekündigt, zeigt das Gegengewicht. Sein spärliches Modell mit 501.000.000.000 Parametern, davon 23.000.000.000 aktive, erreicht 80,1 bei Terminal Bench v2.1, wo Kimi K3 mit 88,3 und DeepSeek V4.1 Flash mit 90,6 punkten. Reflection sagt, Beam erreiche GLM-5.2 beim fortgeschrittenen Schlussfolgern, während es 3- bis 4-mal weniger Inferenz-Rechenleistung verbraucht. Die Gewichte, der technische Bericht und die Modellkarte sollen später in diesem Monat folgen, und das Modell ist noch im Red-Teaming.

Die Frontier steht also nicht still, und die Geschichte der kleinen Modelle ist kein Rennen, das sie gewinnt. Sie ist eine andere Wette: dass die meiste Agentenarbeit Routing, Lesen und Entscheiden ist, und dass ein Modell mit 800.000.000 Parametern, das diese Schritte übernimmt, während ein größeres nachdenkt, mehr wert ist als ein größeres, das alles tut. Die Evaluation hinter Jeff-Code stützt diese Wette bei der Geschwindigkeit und lässt sie bei der Qualität unbewiesen. Nichts darin zeigt, dass die Paarung Qwen allein schlägt. Sie zeigt, dass sie mithält und dabei weniger ausgibt.

Was niemand veröffentlicht hat, ist die Zahl, die Käufer am meisten wollen: die Kosten, die Paarung auf Hardware zu betreiben, die ein normales Team besitzt. Jeff-Code lief auf demselben Qwen-Server in gepaarten Blöcken. Liquid nennt Kosten pro Entscheidung gegen zwei gehostete Modelle. Reikas Zahlen sind Prefill-Zeiten auf einem lokalen llama.cpp-Setup, was wenigstens den Overhead des Harness sichtbar macht. Solange diese Zahlen nicht vergleichbar sind, lautet die ehrliche Zusammenfassung des 5. Oktober, dass kleine Modelle billig genug geworden sind, um in der Schleife zu sitzen, und die Debatte darüber, ob sie dorthin gehören, gerade erst beginnt.