Kleine Entscheidungsmodelle laufen auf dem Gerät: Liquid AI, PostHog und Qevi liefern Klassifikatoren
Liquid AI hat am 29. September die Dokumentation für d1 veröffentlicht, sein erstes Entscheidungsmodell. Am selben Tag brachte PostHog Jeeves heraus, einen Klassifikator im Jev-Stil mit 9.000.000.000 Parametern, und auf Hugging Face erschien eine Karte für Qevi-2B, einen Bildklassifikator mit 2.000.000.000 Parametern.

Drei kleine, auf eine Aufgabe zugeschnittene Modelle erschienen am 29. September innerhalb weniger Stunden. Alle drei folgen derselben Idee: keine Textgenerierung, Wahrscheinlichkeiten direkt aus einem Modell lesen und das Ganze auf Hardware laufen lassen, die man selbst kontrolliert.
Liquid AI beschreibt d1 auf seiner Dokumentationsseite als "eine neue Klasse von KI-Modellen, die für strukturierte Entscheidungen gebaut ist". Statt Token für Token zu erzeugen, heißt es dort, "bewertet ein Entscheidungsmodell eine Situation und liefert kalibrierte Wahrscheinlichkeiten über eine feste Menge von Ausgängen in einem einzigen Aufruf, mit null generierten Tokens". Das Beispiel der Firma zeigt usage.output_tokens: 0 für eine Anfrage zur Beschwerdeerkennung, die einen noul-Wert von 0.999 zurückgab.
Drei Fragetypen, kein generierter Text
Liquid teilt Entscheidungsfragen in drei Typen. Ein noul ist eine Ja-oder-Nein-Frage, die eine Wahrscheinlichkeit zwischen 0 und 1 zurückgibt, in der Dokumentation als "ein Boolean auf einer gleitenden Skala" beschrieben. Ein choice liefert eine Verteilung über benannte Optionen, etwa {"billing": 0.65, "technical": 0.30, "account": 0.05}. Ein score liefert eine wahrscheinlichkeitsgewichtete Position auf einer geordneten Skala, sodass eine Frage nach der Dringlichkeit in drei Stufen als 1.85 zwischen "Medium" und "High" zurückkommen kann.
Die Dokumentation stellt ausdrücklich klar, dass noul und score nicht austauschbar sind. Ein noul von 0.5 bedeutet maximale Unsicherheit zwischen Ja und Nein und "sagt nichts über Grad oder Intensität". Muss der Code gegen einen Schwellenwert auf einem Kontinuum prüfen, verweist die Dokumentation auf score. Geht es um ein Boolean, dann noul. Die API nimmt einen Zustand plus eine oder mehrere benannte Fragen und beantwortet alle in einem einzigen Aufruf. Client-Bibliotheken gibt es für Python (typesafe-sdk) und JavaScript (@typesafe-ai/sdk), die Schlüssel beginnen mit liquid_.
Liquids Seite ist Dokumentation, kein Benchmark-Papier, deshalb enthält sie keine Genauigkeitswerte für d1. Das ist wichtig, denn in derselben Woche erschienen zwei Modelle, die Zahlen veröffentlichen, und der Abstand zwischen ihnen ist aufschlussreich.
Jeeves ergänzt die Jev-Formel um Reasoning
PostHogs GitHub-Repository für Jeeves beschreibt das Modell als "einen klassifizierenden Reasoner im Jev-Stil mit Diffusion-Drafter, trainiert mit SFT und CISPO". Es ist ein Modell mit 9.000.000.000 Parametern auf Basis von Qwen3.5-9B mit LoRA und einem Pointer-Head, dazu ein Diffusion-Drafter mit Blockgröße 4 sowie der vollständige Trainingscode und die Daten. Das Repository behauptet, es schlage Kev-9B und Jev auf Testdaten, auf denen es nie trainiert wurde, mit 0.889 gegen 0.822 und 0.857, und auf JevBench in den öffentlichen Stufen mit 0.935 gegen 0.866 für Jev.
Das Repository veröffentlicht eine ausführlichere Tabelle, und die ist nicht durchweg schmeichelhaft. Jeeves erreicht 0.746 bei Transfer-Aufgaben zu MMLU-Pro und verstecktem Zustand, unter Jevs 0.800. Bei MMLU fällt es auf 0.793 gegen Jevs 0.900, bei MMLU-Pro mit zehn Optionen auf 0.739 gegen 0.840. Es gewinnt bei PAWS (0.875 gegen 0.788), bei zurückgehaltenen Regelstrukturen (1.000 gegen 0.885) und bei kontrastiven Policies (1.000 gegen 0.963). Fragen, die nicht beantwortbar sind, beantwortet es seltener mit p von 0.9 oder mehr als Jev, nämlich 0.055 gegen 0.090, wobei niedriger besser ist.
Das Repository merkt außerdem an, dass derselbe Checkpoint ohne Thinking 0.804 auf seinem Testsatz von 2.962 Beispielen erreicht, gegen 0.840 mit Thinking. Die Latenz ist der Preis: etwa 0.3 Sekunden pro Anfrage ohne Thinking und ein Median von 3.3 Sekunden mit Thinking, auf einer H100 bei fp8-Präzision. Auf einem M4 Pro denkt eine Frage mit ungefähr 20 Tokens pro Sekunde. Die Gewichte belegen in bf16 21 GB, die Standard-Caches kommen mit weiteren 28 GB hinzu, weshalb die README auf einem Mac mit 48 GB kleinere Cache-Einstellungen empfiehlt.
Ein Hinweis steht in der Tabelle selbst. Für Kev-9B ist kein JevBench-Ergebnis veröffentlicht, und die beiden mit Sternchen markierten Zeilen betreffen Kev-8B auf Qwen3. Ein Teil des Vergleichs läuft also gegen ein anderes Modell als die Spaltenüberschrift nahelegt.
Qevi-2B überträgt denselben Trick auf Bilder
Die Modellkarte von Qevi-2B auf Hugging Face beschreibt einen vollständigen Fine-Tune von Qwen3-VL-2B-Instruct, der typisierte, geschlossene Fragen zu Bildern beantwortet, "indem er die eigenen Logits des Modells liest, statt Text zu generieren". Auf die Frage, ob in einem Bild eine Leiter zu sehen ist, antwortet es mit P(Yes) = 0.97, nicht mit einem Satz. Die Karte sagt klar, dass es kein Chat-Modell ist, und warnt davor, dass .generate() aufzurufen und den Text zu parsen die veröffentlichten Zahlen nicht reproduziert, weil der Fine-Tune nicht auf diesem Weg lief.
Das Auslesen sind etwa 30 Zeilen gewöhnlicher transformers-Code ohne trust_remote_code. Gegen das Basis-Modell Qwen3-VL-2B-Instruct über denselben Auslesepfad steigt Qevi-2B bei der Genauigkeit im Anwendungsbereich von 0.855 auf 0.977 und auf 12 zurückgehaltenen Domänen von 0.745 auf 0.889. Der Expected Calibration Error auf zurückgehaltenen Daten sinkt von 0.160 auf 0.054. Die Karte nennt einen Geschwindigkeitsvorteil von etwa 21-mal, wenn man viele Fragen zu einem Bild stellt, weil eine blockdiagonale Attention-Maske mehreren Fragen eine gemeinsame Kodierung des Bildes erlaubt, bitgenau geprüft gegen die getrennte Abfrage.
Die Karte warnt vor der Temperatur-Skalierung, die frühere Versionen empfohlen hatten: bei T = 2.45 liegt der ECE auf zurückgehaltenen Daten bei 0.160, im Wesentlichen der Wert des Basis-Modells, und "der gesamte Kalibrierungsgewinn wird aufgehoben".
Es gibt eine zweite ehrliche Anmerkung. Der Trainingskorpus enthält nur noul- und choice-Fragen. Die Engine unterstützt score, und das Basis-Modell beantwortet solche Fragen zero-shot, aber der Fine-Tune hat nie eine gesehen. Die Karte hält deshalb fest, dass Genauigkeit und Kalibrierung für score nicht gemessen wurden und als ungetestet gelten müssen.
Warum das On-Device-Argument immer wieder auftaucht
Sebastian Raschkas Text vom 29. September zur Geschichte der Textklassifikation hilft hier, weil er einordnet, worauf diese Modelle eigentlich verzichten. Er merkt an, dass die neuesten GPT- und Open-Weight-Modelle dieselben Klassifikationsaufgaben wie Jev erledigen können und dabei viel allgemeiner sind, dass der Vorteil eines Modells im Jev-Stil aber Geschwindigkeit und Kosten sind. Am anderen Ende gilt: "Für ein enges, klar definiertes Problem wird Jev wahrscheinlich nichts besser, schneller oder billiger klassifizieren als ein spezialisierter Klassifikator." Der Reiz liegt in der Mitte: allgemeiner als ein aufgabenbezogenes Modell, billiger als ein Frontier-Modell.
Raschkas Artikel führt die Linie zurück auf Bag-of-Words-Darstellungen, die Naive Bayes, logistische Regression, SVMs und XGBoost speisten, und merkt an, der Gmail-Spamfilter sei angeblich ein Naive-Bayes-Modell über Bag-of-Words gewesen. Der Unterschied heute ist, dass der Klassifikator ein feinabgestimmtes Sprachmodell mit einem kalibrierten Wahrscheinlichkeitskopf ist, das sich als Gewichte ausliefern lässt, statt als Dienst aufgerufen zu werden.
Dort setzt das On-Device-Argument an. Jeeves läuft auf CUDA in bf16 oder fp8 und auch auf Apple Silicon über MPS, mit einem fp8-Build, der die Gewichte auf 11.5 GB verkleinert und den Thinking-Durchsatz auf einem M4 Pro von etwa 20 auf etwa 31 Tokens pro Sekunde hebt. Das Repository schreibt, Genauigkeit und NLL hätten sich bei Entwicklungsfragen nicht messbar verändert, und ein bereits quantisiertes PostHog/jeeves-fp8-Repository ist veröffentlicht, sodass der Download etwa halb so groß ist.
Qevi-2B ist noch kleiner, mit 2.000.000.000 Parametern, ein Umfang, der auf einen Laptop oder ein Telefon passt statt in ein Rack. Liquids Dokumentation beschreibt, dass das Modell Zustand und Fragen in einem Aufruf mit null Ausgabe-Tokens bewertet, und genau diese Eigenschaft macht die Kosten pro Anfrage vorhersagbar.
Die Messungen bleiben dünn
Nichts davon ist frei von Problemen. Die jüngste angrenzende Forschung, ein am 28. September eingereichtes arXiv-Papier von Cameron Berg und Caspar Kaiser, fand über sieben Open-Weight-Modelle aus fünf Familien hinweg, dass verborgene valenzbezogene Aktivierungsmuster spätere Entscheidungen vorhersagbar steuern, selbst wenn jedes sichtbare Token identisch ist. Die Autoren schreiben, ob diese Spuren von subjektiver Erfahrung begleitet werden, die für das Wohlergehen von Modellen relevant wäre, "bleibt unklar". Das erinnert daran, dass das Lesen des internen Zustands eines Modells inzwischen ein Entwurfsmuster ist, nicht nur eine Diagnose.
Der praktische Einwand kommt aus Microsofts Entwicklerblog vom 29. September, der argumentiert, öffentliche Benchmarks sagen wenig über die eigene Arbeitslast. Der Beitrag zitiert Goodharts Gesetz und weist darauf hin, dass SWE-bench-Aufgaben aus öffentlichen Repositories stammen, die Überschneidung mit Trainingsdaten also unvermeidlich ist und mit jeder Generation wächst. Ein Modell, das 92% auf SWE-bench erreicht, so der Beitrag, ist nachweislich gut darin, gut dokumentierte Probleme in populären Repositories zu lösen, und das sagt nichts über die eigene interne Bibliothek.
Dieselbe Logik gilt für Entscheidungsmodelle. Jeeves' eigene Tabelle zeigt, dass es bei MMLU und MMLU-Pro gegen Jev verliert und bei zurückgehaltenen Regelstrukturen gewinnt. Die Antwort auf die Frage, welches besser ist, hängt also ganz davon ab, aus welcher Verteilung die eigenen Tickets, Bilder oder Dokumente stammen. Liquid veröffentlicht für d1 überhaupt keine Genauigkeitswerte. Die Karte von Qevi-2B führt score als ungetestet. Die Zahlen, die es gibt, stammen überwiegend von den Teams selbst, die die Modelle ausliefern, auf Stichproben, die sie ausgewählt haben.
Neu ist diese Woche nicht, dass es kleine Klassifikatoren gibt. Neu ist, dass drei getrennte Teams sie mit derselben Schnittstellenidee ausgeliefert haben, kalibrierte Wahrscheinlichkeiten über eine feste Antwortmenge in einem einzigen Vorwärtsdurchlauf, und dass sie klein genug sind, um ohne Rechenzentrum zu laufen. Ob das reicht, um das Muster aus Frontier-Modell mit Fallback abzulösen, das die Jeeves-README beschreibt, können die veröffentlichten Benchmarks noch nicht beantworten.
Quellen
6- 01d1: Liquid AI's First Decision ModelEN
- 02Jeeves. Reasoning improves Jev-like decision modelsEN
- 03Qevi-2B: A Jev-style finetuned model for image classificationEN
- 04Language Models for Text Classification: From Bag-of-Words to JevEN
- 05Language Models Act on Hidden ValenceEN
- 06What AI benchmarks are not telling youEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.