Kleine Entscheidungsmodelle laufen auf dem Gerät: Liquid AIs d1, Jev-Klone und ein 2B-Vision-Klassifikator
Liquid AI hat am 29. September die Dokumentation für d1 veröffentlicht, sein erstes "Entscheidungsmodell". Es gehört zu einer schnell wachsenden Familie kleiner Modelle, die direkt auf dem Gerät laufen und statt generiertem Text kalibrierte Wahrscheinlichkeiten liefern.

Die Dokumentation beschreibt drei Fragetypen. Noul ist eine Ja/Nein-Frage und gibt eine Wahrscheinlichkeit zwischen 0 und 1 zurück. Choice ist eine Auswahlfrage und liefert eine Verteilung über benannte Optionen. Score ist eine geordnete Bewertungsskala, die als wahrscheinlichkeitsgewichtete Position zurückkommt. Der Beispielaufruf schickt eine Kundenbeschwerde an das Modell "d1:free" und erhält 0.999 auf die Frage "Is this message a complaint from the customer?"
Das ist eine andere Art von Modell als ein Chatbot. Es wird nichts generiert. Laut Liquid AI bewertet ein Entscheidungsmodell "eine Situation und gibt kalibrierte Wahrscheinlichkeiten über eine feste Menge von Ergebnissen in einem einzigen Aufruf mit null generierten Tokens zurück". Mehrere Fragen lassen sich in einer Anfrage gegen denselben Zustand prüfen.
Warum es diese Modellklasse gibt
Dasselbe Muster zeigt sich in den neuesten Quellen des Dossiers. Sebastian Raschka veröffentlichte am 29. September eine lange technische Erklärung, die von Bag-of-Words über RNNs, CNNs und Transformer bis zu dem reicht, was er "Jev-artige APIs" nennt. Sein Argument: Der Reiz liegt in Kosten und Geschwindigkeit, nicht in roher Genauigkeit. "Jevs Vorteil ist, dass es diese Klassifikationsaufgaben viel schneller und billiger erledigen kann", schreibt er. Zugleich warnt er: Bei einem engen, klar umrissenen Problem gewinnt ein eigens gebauter Klassifikator in allen drei Punkten.
Das Jeeves-Repository von PostHog, ebenfalls am 29. September veröffentlicht, beziffert diesen Kompromiss. Jeeves ist ein Jev-artiges Modell mit 9B Parametern, gebaut auf Qwen3.5-9B mit LoRA und einem Pointer-Head, trainiert mit SFT und CISPO, sodass es vor der Entscheidung nachdenkt. Das Repository meldet 0.889 auf dem eigenen zurückgehaltenen Testsplit, gegenüber 0.857 für Jev und 0.822 für Kev-9B. Auf den öffentlichen Stufen von JevBench sind es 0.935 gegenüber 0.866 für Jev. Die Inferenz dauert etwa 0.3 Sekunden pro Anfrage ohne Nachdenken und im Median 3.3 Sekunden mit. Das läuft auf einer H100 bei fp8. Auf Apple Silicon funktioniert es in bf16 oder FP8, braucht aber 48GB oder mehr.
Evan Schwartz, der den personalisierten Content-Feed Scour betreibt, veröffentlichte am 29. September eine Anfrage zu Prompt-Caching für diese Art von API. Sein Fragensatz umfasst inzwischen 54 Fragen (50 Nouls, 3 Choices, 1 Score) mit rund 2.150 Tokens, davon etwa 260 Tokens fester Overhead. Bei jeder Anfrage über rund 1.100.000 Dokumente im Monat wörtlich mitgeschickt, machen die Fragen etwa 88% seiner Input-Tokens aus. Seine Rechnung liegt unter 150 Dollar im Monat. Caching würde Batch-Workflows nach seiner Aussage noch günstiger machen.
Das andere Ende: ein 2B-Vision-Klassifikator auf dem Gerät
Die klarste Veröffentlichung eines kleinen Modells in diesem Paket ist Qevi-2B, am 29. September auf Hugging Face erschienen. Es handelt sich um ein vollständiges Fine-Tuning von Qwen3-VL-2B-Instruct, das geschlossene Fragen zu Bildern beantwortet, indem es die eigenen Logits des Modells liest, statt Text zu generieren. Wer es fragt, ob auf einem Bild eine Leiter zu sehen ist, bekommt P(Yes) = 0.97 zurück, keinen Satz.
Die Modellkarte nennt eine In-Domain-Genauigkeit, die von 0.855 beim Basismodell auf 0.977 steigt, eine Genauigkeit auf zurückgehaltenen Domänen von 0.745 auf 0.889 und einen Expected Calibration Error auf zurückgehaltenen Daten, der von 0.160 auf 0.054 fällt. Die Inferenz soll bis zu etwa 21-mal schneller sein, wenn viele Fragen zu einem Bild gestellt werden. Die Karte betont ausdrücklich, dass das Modell über ein Logit-Readout genutzt werden muss und nicht über .generate(). Alle drei unterstützten Fragetypen können sich eine einzige Kodierung des Bildes teilen, getrennt durch eine blockdiagonale Attention-Maske. Die Antworten wurden bitgenau gegen separat gestellte Fragen geprüft.
Eine Auswertung im Dossier dämpft die Begeisterung. Das Sicherheitsunternehmen Casco schickte 2.449 Findings durch acht Modelle, darunter Jev, Claude und GPT, und verglich deren CVSS-3.1-Scores mit den eigenen veröffentlichten Scores. Jedes Modell lag im Durchschnitt höher als die Referenz. Jev vergab 550 Critical-Bewertungen an einen Datensatz, der 55 veröffentlichte kritische Findings enthält, und 500 dieser 550 lagen in Cascos Referenz unterhalb von Critical. Beim mittleren absoluten Fehler lag GPT-6 Astra mit 1.92 Punkten vorn, Jev mit 3.40 auf Platz sieben. Cascos Bericht ist auf den 28. September datiert.
Im selben Paket vom 29. September taucht das Thema kleine Modelle auch an weniger naheliegenden Stellen auf. Ein kostenloses Vorschaumodell, das am 24. September als space-bunny-alpha auf OpenRouter gelistet wurde, beansprucht einen Kontext von einer Million Tokens und will auf denselben Benchmarks nur etwa ein Drittel der Output-Tokens von Qwen3.8 Flash verbrauchen, nämlich 305.989 gegen 913.989, so die eigene Website. Simple AI brachte Tango heraus, ein audio-natives Modell zur Erkennung von Sprecherwechseln. Es will einen Median-Entscheid 300ms vor einem herkömmlichen Voice-Activity-Detector treffen, der eine Pause bemerken würde, und auf dem öffentlichen LiveKit-Benchmark 15 verpasste Turn-Enden bei 400 Fällen melden, gegenüber 54 bei Soniox und 197 bei Deepgram Flux. Das sind vom Anbieter durchgeführte Vergleiche auf einem öffentlichen Benchmark, keine unabhängigen Prüfungen.
Zwei weitere Veröffentlichungen im selben Zeitfenster gehen in dieselbe Richtung: Jeb, ein GitHub-Projekt, das jede OpenAI-kompatible API in ein Entscheidungsmodell verwandelt, und DesktopBrain, ein Dateiorganisator für den Mac, der auf dem Gerät läuft. Beide veröffentlichen in den verfügbaren Unterlagen keine Benchmark-Zahlen.
Das Muster ist konsistent. Die interessanten kleinen Modelle der letzten 72 Stunden sind keine Miniatur-Chatbots. Sie sind eng gefasst, kalibriert und billig dort zu betreiben, wo ein Frontier-Modell absurd wäre: auf einem Telefon, einem Laptop, in einem 2B-Vision-Encoder, in einem Klassifikator, der 54 Fragen für weniger als 150 Dollar im Monat beantwortet. Ob sie für die Arbeit genau genug sind, auf die man sie ansetzt, ist eine andere Frage. Cascos Ergebnis legt nahe, dass die Antwort nicht immer ja lautet.
Quellen
12- 01d1: Liquid AI's First Decision ModelEN
- 02Qevi-2B: A Jev-style finetuned model for image classificationEN
- 03Language Models for Text Classification: From Bag-of-Words to JevEN
- 04Jeeves. Reasoning improves Jev-like decision modelsEN
- 05Every model (incl. Jev) we tested inflates security finding severityEN
- 06Please add prompt caching to Jev-style modelsEN
- 07Space-bunny-alpha a reasoning model from an anonymous providerEN
- 08Tango: Simple AI's Conversational Awareness ModelEN
- 09Jeb: Turn any OpenAI API into a decision modelEN
- 10DesktopBrain - AI File Organizer for Mac and All Folders - Private On-Device AIEN
- 11Language Models Act on Hidden ValenceEN
- 12Needed 1+1, built a functional programming languageEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.