Entscheidungsmodelle werden klein: Qevi-2B, Liquid d1 und Jeeves drängen die Klassifikation auf das Gerät
Ein Vision-Modell mit 2 Milliarden Parametern beantwortet Ja/Nein-Fragen, indem es seine eigenen Logits liest, statt Text zu erzeugen. Qevi-2B wurde am 29. September auf Hugging Face veröffentlicht. Die Autoren nennen 0,977 Genauigkeit im eigenen Bereich und bis zu 21-mal schnellere Inferenz, wenn viele Fragen an ein Bild gehen.

Das Modell heißt Qevi-2B und ist ein vollständiges Fine-Tuning von Qwen3-VL-2B-Instruct. Die Autoren beschreiben es als "kein Chat-Modell": Fragt man, ob eine Leiter auf einem Foto zu sehen ist, liefert es P(Yes) = 0,97 statt eines Satzes. Die veröffentlichte Karte gibt die Genauigkeit im eigenen Bereich mit 0,977 an, das Basismodell kommt auf 0,855. In zurückgehaltenen Bereichen stehen 0,889 gegen 0,745, der erwartete Kalibrierungsfehler auf zurückgehaltenen Daten liegt bei 0,054 statt 0,160. Das Tempo-Versprechen beruht auf Frage-Packing: Mehrere Fragen teilen sich eine einzige Kodierung des Bildes, getrennt durch eine blockdiagonale Attention-Maske und bitgenau gegen die separate Abfrage geprüft.
Das ist ein Artefakt in einer Kategorie, die erst zwei Wochen alt ist und schon SDKs, Benchmarks, eine konkurrierende Benchmark-Suite und mindestens einen Open-Source-Klon hat. TypeSafe lieferte Jev am 15. September aus, so Casco, das den Aufstieg des Modells zum Meme auf "innerhalb von achtundvierzig Stunden" datiert.
Liquid gibt den Primitiven einen Namen
Liquid AI veröffentlichte am 29. September die Dokumentation zu d1, das das Unternehmen sein erstes Entscheidungsmodell nennt. Die Unterlagen sind ungewöhnlich deutlich dazu, wofür diese Systeme gedacht sind. Ein Entscheidungsmodell erzeugt keine Tokens nacheinander. Es bewertet einen Zustand und liefert kalibrierte Wahrscheinlichkeiten über eine feste Menge von Ergebnissen "in einem einzigen Aufruf mit null generierten Tokens".
Liquid definiert drei Fragetypen, die zur De-facto-Schnittstelle geworden sind. Noul ist eine Ja/Nein-Frage und gibt eine Wahrscheinlichkeit zwischen 0 und 1 zurück; die Unterlagen nennen eine Spam-Prüfung mit 0,92 als Beispiel. Choice liefert eine Verteilung über benannte Optionen, etwa {"billing": 0.65, "technical": 0.30, "account": 0.05} für die Ticket-Zuweisung. Score gibt eine wahrscheinlichkeitsgewichtete Position auf einer geordneten Skala zurück. So kann "wie dringend ist das?" über drei Stufen als 1,85 zurückkommen, zwischen Medium und High. Liquid empfiehlt, den Typ danach zu wählen, was der eigene Code als Nächstes tut: bei einer Verzweigung nach Kategorie Choice, beim Vergleich mit einem Schwellenwert Score, bei einer booleschen Sperre Noul.
Das Unternehmen warnt auch vor einer häufigen Verwechslung. Ein Noul bei 0,5 bedeutet laut Dokumentation maximale Unsicherheit zwischen Ja und Nein und "sagt nichts über Grad oder Intensität aus". Wer den Grad messen will, braucht Score mit definierten Stufen.
Jeeves: Reasoning obendrauf, und eine Rechnung von 3,3 Sekunden
Der interessanteste Widerspruch zur Kategorie kam von PostHog, das am 29. September Jeeves veröffentlichte. Es ist ein 9B-Modell nach Art von Jev, gebaut auf Qwen3.5-9B mit LoRA und einem Pointer-Head, trainiert mit SFT und CISPO, sodass es erst denkt und dann entscheidet. Das Repository ist offen über den Kompromiss, den es korrigiert. "Jev-artige Modelle liefern kalibrierte Entscheidungswahrscheinlichkeiten, aber mit geringer Genauigkeit", heißt es im README, weshalb viele Pipelines bereits auf ein Reasoning-Modell zurückfallen.
Jeeves meldet 0,889 auf einem zurückgehaltenen und bereichsfremden Testsatz mit 2.962 Einträgen, gegenüber 0,857 für Jev und 0,822 für Kev-9B. Der Vorbehalt: Die Spalten für Kev und Jev sind Zahlen, die Kev veröffentlicht. Auf den 231 öffentlichen Einträgen von JevBench nennt es 0,935 gegen 0,866 für Jev; auf der harten Stufe mit 111 Einträgen 0,865 gegen 0,730. Sein Kalibrierungsfehler auf öffentlichen JevBench-Einträgen liegt bei 0,037. Derselbe Checkpoint erreicht 0,804 ohne Denken und 0,840 mit.
Dann die Kosten. PostHog misst etwa 0,3 Sekunden pro Anfrage ohne Denken und einen Median von 3,3 Sekunden mit, auf einer H100 bei FP8-Präzision. Kürzt man die Kette, wird das kürzer, merkt das Unternehmen an. Die Inferenz läuft außerdem auf Apple Silicon mit 48GB oder mehr, was zählt, wenn der Sinn eines kleinen Entscheidungsmodells darin liegt, die Arbeit lokal zu halten.
Die Basismodell-Zahlen in der Jeeves-Tabelle sind nicht alle vergleichbar: Das Repository markiert seinen Kev-9B-Wert bei JevBench mit einem Sternchen. Die Anmerkung besagt, dass kein Kev-9B-Ergebnis für JevBench veröffentlicht ist und die gezeigten Zahlen Kev-8B auf Qwen3 betreffen.
Wer einen Klassifikator tatsächlich bezahlt
Das klarste Argument aus der Praxis kommt von Evan Schwartz, der Scour betreibt, einen personalisierten Content-Feed. In einem Beitrag vom 29. September beschreibt er, wie er 54 Fragen an rund 1,1 Millionen Dokumente pro Monat stellt: 50 Nouls, 3 Choices und 1 Score. Das sind etwa 2.150 Tokens, darunter rund 260 Tokens fester Overhead. Seine Fragen machen inzwischen etwa 88% der Eingabe-Tokens aus und gehen bei jeder Anfrage wortgleich mit. Seine Gesamtkosten liegen unter 150 Dollar pro Monat. Dieselben Inhalte durch auch nur das günstigste LLM zu schicken, wäre für ein bootstrapped Projekt prohibitiv, sagt er.
Sein Wunsch ist konkret: Prompt-Caching oder die Möglichkeit, wiederverwendbare Fragensets zu registrieren.
Er bündelt mehrere Beiträge nicht in einer Anfrage. Er verweist auf die dokumentierte Warnung, dass die Genauigkeit sinkt, wenn der Zustand mit unpassenden Inhalten wächst. Als Alternative, die die Packing-Strafe vermeidet, schlägt er eine API vor, die viele Fragen und viele Eingaben annimmt. Andere füllen die Lücken um TypeSafe bereits. Ein GitHub-Projekt namens Jeb, am 29. September aktualisiert, macht aus jedem OpenAI-kompatiblen Endpunkt ein Entscheidungsmodell. Es liest Token-Logprobs und gibt strukturiertes JSON unter POST /v1/systemone zurück, mit demselben Anfrageformat über CLI. Das README ist offen über die Voraussetzung: Ein Endpunkt kann für gewöhnlichen Chat OpenAI-kompatibel sein und trotzdem die Log-Wahrscheinlichkeiten vermissen lassen, die Jeb braucht. Wer einen Anbieter wählt, sollte diese Fähigkeit vorher prüfen.
Das Benchmark-Problem kommt früh
Casco, ein Sicherheitsunternehmen, schickte 2.449 Findings durch acht Modelle, darunter Jev, Claude und GPT. Es verglich CVSS-3.1-Schweregrade mit seinen eigenen veröffentlichten Referenzen. Jedes Modell überschätzte im Durchschnitt. Jev vergab 550 Critical-Werte an einen Datensatz mit 55 veröffentlichten Critical-Findings, wobei 500 dieser 550 in Cascos Referenz unter Critical lagen. GPT-6 Astra war insgesamt am genauesten mit 1,92 Punkten mittlerem absoluten Fehler; Jev lag mit 3,40 auf Platz sieben, vor Haiku mit 3,94.
Die vorzeichenbehafteten Fehler zeigen alle in dieselbe Richtung: Jev +3,30 Punkte, Haiku +3,89, Astra +1,18, auf einer Zehn-Punkte-Skala. Casco formuliert es so, dass strukturierte, kalibrierte Ausgabe die Schweregrad-Urteile gegenüber seiner Referenz nicht genauer gemacht hat. Der daraus entstehende "security slop" koste Ingenieure Zeit, heißt es. Die Studie nutzte für jedes Modell dieselben Finding-Belege, ohne Cascos Bewertungsrichtlinie oder internen Anwendungskontext. Sie misst also die Urteilsentscheidung und nicht die Arithmetik.
Dazu kommt eine Wartungsfrage, die niemand beantwortet hat. Jeeves ist ein Fine-Tuning auf Qwen3.5-9B mit einem Diffusion-Drafter und einer Jev-kompatiblen API; Qevi-2B ist ein Fine-Tuning von Qwen3-VL-2B. Beide hängen von Basismodellen ab, die abgelöst werden. Das Versprechen der Kategorie lautet, dass man Fragen ohne Neutraining hinzufügen kann. Das gilt für die API-Oberfläche, nicht für die Gewichte.
Am 29. September veröffentlichte Sebastian Raschka eine lange technische Geschichte der Textklassifikation. Sie reicht von Bag-of-Words über RNNs, CNNs und Transformer bis zu dem, was er Jev-artige APIs nennt, ausdrücklich um "den Hype zu entzaubern". Seine Schlussfolgerung ist die am wenigsten aufregende und wahrscheinlich die nützlichste. Bei einem engen, klar umrissenen Problem schlägt ein Modell im Jev-Stil einen Spezialklassifikator weder bei Genauigkeit noch bei Tempo oder Kosten. Sein Verkaufsargument ist Allgemeinheit innerhalb des Klassifikationsplatzes, und das ist eine viel kleinere Behauptung, als die Reaktion nahelegt.
Quellen
12- 01Qevi-2B: A Jev-style finetuned model for image classificationEN
- 02d1: Liquid AI's First Decision ModelEN
- 03Jeeves. Reasoning improves Jev-like decision modelsEN
- 04Please add prompt caching to Jev-style modelsEN
- 05Jeb: Turn any OpenAI API into a decision modelEN
- 06Every model (incl. Jev) we tested inflates security finding severityEN
- 07Language Models for Text Classification: From Bag-of-Words to JevEN
- 08The System One models ecosystemEN
- 09AI models keep posting screenshots showing sensitive data from inside companiesEN
- 10AI Models Fail at Physics: Coding Harnesses Are to BlameEN
- 11How many tasks does it take to trust a cheaper model?EN
- 12Gates Foundation 5 Year Goal: Help 3B People to Use AI in Their LanguageEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.