Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Entscheidungsmodelle verzichten auf Textgenerierung, kleine On-Device-KI setzt auf Logit-Ausgabe

Zwei Modellveröffentlichungen am 29. September verfolgten dieselbe Idee: Kleine Modelle sollen kalibrierte Wahrscheinlichkeiten zurückgeben, statt Tokens zu erzeugen. Liquid AIs d1 und ein Qwen3-VL-2B-Finetune namens Qevi-2B funktionieren beide so.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 29. September 20264 Min. LesezeitQuellen 6
Entscheidungsmodelle verzichten auf Textgenerierung, kleine On-Device-KI setzt auf Logit-Ausgabe

Beide erschienen am Dienstag innerhalb von sechs Minuten. Liquid AI veröffentlichte um 20:09 UTC die Dokumentation zu d1 und nannte es sein erstes Entscheidungsmodell. MeerDevelopment stellte Qevi-2B um 20:16 UTC auf Hugging Face. Keines der beiden Modelle erzeugt Text.

Liquid AIs Dokumentation beschreibt den Mechanismus unverblümt. Ein Entscheidungsmodell, heißt es dort, „bewertet eine Situation und gibt kalibrierte Wahrscheinlichkeiten über eine feste Menge von Ergebnissen in einem einzigen Aufruf mit null generierten Tokens zurück“. Die API bietet drei Fragetypen: noul (Ja/Nein, gibt einen Float zurück), choice (wählt eine von benannten Optionen) und score (eine wahrscheinlichkeitsgewichtete Position auf einer geordneten Skala). Im Beispiel der Dokumentation liefert der Satz „Ich warte seit über drei Wochen auf meine Bestellung und niemand hat auf meine E-Mails reagiert“ einen noul-Wert von 0.999 für die Frage „Handelt es sich bei dieser Nachricht um eine Beschwerde des Kunden?“ Die Antwort meldet zudem usage.output_tokens als 0.

Logits lesen, Satz überspringen

Qevi-2B nimmt einen anderen Weg zum selben Ziel. Es ist ein vollständiges Finetune von Qwen3-VL-2B-Instruct. Geschlossene Fragen zu Bildern beantwortet es, indem es die Logits des LM-Heads an der Position liest, an der das Modell mit der Antwort beginnen würde, beschränkt auf die erlaubten Antwort-Tokens. Fragt man es, ob auf einem Foto eine Leiter zu sehen ist, liefert es P(Yes) = 0.97. Die Modellkarte warnt, dass der Aufruf von .generate() mit anschließendem Parsen des Textes die veröffentlichten Zahlen nicht reproduziert, „weil das nicht der Pfad ist, auf dem das Modell feingetunt wurde“.

Die behaupteten Gewinne sind groß und konkret. Das Basis-Qwen3-VL-2B durchläuft denselben Ausgabepfad. Gegen dieses Modell erreicht Qevi-2B eine In-Domain-Genauigkeit von 0.977 gegenüber 0.855 und 0.889 auf zurückgehaltenen Domänen gegenüber 0.745. Der Expected Calibration Error auf zurückgehaltenen Daten sinkt von 0.160 auf 0.054. Die Karte meldet außerdem eine rund 21-mal schnellere Inferenz, wenn viele Fragen zu einem Bild gestellt werden, weil Question Packing eine einzige Bildkodierung teilt.

Ein Vorbehalt verdient genaues Hinsehen. Der Trainingskorpus deckt nur noul- und choice-Fragen ab, der score-Typ ist also ungetestet. Und die Karte nimmt frühere Temperatur-Empfehlungen ausdrücklich zurück. Bei T = 2.45 steigt der ECE auf zurückgehaltenen Daten wieder auf 0.160 und löscht den gesamten Kalibrierungsgewinn aus.

Klein, schnell und auf Klassifikation gerichtet

Das ist das On-Device-Argument in seiner aktuellen Form. Ailoittes Leitfaden zur Entwicklung kleiner Modelle, in den letzten 12 Stunden veröffentlicht, rahmt es in Kostenbegriffen. Der Betrieb eines 7B-Modells kann „10- bis 30-mal günstiger bei Latenz, Energie und Rechenaufwand“ sein als der eines Modells von 70.000.000.000 bis 175.000.000.000 Parametern, heißt es dort unter Verweis auf ein NVIDIA-Positionspapier von 2.025. Der Leitfaden merkt auch an, dass kleine Modelle vor Ort laufen, was für Daten im Gesundheitswesen und im Finanzwesen zählt.

Sebastian Raschkas Essay vom 29. September zur Textklassifikation argumentiert aus der anderen Richtung dasselbe. Er beschreibt Jev im Kern als Textklassifikator. Jev habe „in den vergangenen 2 Wochen ein regelrechtes kulturelles Phänomen in technischen Communities“ ausgelöst, schreibt er. Bei der Klassifikation sei es schneller und günstiger als allgemeine LLMs, zugleich aber allgemeiner als aufgabenspezifische Modelle. Er weist ausdrücklich darauf hin, dass er keine Verbindung zu Jev hat und keinen kostenlosen Zugang dazu.

Das jeeves-Repository von PostHog, am 29. September aktualisiert, ergänzt Reasoning zu diesem Muster. Jeeves ist ein 9.000.000.000-Parameter-Modell im Stil von Jev, gebaut auf Qwen3.5-9B mit LoRA und einem Pointer-Head, trainiert mit SFT und CISPO. Es meldet 0.889 insgesamt auf einem zurückgehaltenen Testsplit gegenüber 0.857 bei Jev und 0.822 bei Kev-9B. Auf den öffentlichen Stufen von JevBench meldet es 0.935 gegenüber 0.866 bei Jev. Denken kostet Zeit: etwa 3,3 Sekunden Median pro Anfrage auf einer H100 in fp8, gegenüber 0,3 Sekunden ohne.

Die Zahlen weisen nicht in eine Richtung. Jeeves schlägt Jev insgesamt, verliert aber bei Transfer (0.746 gegenüber 0.800) und bei MMLU-Pro 10-way (0.739 gegenüber 0.840). Außerdem beantwortet es 5,5 % der unbeantwortbaren Fragen mit p ≥ 0.9. Das ist besser als Jevs 9,0 %, aber schlechter als die 0,0 % von Kev-9B.

Die Marktprognosen für diese Kategorie gehen weit auseinander, was eher ein Hinweis als ein Mittelwert ist. MarketsandMarkets beziffert den SLM-Markt 2.025 auf 930.000.000 USD und erwartet ein Wachstum auf 5.450.000.000 USD bis 2.032 bei einer CAGR von 28,7 %. wizr.ai nennt eine Zahl von 7.760.000.000 USD für 2.023 mit einem Wachstum von 15,6 % zwischen 2.024 und 2.030. Die beiden Schätzungen beschreiben unterschiedlich große Märkte.

Die beiden Veröffentlichungen vom 29. September deuten auf etwas Engeres und Konkreteres hin. Bei klassifikationsartiger Arbeit wird das Ausgabeformat selbst um Wahrscheinlichkeiten herum neu entworfen, nicht um Prosa.

Kommentare 0

Quellen

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Qevi-2B: A Jev-style finetuned model for image classificationEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05Small Language Model Development: Lower Cost, More PrivacyEN
  6. 06The Rise of Small Language Models in Enterprise AI Adoption [2026]EN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.