Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Entscheidungsmodelle im Jev-Stil kommen aufs Gerät: Qevi-2B und d1 zielen auf geschlossene Fragen

Ein Bildklassifikator mit 2 Milliarden Parametern, am Dienstag auf Hugging Face veröffentlicht, will geschlossene Fragen zu Fotos bis zu 21-mal schneller beantworten als das Basismodell, von dem er feinabgestimmt wurde. Das ist das jüngste Zeichen dafür, dass sich das Entscheidungsmodell-Format im Jev-Stil über Text hinaus ausbreitet.

KI & ModelleNachrichtKatrin HoffmannVeröffentlicht: 29. September 20265 Min. LesezeitQuellen 6
Entscheidungsmodelle im Jev-Stil kommen aufs Gerät: Qevi-2B und d1 zielen auf geschlossene Fragen

Die am 29. September veröffentlichte Modellkarte von Qevi-2B beschreibt ein vollständiges Fine-Tuning von Qwen3-VL-2B-Instruct, das nie einen Satz generiert. Wer das Modell fragt, ob auf einem Bild eine Leiter zu sehen ist, bekommt P(Yes) = 0.97. Der Wert wird direkt aus den Logits des Sprachmodell-Kopfs abgelesen, an der Position, an der das Basismodell seine Antwort begonnen hätte. Die Karte hält fest, dass ein Aufruf von .generate() mit anschließendem Parsen des Textes die genannten Zahlen nicht reproduziert, weil das nicht der Pfad ist, auf dem das Modell feinabgestimmt wurde.

Die behaupteten Gewinne liegen bei Genauigkeit und Kalibrierung, nicht bei der rohen Leistungsfähigkeit.

Verglichen mit dem Basis-Qwen3-VL-2B-Instruct, das über denselben Auslesepfad auf denselben Bildern läuft, erreicht Qevi-2B 0.977 im Domänenbereich gegenüber 0.855 und 0.889 auf 12 zurückgehaltenen Bilddomänen gegenüber 0.745. Der erwartete Kalibrierungsfehler auf zurückgehaltenen Daten sinkt von 0.160 auf 0.054.

Ein Vorwärtsdurchlauf, viele Fragen

Der Geschwindigkeitsanspruch kommt aus dem Bündeln von Fragen. Die mitgelieferte qevi-Engine teilt eine einzige Kodierung des Bildes über mehrere Fragen und trennt sie mit einer blockdiagonalen Attention-Maske. Laut Karte sind die Antworten identisch mit denen einzelner Abfragen, bitweise geprüft. Das Repository warnt außerdem, dass der Fragetyp score, eine geordnete Bewertung auf einer Skala, nie im Trainingskorpus war. Der Korpus enthielt 57.000 noul- (Ja/Nein) und 28.500 choice-Fragen. Genauigkeit und Kalibrierung von score seien nicht gemessen und nicht getestet.

Diese Begriffe für Fragetypen sind nicht Qevis Erfindung. Die am 29. September aktualisierte Dokumentation von Liquid AI zu Entscheidungsmodellen definiert dieselben drei Formen: noul für eine Ja/Nein-Wahrscheinlichkeit zwischen 0 und 1, choice für eine Verteilung über benannte Optionen und score für eine wahrscheinlichkeitsgewichtete Position auf einer geordneten Skala. Die Dokumentation stellt klar, dass Entscheidungsmodelle null Token generieren. Eine Beispielanfrage zur Klassifikation von Beschwerden liefert noul: 0.999 mit output_tokens: 0.

Liquids eigene Einordnung, wann welcher Typ passt, ist es wert, zitiert zu werden, weil sie auf das Argument für den Geräteeinsatz passt. "If your code branches on a category, use a Choice. If it compares against a threshold on a continuum, use a Score. If it gates on a boolean, use a Noul", heißt es in der Dokumentation. Ein Klassifikator, der einen kalibrierten Float zurückgibt, lässt sich in einer mobilen App leichter gegen einen Schwellenwert prüfen als ein generatives Modell, dessen Antwort erst geparst werden muss.

Die Reasoning-Version geht den anderen Weg

Nicht alle drängen zu weniger Parametern und weniger Nachdenken. PostHogs Jeeves-Repository, am 29. September auf GitHub veröffentlicht, nimmt ein 9B-Modell im Jev-Stil (Qwen3.5-9B mit LoRA und einem Pointer-Head) und trainiert es mit CISPO so, dass es nachdenkt, bevor es entscheidet. Das README meldet 0.889 auf einem zurückgehaltenen Testsplit gegenüber 0.857 für Jev und 0.822 für Kev-9B sowie 0.935 auf den öffentlichen Stufen von JevBench gegenüber 0.866 für Jev.

Der Preis dafür ist die Latenz.

Jeeves braucht ohne Nachdenken etwa 0.3 Sekunden pro Anfrage und mit Nachdenken einen Median von 3.3 Sekunden auf einer H100 bei FP8-Präzision. Das README vermerkt, dass derselbe Checkpoint auf dem Testsplit der Autoren ohne Nachdenken 0.804 erreicht, mit Nachdenken 0.840. Auf einem M4 Pro denkt eine Frage mit etwa 20 Token pro Sekunde, in FP8 sind es rund 38. Die Gewichte belegen in bf16 21 GB, quantisiert 11.5 GB. Laut README braucht man dafür einen Mac mit 48 GB und kleinere Caches, um Swapping zu vermeiden.

Das ist ein anderes Einsatzziel als Qevi-2B, und die beiden Projekte ziehen beim selben zugrunde liegenden Format in entgegengesetzte Richtungen.

Woher das Format kommt

Sebastian Raschkas Erklärung vom 29. September zeichnet die Linie von Bag-of-Words-Darstellungen und Naive Bayes über rekurrente und konvolutionale Netze bis zu Klassifikatoren der Transformer-Ära nach und ordnet Jev in einer unbequemen Mitte ein. Modernste LLMs könnten dieselben Klassifikationsaufgaben lösen, "while also being capable of much more general decision-making", schreibt er, doch Jev erledige sie schneller und billiger. Am schmalen Ende werde ein eigens gebauter Klassifikator bei einem klar definierten Problem mithalten. Raschka gibt an, nicht mit Jev verbunden zu sein und keinen kostenlosen Zugang erhalten zu haben.

Seine Geschichte liefert zugleich eine nützliche Gegenprobe zum Hype. Textklassifikation mit Naive Bayes reicht mindestens bis 1961 zurück, als sie zum Sortieren von Computer-Abstracts diente. Raschka merkt an, dass Gmails ursprünglicher Spamfilter angeblich ein Naive-Bayes-Modell über einer Bag-of-Words-Darstellung nutzte. Logits an einer festen Position zu lesen ist eine neuere technische Wahl, keine neue Idee davon, was Klassifikation ist.

Die Kalibrierung ist die Zahl, auf die man achten sollte

Für den Geräteeinsatz ist die interessante Zahl in der Qevi-2B-Karte nicht die Genauigkeit, sondern die Kalibrierungstabelle. Die Autoren berichten, dass Temperature Scaling zusätzlich zum Fine-Tuning die Kalibrierung verschlechtert, weil Label Smoothing während des Trainings die Überkonfidenz des Basismodells bereits entfernt hat: Die ECE liegt bei 0.054 bei T = 1.0, bei 0.051 bei T = 1.5 und wieder bei 0.160 bei T = 2.45, was im Wesentlichen dem Wert des Basismodells auf zurückgehaltenen Daten entspricht. Frühere Versionen der Karte, die 2.45 empfahlen, wurden gegen das Basismodell vor dem Fine-Tuning gefittet, und die Karte erklärt nun, dass sie nicht verwendet werden sollten.

Zwei Einschränkungen gelten.

Sowohl Qevi-2B als auch Jeeves veröffentlichen ihre eigenen Zahlen, und die Spalten Jev und Kev im Jeeves-README werden als die Zahlen beschrieben, die Kev veröffentlicht, beschränkt auf dieselben öffentlichen Benchmark-Aufgaben; die versiegelte Judge-Stufe ist ausgeschlossen. Eine unabhängige Reproduktion einer dieser Zahlen liegt nicht vor.

Außerdem gibt es eine laufende Debatte darüber, was Benchmark-Werte überhaupt aussagen. Ein Beitrag von Microsoft for Developers vom 29. September zitiert Goodharts Gesetz, "when a measure becomes a target, it ceases to be a good measure", und verweist auf Überschneidungen zwischen öffentlichen Benchmark-Aufgaben und Trainingskorpora. Ein Modell, das 92% auf SWE-bench erreicht, sage, so der Beitrag, "however nothing about whether that same model will produce correct code when working with your internal auth library". Dieselbe Skepsis lässt sich auf die Stufen von JevBench übertragen.

Die Richtung ist dennoch klar genug. Ein 2B-Visionsmodell, das geschwellte Wahrscheinlichkeiten aus Logits zurückgibt, ein 9B-Textmodell, das nachdenkt, bevor es klassifiziert, und eine gehostete API, die null Ausgabe-Token abrechnet, sind drei Umsetzungen derselben Wette: dass viele Entscheidungen in der Produktion überhaupt keine generierte Prosa brauchen.

Kommentare 0

Quellen

6
  1. 01Qevi-2B: A Jev-style finetuned model for image classificationEN
  2. 02d1: Liquid AI's First Decision ModelEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05What AI benchmarks are not telling youEN
  6. 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.