Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Entscheidungsmodelle werden klein: Qevi-2B, Liquid d1 und Jeeves drängen die Klassifikation auf das Gerät

Ein Vision-Modell mit 2 Milliarden Parametern beantwortet Ja/Nein-Fragen, indem es seine eigenen Logits liest, statt Text zu erzeugen. Qevi-2B wurde am 29. September auf Hugging Face veröffentlicht. Die Autoren nennen 0,977 Genauigkeit im eigenen Bereich und bis zu 21-mal schnellere Inferenz, wenn viele Fragen an ein Bild gehen.

KI & ModelleNachrichtLena BrandtVeröffentlicht: 29. September 20266 Min. LesezeitQuellen 12
Entscheidungsmodelle werden klein: Qevi-2B, Liquid d1 und Jeeves drängen die Klassifikation auf das Gerät

Das Modell heißt Qevi-2B und ist ein vollständiges Fine-Tuning von Qwen3-VL-2B-Instruct. Die Autoren beschreiben es als "kein Chat-Modell": Fragt man, ob eine Leiter auf einem Foto zu sehen ist, liefert es P(Yes) = 0,97 statt eines Satzes. Die veröffentlichte Karte gibt die Genauigkeit im eigenen Bereich mit 0,977 an, das Basismodell kommt auf 0,855. In zurückgehaltenen Bereichen stehen 0,889 gegen 0,745, der erwartete Kalibrierungsfehler auf zurückgehaltenen Daten liegt bei 0,054 statt 0,160. Das Tempo-Versprechen beruht auf Frage-Packing: Mehrere Fragen teilen sich eine einzige Kodierung des Bildes, getrennt durch eine blockdiagonale Attention-Maske und bitgenau gegen die separate Abfrage geprüft.

Das ist ein Artefakt in einer Kategorie, die erst zwei Wochen alt ist und schon SDKs, Benchmarks, eine konkurrierende Benchmark-Suite und mindestens einen Open-Source-Klon hat. TypeSafe lieferte Jev am 15. September aus, so Casco, das den Aufstieg des Modells zum Meme auf "innerhalb von achtundvierzig Stunden" datiert.

Liquid gibt den Primitiven einen Namen

Liquid AI veröffentlichte am 29. September die Dokumentation zu d1, das das Unternehmen sein erstes Entscheidungsmodell nennt. Die Unterlagen sind ungewöhnlich deutlich dazu, wofür diese Systeme gedacht sind. Ein Entscheidungsmodell erzeugt keine Tokens nacheinander. Es bewertet einen Zustand und liefert kalibrierte Wahrscheinlichkeiten über eine feste Menge von Ergebnissen "in einem einzigen Aufruf mit null generierten Tokens".

Liquid definiert drei Fragetypen, die zur De-facto-Schnittstelle geworden sind. Noul ist eine Ja/Nein-Frage und gibt eine Wahrscheinlichkeit zwischen 0 und 1 zurück; die Unterlagen nennen eine Spam-Prüfung mit 0,92 als Beispiel. Choice liefert eine Verteilung über benannte Optionen, etwa {"billing": 0.65, "technical": 0.30, "account": 0.05} für die Ticket-Zuweisung. Score gibt eine wahrscheinlichkeitsgewichtete Position auf einer geordneten Skala zurück. So kann "wie dringend ist das?" über drei Stufen als 1,85 zurückkommen, zwischen Medium und High. Liquid empfiehlt, den Typ danach zu wählen, was der eigene Code als Nächstes tut: bei einer Verzweigung nach Kategorie Choice, beim Vergleich mit einem Schwellenwert Score, bei einer booleschen Sperre Noul.

Das Unternehmen warnt auch vor einer häufigen Verwechslung. Ein Noul bei 0,5 bedeutet laut Dokumentation maximale Unsicherheit zwischen Ja und Nein und "sagt nichts über Grad oder Intensität aus". Wer den Grad messen will, braucht Score mit definierten Stufen.

Jeeves: Reasoning obendrauf, und eine Rechnung von 3,3 Sekunden

Der interessanteste Widerspruch zur Kategorie kam von PostHog, das am 29. September Jeeves veröffentlichte. Es ist ein 9B-Modell nach Art von Jev, gebaut auf Qwen3.5-9B mit LoRA und einem Pointer-Head, trainiert mit SFT und CISPO, sodass es erst denkt und dann entscheidet. Das Repository ist offen über den Kompromiss, den es korrigiert. "Jev-artige Modelle liefern kalibrierte Entscheidungswahrscheinlichkeiten, aber mit geringer Genauigkeit", heißt es im README, weshalb viele Pipelines bereits auf ein Reasoning-Modell zurückfallen.

Jeeves meldet 0,889 auf einem zurückgehaltenen und bereichsfremden Testsatz mit 2.962 Einträgen, gegenüber 0,857 für Jev und 0,822 für Kev-9B. Der Vorbehalt: Die Spalten für Kev und Jev sind Zahlen, die Kev veröffentlicht. Auf den 231 öffentlichen Einträgen von JevBench nennt es 0,935 gegen 0,866 für Jev; auf der harten Stufe mit 111 Einträgen 0,865 gegen 0,730. Sein Kalibrierungsfehler auf öffentlichen JevBench-Einträgen liegt bei 0,037. Derselbe Checkpoint erreicht 0,804 ohne Denken und 0,840 mit.

Dann die Kosten. PostHog misst etwa 0,3 Sekunden pro Anfrage ohne Denken und einen Median von 3,3 Sekunden mit, auf einer H100 bei FP8-Präzision. Kürzt man die Kette, wird das kürzer, merkt das Unternehmen an. Die Inferenz läuft außerdem auf Apple Silicon mit 48GB oder mehr, was zählt, wenn der Sinn eines kleinen Entscheidungsmodells darin liegt, die Arbeit lokal zu halten.

Die Basismodell-Zahlen in der Jeeves-Tabelle sind nicht alle vergleichbar: Das Repository markiert seinen Kev-9B-Wert bei JevBench mit einem Sternchen. Die Anmerkung besagt, dass kein Kev-9B-Ergebnis für JevBench veröffentlicht ist und die gezeigten Zahlen Kev-8B auf Qwen3 betreffen.

Wer einen Klassifikator tatsächlich bezahlt

Das klarste Argument aus der Praxis kommt von Evan Schwartz, der Scour betreibt, einen personalisierten Content-Feed. In einem Beitrag vom 29. September beschreibt er, wie er 54 Fragen an rund 1,1 Millionen Dokumente pro Monat stellt: 50 Nouls, 3 Choices und 1 Score. Das sind etwa 2.150 Tokens, darunter rund 260 Tokens fester Overhead. Seine Fragen machen inzwischen etwa 88% der Eingabe-Tokens aus und gehen bei jeder Anfrage wortgleich mit. Seine Gesamtkosten liegen unter 150 Dollar pro Monat. Dieselben Inhalte durch auch nur das günstigste LLM zu schicken, wäre für ein bootstrapped Projekt prohibitiv, sagt er.

Sein Wunsch ist konkret: Prompt-Caching oder die Möglichkeit, wiederverwendbare Fragensets zu registrieren.

Er bündelt mehrere Beiträge nicht in einer Anfrage. Er verweist auf die dokumentierte Warnung, dass die Genauigkeit sinkt, wenn der Zustand mit unpassenden Inhalten wächst. Als Alternative, die die Packing-Strafe vermeidet, schlägt er eine API vor, die viele Fragen und viele Eingaben annimmt. Andere füllen die Lücken um TypeSafe bereits. Ein GitHub-Projekt namens Jeb, am 29. September aktualisiert, macht aus jedem OpenAI-kompatiblen Endpunkt ein Entscheidungsmodell. Es liest Token-Logprobs und gibt strukturiertes JSON unter POST /v1/systemone zurück, mit demselben Anfrageformat über CLI. Das README ist offen über die Voraussetzung: Ein Endpunkt kann für gewöhnlichen Chat OpenAI-kompatibel sein und trotzdem die Log-Wahrscheinlichkeiten vermissen lassen, die Jeb braucht. Wer einen Anbieter wählt, sollte diese Fähigkeit vorher prüfen.

Das Benchmark-Problem kommt früh

Casco, ein Sicherheitsunternehmen, schickte 2.449 Findings durch acht Modelle, darunter Jev, Claude und GPT. Es verglich CVSS-3.1-Schweregrade mit seinen eigenen veröffentlichten Referenzen. Jedes Modell überschätzte im Durchschnitt. Jev vergab 550 Critical-Werte an einen Datensatz mit 55 veröffentlichten Critical-Findings, wobei 500 dieser 550 in Cascos Referenz unter Critical lagen. GPT-6 Astra war insgesamt am genauesten mit 1,92 Punkten mittlerem absoluten Fehler; Jev lag mit 3,40 auf Platz sieben, vor Haiku mit 3,94.

Die vorzeichenbehafteten Fehler zeigen alle in dieselbe Richtung: Jev +3,30 Punkte, Haiku +3,89, Astra +1,18, auf einer Zehn-Punkte-Skala. Casco formuliert es so, dass strukturierte, kalibrierte Ausgabe die Schweregrad-Urteile gegenüber seiner Referenz nicht genauer gemacht hat. Der daraus entstehende "security slop" koste Ingenieure Zeit, heißt es. Die Studie nutzte für jedes Modell dieselben Finding-Belege, ohne Cascos Bewertungsrichtlinie oder internen Anwendungskontext. Sie misst also die Urteilsentscheidung und nicht die Arithmetik.

Dazu kommt eine Wartungsfrage, die niemand beantwortet hat. Jeeves ist ein Fine-Tuning auf Qwen3.5-9B mit einem Diffusion-Drafter und einer Jev-kompatiblen API; Qevi-2B ist ein Fine-Tuning von Qwen3-VL-2B. Beide hängen von Basismodellen ab, die abgelöst werden. Das Versprechen der Kategorie lautet, dass man Fragen ohne Neutraining hinzufügen kann. Das gilt für die API-Oberfläche, nicht für die Gewichte.

Am 29. September veröffentlichte Sebastian Raschka eine lange technische Geschichte der Textklassifikation. Sie reicht von Bag-of-Words über RNNs, CNNs und Transformer bis zu dem, was er Jev-artige APIs nennt, ausdrücklich um "den Hype zu entzaubern". Seine Schlussfolgerung ist die am wenigsten aufregende und wahrscheinlich die nützlichste. Bei einem engen, klar umrissenen Problem schlägt ein Modell im Jev-Stil einen Spezialklassifikator weder bei Genauigkeit noch bei Tempo oder Kosten. Sein Verkaufsargument ist Allgemeinheit innerhalb des Klassifikationsplatzes, und das ist eine viel kleinere Behauptung, als die Reaktion nahelegt.

Kommentare 0

Quellen

12
  1. 01Qevi-2B: A Jev-style finetuned model for image classificationEN
  2. 02d1: Liquid AI's First Decision ModelEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04Please add prompt caching to Jev-style modelsEN
  5. 05Jeb: Turn any OpenAI API into a decision modelEN
  6. 06Every model (incl. Jev) we tested inflates security finding severityEN
  7. 07Language Models for Text Classification: From Bag-of-Words to JevEN
  8. 08The System One models ecosystemEN
  9. 09AI models keep posting screenshots showing sensitive data from inside companiesEN
  10. 10AI Models Fail at Physics: Coding Harnesses Are to BlameEN
  11. 11How many tasks does it take to trust a cheaper model?EN
  12. 12Gates Foundation 5 Year Goal: Help 3B People to Use AI in Their LanguageEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.