Kleine Modelle antworten ohne Text: Entscheidungsmodelle kommen auf das Gerät
Am 29. September veröffentlichte Liquid AI die Dokumentation zu d1, seinem ersten Entscheidungsmodell. Es liefert kalibrierte Wahrscheinlichkeiten in einem einzigen Aufruf, ohne ein einziges Token zu erzeugen. Damit reiht es sich in eine schnell wachsende Klasse kleiner Klassifikatoren ein, die direkt auf dem Gerät laufen, darunter Jev, Qevi-2B und Jeeves von PostHog.

Das Versprechen ist eng umrissen: ein Modell, das nicht schreibt. Laut der am 29. September veröffentlichten Dokumentation von Liquid AI prüft d1 einen Zustand und gibt Wahrscheinlichkeiten für eine feste Menge von Ergebnissen zurück. Im Beispiel des Unternehmens geht eine Kundenbeschwerde ein, und auf die Frage "Ist diese Nachricht eine Beschwerde?" kommt eine einzige Zahl zurück: 0,999.
Liquid nennt das Format ein Entscheidungsmodell. Drei Fragetypen werden unterstützt, und die Dokumentation beschreibt sie schlicht. Eine "noul"-Frage ist eine Ja-Nein-Frage und liefert eine Wahrscheinlichkeit zwischen 0 und 1. Eine "choice"-Frage gibt eine Verteilung über benannte Optionen zurück. Eine "score"-Frage liefert eine wahrscheinlichkeitsgewichtete Position auf einer geordneten Skala. Die API-Antwort enthält ein Feld output_tokens, das immer null ist.
Warum die kleinen Modelle plötzlich interessant sind
Liquid ist in dieser Ecke nicht allein. Sebastian Raschka ordnet in seiner technischen Abhandlung vom 29. September zur Geschichte der Textklassifikation das junge Modell Jev zuerst als Klassifikator ein und erst danach als kulturelles Phänomen. Sein Argument: Bei einer engen Aufgabe ist Jev nicht besser oder billiger als ein eigens gebauter Klassifikator, aber deutlich allgemeiner als solche aufgabenspezifischen Modelle und zugleich viel schneller und günstiger als ein Frontier-LLM.
Diese Kombination, mittlere Allgemeinheit bei niedrigen Kosten pro Aufruf, macht die Geschichte vom Lauf auf dem Gerät plausibel. Ein Modell mit 2.000.000.000 oder 9.000.000.000 Parametern, das eine Wahrscheinlichkeit statt eines Absatzes zurückgibt, läuft auf Hardware, die ein Frontier-Modell nicht erreicht.
Qevi-2B, am 29. September auf Hugging Face veröffentlicht, ist die Bildvariante. Es ist ein vollständiges Fine-Tuning von Qwen3-VL-2B-Instruct. Das Modell beantwortet geschlossene Fragen zu Bildern, indem es die Logits an der Position liest, an der es mit der Antwort beginnen würde, statt Text zu erzeugen. Die Modellkarte benennt den Kompromiss deutlich: "Es ist kein Chat-Modell. Fragt man es 'Ist auf diesem Bild eine Leiter?', gibt es P(Ja) = 0,97 zurück, keinen Satz."
Die Karte nennt eine Genauigkeit von 0,977 im Anwendungsbereich gegenüber 0,855 beim Basismodell und 0,889 auf zurückgehaltenen Domänen gegenüber 0,745. Der erwartete Kalibrierungsfehler auf zurückgehaltenen Daten sinkt von 0,160 auf 0,054. Es gibt auch eine Warnung für alle, die zusätzlich Temperaturskalierung darüberlegen wollen: Bei T = 2,45 steigt der ECE auf zurückgehaltenen Daten wieder auf 0,160 und löscht den gesamten Gewinn aus.
Die Geschwindigkeit ist die andere Hälfte der Behauptung. Qevi-2B gibt an, bis zu etwa 21-mal schneller zu sein, wenn viele Fragen zu einem Bild gestellt werden. Alle drei Beispielfragen teilen sich nämlich eine Kodierung und werden durch eine blockdiagonale Attention-Maske getrennt. Die Karte versichert, die Antworten seien bitgenau identisch mit denen einzelner Abfragen.
"Der größte Risikofaktor, den wir sehen, ist legitime KI, die von Entwicklern genutzt wird und dann Dinge tut, die nicht getan werden sollten", sagte Omer Singer, Mitgründer und CTO von Glow Security, in einem Interview mit The Register.
Der Haken: Agenten, die beim Helfen Daten preisgeben
Dieses Zitat hat wenig mit Klassifikationsgenauigkeit zu tun und alles mit dem Einsatz in der Praxis. The Register berichtete am 29. September, dass Forscher von Glow Security mehr als 13.000 sensible Screenshots von Unternehmenssoftware-Projekten aus 343 Firmen fanden, die KI-Agenten in öffentlichen GitHub-Repositories abgelegt hatten. Sie nennen es PixelLeak.
Der Mechanismus ist banal. GitHub hat keine API, um Bilder in Pull Requests hochzuladen. Also legen Agenten, die Vorher-Nachher-Aufnahmen der Oberfläche zeigen sollen, diese stattdessen in einem öffentlichen Repo ab. Etwa ein Drittel der Funde stammte von Entwicklern, die gitshot nutzten, ein Open-Source-Werkzeug für Screenshots. Dessen eigener Datenschutzhinweis warnt, dass hochgeladene Bilder standardmäßig öffentlich sind.
Nichts davon geht auf kleine Modelle zurück. Aber es ist die Umgebung, in der kleine Modelle gerade beworben werden: billig genug, um ständig zu laufen, eingebettet in Entwicklerwerkzeuge, handelnd ohne Menschen im Kreis. Ein Klassifikator, der auf einem Laptop läuft, zieht diesen Kreis enger.
Reasoning, aber nur ein wenig
Jeeves von PostHog, am 29. September auf GitHub veröffentlicht, versucht das Genauigkeitsproblem Jev-artiger Modelle zu lösen, ohne das Format aufzugeben. Es ist ein Klassifikator im Jev-Stil mit 9.000.000.000 Parametern, gebaut auf Qwen3.5-9B mit LoRA und einem Pointer-Head. Trainiert wurde er darauf, vor der Entscheidung zu denken, mit einem Block-4-Diffusion-Drafter.
Die Zahlen im Repo vergleichen es mit Kev-9B und Jev auf Daten, auf denen es nie trainiert wurde: 0,889 gegenüber 0,822 und 0,857. Auf den öffentlichen Stufen von JevBench meldet es 0,935 gegenüber 0,866 bei Jev. Der Preis ist Latenz. Ohne Nachdenken dauert eine Anfrage etwa 0,3 Sekunden, mit Nachdenken im Median 3,3 Sekunden auf einer H100 bei FP8-Präzision. Das Repo merkt an, dass ein Abschneiden der Kette das verkürzt.
Die Tabelle von Jeeves widerspricht zudem der einfachen Erzählung, dass Reasoning immer hilft. Auf MMLU-Pro erreicht es 0,739 gegenüber 0,840 bei Jev, auf MMLU 0,793 gegenüber 0,900. Die Autoren mitteln das nicht weg, sie veröffentlichen beides nebeneinander.
Der Entwicklerblog von Microsoft formuliert diesen Punkt in einem Beitrag vom 29. September zu Agent Experience allgemein. Benchmark-Ergebnisse treiben die Verbreitung, die Verbreitung treibt die Optimierung auf den Benchmark, und der Wert sagt nichts mehr über die eigene Codebasis aus. "Ein Modell, das bei Django hervorragend ist, kann bei eurem internen Framework mittelmäßig sein, das oberflächlich an Django erinnert, aber an kritischen Stellen anders funktioniert", heißt es in dem Beitrag. Dieselbe Logik gilt für ein Entscheidungsmodell, das auf öffentlichen Stufen getestet und dann in die eigene Ticket-Warteschlange gesetzt wird.
Beim Lauf auf dem Gerät treffen sich diese Fäden. Qevi-2B listet 21 GB Gewichte in bf16, und Jeeves gibt an, ein Apple-Silicon-Mac brauche 48 GB oder mehr für die Standard-Caches. FP8 drückt die Gewichte auf 11,5 GB, und kleinere Cache-Einstellungen passen auf eine 48-GB-Maschine. Das ist kein Telefon. Es ist ein Laptop, und der ist immer noch ein anderes Einsatzziel als ein Rechenzentrum. Genau deshalb leistet das Etikett "kleines Modell" hier echte Arbeit.
Keine dieser Veröffentlichungen klärt, ob der Klassifikationsansatz den Kontakt mit unordentlichen Produktionsfragen übersteht. Ein Wert von 0,97 lässt sich leicht mit einer Schwelle versehen. Eine score-Frage mit ungemessener Kalibrierung lässt sich so nicht behandeln, und genau das sagt die Karte von Qevi-2B über ihren eigenen "score"-Typ.
Quellen
6- 01d1: Liquid AI's First Decision ModelEN
- 02Qevi-2B: A Jev-style finetuned model for image classificationEN
- 03Jeeves. Reasoning improves Jev-like decision modelsEN
- 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
- 05Language Models for Text Classification: From Bag-of-Words to JevEN
- 06What AI benchmarks are not telling youEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.