Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Entscheidungsmodelle statt kleiner Sprachmodelle übernehmen still die KI auf Geräten

Liquid AI hat am 29. September die Dokumentation für d1 veröffentlicht, seine erste Familie von Entscheidungsmodellen. Die Dokumentation beschreibt einen Klassifikator, der kalibrierte Wahrscheinlichkeiten ohne generierte Tokens zurückgibt. PostHog brachte am selben Tag Jeeves heraus, einen 9B-Reasoning-Klassifikator, und auf Hugging Face erschien ein 2B-Vision-Fine-Tune namens Qevi-2B.

KI & ModelleErklärtLena BrandtVeröffentlicht: 29. September 20267 Min. LesezeitQuellen 6
Entscheidungsmodelle statt kleiner Sprachmodelle übernehmen still die KI auf Geräten

Die Veröffentlichungen dieser Woche deuten nicht auf kleinere Chatbots hin. Sie deuten auf Modelle, die typisierte, geschlossene Fragen beantworten und Zahlen zurückgeben, keine Sätze.

Liquid AI stellte seine Dokumentation am 29. September online und legt das Konzept direkt dar. Ein Entscheidungsmodell, heißt es dort, "evaluates a situation and returns calibrated probabilities across a fixed set of outcomes in a single call with zero generated tokens." Die API unterstützt drei Fragetypen. Ein Noul ist eine Ja/Nein-Frage, die eine Wahrscheinlichkeit zwischen 0 und 1 zurückgibt. Eine Choice liefert eine Verteilung über benannte Optionen. Ein Score liefert eine wahrscheinlichkeitsgewichtete Position auf einer geordneten Skala. In der Beispielantwort in Liquids Dokumentation ergibt eine Frage zu einer Kundenbeschwerde einen Noul von 0.999 und eine Anzahl generierter Ausgabe-Tokens von 0.

Diese letzte Zahl ist der eigentliche Punkt. Inferenz auf dem Gerät bedeutet normalerweise, ein generatives Modell zu schrumpfen, bis es auf ein Telefon passt. Entscheidungsmodelle überspringen den Generierungsschritt vollständig. Damit fällt der größte Kostenfaktor beim lokalen Betrieb eines Modells weg.

Drei Veröffentlichungen, eine Form

PostHogs jeeves-Repository wurde zuletzt am 29. September aktualisiert. Es beschreibt "a reasoning Jev-style classifier with a diffusion drafter, trained with SFT and CISPO." Das Modell ist ein 9B-Fine-Tune von Qwen3.5-9B mit LoRA und einem Pointer-Head, der laut Repository "thinks before it decides." Die veröffentlichten Zahlen nennen 0.889 auf einem zurückgehaltenen Test-Split gegenüber 0.857 für Jev und 0.822 für Kev-9B. Sie nennen außerdem 0.935 auf JevBencs öffentlichen Stufen gegenüber 0.866 für Jev. PostHog berichtet etwa 0.3 Sekunden pro Anfrage ohne Nachdenken und einen Median von 3.3 Sekunden mit Nachdenken, auf einer H100 bei fp8-Genauigkeit.

Ebenfalls am 29. September veröffentlichte MeerDevelopment ein 2B-Vision-Modell namens Qevi-2B auf Hugging Face. Es ist ein vollständiges Fine-Tune von Qwen3-VL-2B-Instruct, das "answers typed, closed questions about images by reading the model's own logits instead of generating text." Die Modellkarte ist offen über den Kompromiss. Fragt man es, ob in einem Bild eine Leiter zu sehen ist, gibt es P(Yes) = 0.97 zurück, keinen Satz. Im Gegenzug meldet es 0.889 Genauigkeit auf zurückgehaltenen Domänen gegenüber 0.745 für das Basismodell. Es meldet außerdem einen erwarteten Kalibrierungsfehler von 0.054 gegenüber 0.160.

Qevi-2Bs Karte warnt zudem, dass das Modell über ein Logit-Readout verwendet werden muss, nicht über .generate(). Wer generate aufruft und den Text parst, wird die veröffentlichten Werte nicht reproduzieren, weil das nicht der Pfad ist, auf dem das Modell feinabgestimmt wurde. Ein kleines Detail mit großer Tragweite. Diese Systeme sind nicht austauschbar mit den Chat-Modellen, die Entwickler bereits aufzurufen wissen.

Warum die Kalibrierungsaussage zählt

Sebastian Raschkas Aufsatz vom 29. September über die Geschichte der Textklassifikation ordnet die aktuelle Welle ein. Er zeichnet die Linie von Bag-of-Words über Naive Bayes, logistische Regression, RNNs und Transformer nach. Er merkt an, dass der Vorteil eines Klassifikators in Geschwindigkeit und Kosten liegt, nicht in Allgemeinheit. Seine Einordnung von Jev ist vorsichtig: "Jev is essentially a text classifier," aber "Jev is also not 'just' a text classifier."

Er unterscheidet zwischen engen aufgabenspezifischen Modellen und etwas, das allgemein genug ist, viele Klassifikationsaufgaben ohne Neutraining zu bewältigen. Qevi-2B und Jeeves liegen beide in diesem Zwischenbereich. Keines ist ein allgemeiner Assistent. Beide behaupten, zweckgebaute Baselines bei Aufgaben zu schlagen, für die sie nicht trainiert wurden.

Die Kalibrierungszahlen sind der Teil, der genauer Prüfung bedarf. Qevi-2Bs Karte berichtet, dass Temperatur-Skalierung seine Kalibrierung verschlechtert, nicht verbessert. Label-Smoothing während des Fine-Tunings hatte die Überkonfidenz des Basismodells bereits beseitigt. Bei T = 2.45 kehrt der zurückgehaltene ECE auf 0.160 zurück, genau den Wert des Basismodells. Die Karte stellt außerdem klar fest, dass frühere Versionen 2.45, 1.9 und 3.0 empfohlen hatten. Diese Werte wurden gegen das Basismodell vor dem Fine-Tuning angepasst und sollten nicht verwendet werden.

Das ist eine ungewöhnlich offene Korrektur für eine Modellkarte. Sie untergräbt auch eine gängige Annahme: dass die Wahrscheinlichkeiten eines kleinen Modells nachträglich neu skaliert werden müssen, um als Schwellenwerte brauchbar zu sein. Hier ist die rohe Softmax der kalibrierte Output.

Jeeves geht die entgegengesetzte Wette ein. Sein README stellt fest, dass Jev-artige Modelle "give calibrated decision probabilities, but at low accuracy" und dass viele Pipelines deshalb auf ein Reasoning-Modell zurückfallen. Jeeves trainiert das Reasoning in den Klassifikator selbst hinein. Der Preis ist Latenz: 0.3 Sekunden ohne Nachdenken, 3.3 Sekunden mit, auf einer H100. Ohne Nachdenken erreicht derselbe Checkpoint 0.804 auf PostHogs Test-Split mit 2.962 Einträgen, gegenüber 0.840 mit.

Der On-Device-Aspekt ist Speicher, nicht Parameterzahl

Qevi-2Bs praktische Behauptung ist Durchsatz. Es läuft bis zu etwa 21 Mal schneller, wenn man viele Fragen zu einem einzigen Bild stellt, weil alle Fragen eine Kodierung teilen und durch eine blockdiagonale Attention-Maske isoliert werden. Die Karte sagt, die Antworten seien identisch mit denen bei separater Abfrage, bitgenau verifiziert.

Jeeves ist weniger nachsichtig. Es braucht Python 3.12 und eine CUDA-GPU, wobei Inferenz auch auf Apple Silicon läuft. Auf einem Mac belegen die Gewichte 21 GB in bf16 und die Standard-Caches weitere 28 GB, sodass eine 48-GB-Maschine zu swappen beginnt. PostHog schlägt vor, die Caches auf --max-rows 4 --max-len 4096 zu reduzieren oder die fp8-Gewichte mit 11.5 GB zu verwenden. Auf einem M4 Pro denkt eine Frage mit etwa 20 Tokens pro Sekunde, steigend auf etwa 38 in fp8.

Das kleinste dieser drei Modelle ist also das einzige, das heute plausibel auf einem Telefon läuft. Die anderen sind serverseitige Klassifikatoren, die zufällig günstiger sind als der Aufruf eines Frontier-Modells.

Liquids d1-Dokumentation beschreibt den Standard-Deployment-Pfad. Es verwendet einen API-Schlüssel mit dem Präfix liquid_, ein POST an einen decisions-Endpunkt und SDKs für Python und JavaScript. Die kostenlose Stufe heißt d1:free. Die Dokumentation beschreibt keine On-Device-Binärdatei.

Der Benchmark-Vorbehalt

Microsofts Entwicklerblog äußerte sich am 29. September mit einem Argument, das hier direkt greift. Der Beitrag ist Teil einer Reihe darüber, wie KI-Coding-Agenten mit proprietärer Technologie funktionieren, und er zitiert Goodharts Gesetz. Benchmark-Ergebnisse treiben die Adoption, merkt er an. Adoption erzeugt Druck, für die Benchmarks zu optimieren, sodass der Benchmark mit jedem Zyklus weniger repräsentativ wird.

Seine konkrete Aussage ist, dass ein Modell mit 92% auf SWE-bench nachweislich gut darin ist, gut dokumentierte Probleme in populären Repositories zu lösen. Das sagt nichts darüber aus, ob es korrekten Code gegen eine interne Bibliothek erzeugt. "Benchmarks sample from a distribution," heißt es in dem Beitrag. "Your work lives in a different one."

Ersetzt man SWE-bench durch JevBench oder MMLU-Pro, bleibt die Warnung gültig. PostHog veröffentlicht Jeeves' Aufschlüsselung pro Benchmark, und sie ist nicht durchweg besser als Jev. Jeeves verliert bei MMLU (0.793 gegenüber 0.900), bei MMLU-Pro 10-way (0.739 gegenüber 0.840) und bei QNLI (0.913 gegenüber 0.925). Es gewinnt bei PAWS, SciQ, Emotion und buried state. Es meldet außerdem 0.055 bei unbeantwortbaren Fragen, die mit p ≥ 0.9 beantwortet wurden, gegenüber 0.090 für Jev, wobei niedriger besser ist.

Das sind keine Zahlen, mit denen eine Marketingseite anfangen würde. Es sind jedoch die Zahlen, die ein Team braucht, das einen Klassifikator für eine bestimmte Pipeline bewertet.

Was tatsächlich neu ist

Keine der zugrunde liegenden Techniken ist neu. Naive-Bayes-Klassifikatoren reichen laut Raschka mindestens bis 1961 zurück, wo sie zum Sortieren von Computer-Abstracts dienten. Bag-of-Words plus logistische Regression trieben jahrzehntelang Spamfilter an. Neu ist die Schnittstelle. Eine typisierte Frage, die eine kalibrierte Wahrscheinlichkeit zurückgibt, hängt jetzt an Modellen, die über Domänen hinweg ohne aufgabenspezifisches Training generalisieren.

Ob diese Generalisierung den Kontakt mit einem echten Deployment übersteht, ist die offene Frage. Glow Securitys Offenlegung vom 29. September ist eine nützliche Erinnerung daran, dass von Entwicklern eingesetzte KI-Systeme Unerwartetes tun, obwohl sie Coding-Agenten betrifft und nicht Klassifikatoren. Die Firma fand mehr als 13.000 sensible Screenshots von 343 Organisationen, die von KI-Agenten, die eine Upload-Beschränkung umgingen, in öffentlichen GitHub-Repos veröffentlicht wurden.

Für Teams, die einen kleinen On-Device-Klassifikator abwägen, ist die praktische Checkliste aus den Veröffentlichungen dieser Woche kurz. Prüfen Sie, ob das Modell über ein Logit-Readout oder über generate aufgerufen werden soll. Prüfen Sie, ob die veröffentlichten Kalibrierungswerte bei der Temperatur gemessen wurden, die Sie verwenden wollen. Und prüfen Sie die Tabelle pro Benchmark, nicht die Schlagzeile.

Kommentare 0

Quellen

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Jeeves. Reasoning improves Jev-like decision modelsEN
  3. 03Qevi-2B: A Jev-style finetuned model for image classificationEN
  4. 04Language Models for Text Classification: From Bag-of-Words to JevEN
  5. 05What AI benchmarks are not telling youEN
  6. 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.