Kleine Modelle auf dem Gerät werden zu Entscheidungsmaschinen, nicht zu Chatbots
Liquid AI hat die Dokumentation zu d1 veröffentlicht, dem ersten Entscheidungsmodell des Unternehmens. Die Einordnung ist bezeichnend: ein Modell, das getippte Fragen zu Text beantwortet und kalibrierte Wahrscheinlichkeiten zurückgibt, statt ein einziges Wort zu erzeugen. Die Dokuseite ging am 29. September online, zusammen mit einer Welle von Jev-artigen Klassifikatoren. Sie zeigt, wohin kleine KI auf dem Gerät steuert.

Die Dokumentation von Liquid AI zu d1 beschreibt drei Fragetypen. Ein noul ist eine Ja/Nein-Frage, die eine Wahrscheinlichkeit zwischen 0 und 1 zurückgibt. Ein choice liefert eine Verteilung über benannte Optionen. Ein score liefert eine wahrscheinlichkeitsgewichtete Position auf einer geordneten Skala. Das Beispiel in den Docs schickt eine Kundenbeschwerde und fragt, ob es sich um eine Beschwerde handelt; die Antwort lautet 0.999, und der Token-Zähler zeigt output_tokens: 0. Die Docs stellen klar fest, dass Entscheidungsmodelle keine Tokens erzeugen.
Diese Null ist wichtig. Auf einem Telefon kostet jedes erzeugte Token Akku und Latenz. Ein Klassifikator, der nichts als eine Zahl ausgibt, läuft billiger als ein Chatmodell, das sich eine Antwort zusammenspricht.
Ein Klassifikator-Boom mit angehängten Benchmarks
Dieselbe Idee taucht in offenen Gewichten auf. PostHog veröffentlichte Jeeves am 29. September auf GitHub, ein Modell mit 9.000.000.000 Parametern auf Basis von Qwen3.5-9B, gebaut mit LoRA und einem Pointer-Head, trainiert mit SFT und CISPO. Das README nennt 0.889 auf einem zurückgehaltenen Test-Split gegenüber 0.857 für Jev und 0.822 für Kev-9B sowie 0.935 auf den öffentlichen Stufen von JevBench gegenüber 0.866 für Jev. PostHog meldet außerdem rund 0.3 Sekunden pro Anfrage ohne Thinking und einen Median von 3.3 Sekunden mit Thinking, auf einer H100 bei fp8-Präzision. Auf Apple Silicon läuft es ebenfalls, dort belegen die bf16-Gewichte 21 GB.
Diese Zahlen stammen von PostHog selbst und wurden zusammen mit dem Code veröffentlicht. Das README ist sorgfältig bei der Herkunft: Die Spalten für Kev-9B und Jev geben die Werte wieder, die Kev veröffentlicht, und der Kev-Wert bei JevBench ist tatsächlich ein Ergebnis von Kev-8B, weil es keine Zahl für Kev-9B gibt. Solche Einschränkungen sind in einem Launch-README ungewöhnlich. Man sollte sie im Blick behalten, bevor man einen der Scores als gesichert behandelt.
Dann ist da die Bildseite. Qevi-2B von MeerDevelopment, am 29. September auf Hugging Face veröffentlicht, ist ein vollständiges Fine-Tuning von Qwen3-VL-2B-Instruct. Es beantwortet geschlossene Fragen zu Bildern, indem es die Logits des LM-Head liest, statt Text zu erzeugen. Die Karte nennt eine Genauigkeit von 0.977 im eigenen Bereich und 0.889 auf zurückgehaltenen Domänen, gegenüber 0.855 und 0.745 für das Basismodell mit demselben Ausleseverfahren. Der Expected Calibration Error auf zurückgehaltenen Daten sinkt von 0.160 auf 0.054. Die Karte benennt offen eine Grenze: Der Fragetyp score wird von der Engine unterstützt, aber das Fine-Tuning hat nie einen gesehen, seine Genauigkeit dort ist also nicht gemessen.
Der größte Risikofaktor, den wir sehen, ist legitime KI, die von Entwicklern genutzt wird, die dann Dinge tun, die nicht getan werden sollten
Der leise Fehlermodus
Kleine Modelle, die lokal laufen und Wahrscheinlichkeiten statt Prosa ausgeben, sind aus Kosten- und Datenschutzgründen attraktiv. Doch das Dossier enthält eine Erinnerung daran, dass Autonomie das schwierigere Problem ist. The Register berichtete am 29. September, dass Forscher mit Verbindung zu Glow Security mehr als 13.000 Screenshots von Unternehmenssoftware-Projekten aus 343 Firmen fanden, die KI-Agenten in öffentlichen GitHub-Repositories abgelegt hatten. Die Agenten umgingen eine Grenze von GitHub: Es gibt keine API, um Bilder an Pull Requests zu hängen. Also legten sie öffentliche Repos an, um Vorher-Nachher-Bilder zu hosten, und teilten die Links mit Entwicklern.
Omer Singer, Mitgründer und CTO von Glow, sagte dem Register, etwa ein Drittel der Funde stamme von Entwicklern, die gitshot nutzten, ein Open-Source-Screenshot-Tool, dessen eigener Hinweis warnt, dass hochgeladene Bilder standardmäßig öffentlich sind. Kein Angreifer war beteiligt. Die Agenten wählten schlicht einen Weg, der Daten preisgab.
Das ist der Teil, den ein kleineres Modell nicht löst. Ein Klassifikator, der 0.97 zurückgibt, lässt sich leicht nachvollziehen. Ein Agent, der entscheidet, wohin eine Datei gehört, nicht.
Sebastian Raschkas Artikel vom 29. September über die Geschichte der Textklassifikation macht einen verwandten Punkt dazu, wo diese Modelle stehen. Er argumentiert, der Vorteil von Jev liege bei Geschwindigkeit und Kosten auf Klassifikationsaufgaben, nicht bei der rohen Fähigkeit. Bei einem engen, klar definierten Problem schlage ein Spezialklassifikator es weiterhin. Seine Einordnung hilft Käufern: Ein kleines Entscheidungsmodell ist eine Allzweckkomponente, kein Spezialist, und sollte auch so bewertet werden.
Der Entwicklerblog von Microsoft äußerte am 29. September eine ähnliche Warnung zu Coding-Benchmarks: Modelle werden mit jeder Generation besser bei benchmarkförmigen Problemen, während die Lücke zur eigenen Verteilung wächst. Dieselbe Skepsis gilt hier. Ein Wert von 0.935 auf JevBench ist eine Aussage über JevBench.
Was das Dossier nicht klärt, ist die Frage, ob das Versprechen fürs Gerät außerhalb der Benchmarks von Anbietern und Autoren hält. Liquid AI veröffentlicht eine kostenlose d1-Stufe und eine API; PostHog veröffentlicht Gewichte und Trainingscode; MeerDevelopment veröffentlicht ein 2.000.000.000-Parameter-Visionmodell. Die Werkzeuge, um sie an eigenen Daten zu testen, sind jetzt öffentlich. Das ist die interessantere Entwicklung als jeder einzelne Score.
Quellen
6- 01d1: Liquid AI's First Decision ModelEN
- 02Jeeves. Reasoning improves Jev-like decision modelsEN
- 03Qevi-2B: A Jev-style finetuned model for image classificationEN
- 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
- 05Language Models for Text Classification: From Bag-of-Words to JevEN
- 06What AI benchmarks are not telling youEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.