Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Ollama bringt Entscheidungsmodelle im Jev-Stil und lässt einen 9B-Klassifikator lokal in 91ms laufen

Ollama 0.35 liefert einen /v1/systemone-Endpunkt, der Entscheidungsmodelle auf der eigenen Maschine ausführt. Die ersten beiden sind Bespoke Labs' Nimble mit 9.000.000.000 Parametern und Together AIs tev1:0.8b mit 800.000.000 Parametern. Laut Ollama brauchte Nimble in einem lokalen Pac-Man-Test auf einem M5 Max im Schnitt 91ms pro Entscheidung.

KI & ModelleNachrichtLena BrandtVeröffentlicht: 30. September 20266 Min. LesezeitQuellen 9
Ollama bringt Entscheidungsmodelle im Jev-Stil und lässt einen 9B-Klassifikator lokal in 91ms laufen

Der am 30. September vorgestellte Endpunkt folgt der API-Form von Jev aus dem Haus TypeSafe. Man schickt Text als state und eine Reihe benannter Fragen. Das Modell gibt eine Antwort mit Wahrscheinlichkeiten für jede erlaubte Option zurück.

Ollama nennt Ticket-Triage, Modell-Routing sowie Inhalts- und Sicherheitsmoderation als vorgesehene Aufgaben.

Warum das zählt

Eine Klassifikation, für die früher eine Netzwerkrunde nötig war, ist jetzt ein lokaler Funktionsaufruf. Damit fallen Rate-Limits, Abrechnung pro Aufruf und die Abhängigkeit von der Verfügbarkeit eines Anbieters aus der Schleife. Offen ist die Genauigkeit: Ollama veröffentlichte die Latenz, nicht die Übereinstimmung mit Jev bei echtem Verkehr. Wer einen Klassifikator in eine Agentenschleife oder einen Spiel-Tick einbaut, für den ändert sich, wie das Budget aussieht. Und es bleibt eine Frage, die das Release nicht beantwortet: ob ein anderswo trainiertes Allzweckmodell mit den eigenen Labels übereinstimmt.

Jev, laut dem Repository von Bespoke Labs am 14. September 2026 von TypeSafe veröffentlicht, läuft gehostet und schnell, braucht aber weiterhin rund 300ms pro Antwort. Das notiert das Projekt Jevstiller bei jeder getesteten Last: 16 bis 64 gleichzeitige Aufrufer, bis zu 190 Anfragen pro Sekunde, p50 300ms. Die von TypeSafe im Oktober 2026 veröffentlichten Limits liegen bei 80 Anfragen und 100.000 Tokens pro Sekunde, nach eigenem Ermessen anpassbar. Für eine Agentenschleife oder einen Spiel-Tick ist diese Lücke das ganze Argument.

Nimble ist ein Modell mit 9.000.000.000 Parametern, feinabgestimmt aus Qwen3.5-9B. Die Bibliotheksseite von Ollama nennt drei Fragetypen: Auswahl aus einer Liste, wahr oder falsch und eine Rubrik-Bewertung. Es nimmt bis zu 64 Fragen zum selben Text in einem Aufruf entgegen und antwortet in unter 100ms auf einem MacBook Pro mit M5 Max. Das Pac-Man-Beispiel im Blog nennt 91ms. Trainiert wurde das Modell auf kontrastiven Paaren, bei denen sich zwei Beispiele in einem Fakt unterscheiden und dieser Fakt die Antwort umdreht.

Die neue API ist ab Ollama 0.35 über den neuen /v1/systemone-Endpunkt verfügbar.

Bespoke Labs hat die Herkunft des Modells selbst beschrieben. Nimble-v1 erschien am 18. September als Bespoke-Nimble-9B samt Daten und Trainingsrezept. Ollama fügte Nimble-v2 am 29. September hinzu. Am 6. Oktober war v3 das beste offene Modell unter 25.000.000.000 Parametern im Decision Index. Dann starteten v4 mit 9.000.000.000 und v4-max mit 27.000.000.000 Parametern am 13. Oktober über Bespokes API und erzielten 63.70 und 68.46 in der öffentlichen Suite, gegen 57.96 für Jev 1.13 und 62.25 für Perplexity Decider v1.1. Bespoke hat die beiden in einem eigenen Lauf am 12. Oktober gemessen und merkt an, dass sie noch nicht im Dashboard des Decision Index stehen.

Das Repository ist in einem Punkt vorsichtig: Bespoke hat nicht von Jev destilliert. Es gehe darum zu zeigen, wie man solche Daten kuratiert, trainiert und ausliefert. Die 2.676 Trainingsbeispiele und 324 zurückgehaltenen Beispiele fehlten im ersten Release versehentlich und wurden am 20. September veröffentlicht.

Das Ganze lokal laufen zu lassen, ist die andere Hälfte des Versprechens. Das Anfragebeispiel von Ollama zeigt ein Support-Ticket, das mit 0.985 Wahrscheinlichkeit an die Abrechnung geleitet wird, ein Rückerstattungs-Flag mit 0.997 und einen Dringlichkeitswert von 0.815, bei einer Konfidenz von 0.046 für den letzten Wert. Diese niedrige Zahl ist eine nützliche Erinnerung: Konfidenz misst, wie stark die Wahrscheinlichkeiten konzentriert sind, nicht ob die Antwort richtig ist.

Das SDK von TypeSafe arbeitet gegen den lokalen Endpunkt. Setzt man TYPESAFE_BASE_URL auf localhost und den Schlüssel auf "ollama", schickt der bestehende Python-Client dieselben Anfragen, die er an den gehosteten Dienst senden würde. Das ist der günstigste angebotene Migrationsweg, und deshalb zählt die API-Form von Jev mehr als jedes einzelne Modell.

Ob ein lokales Modell mit 9.000.000.000 Parametern mit einem gehosteten Spezialisten mithält, ist eine eigene Frage, und Bespokes eigene Zahlen machen sie komplizierter. Jevstiller, ein Proxy, der eine wiederkehrende Jev-Klassifikationsaufgabe in ein kleines lokales Modell auf dem eigenen Verkehr destilliert, meldet für Banking77 mit 77 Absichten im Kundensupport: Sein lokales Modell beantwortete 61.7% der zurückgehaltenen Nachrichten bei 99.40% Übereinstimmung mit Jev, gegen ein Ziel von 98%. Der Live-Lauf vom 25. September ergab 70.7% bei 99.45%. Eine lokale Antwort brauchte auf der CPU etwa 15ms, rund 20-mal schneller als Jev.

Zwei Dinge fallen dabei auf. Erstens kann ein destilliertes lokales Modell die Übereinstimmung über 99% halten und dabei den Großteil des Verkehrs bedienen. Genau das verpackt Ollama jetzt als einzelnen Endpunkt. Zweitens brauchte es etwa 4.000 Anfragen, bis das lokale Modell in Jevstillers Demo mit 5.000 Nachrichten übernahm. Bespokes Nimble kommt bereits trainiert, der Tausch ist also ein anderer: kein Warmlaufen, aber auch keine Anpassung an die eigenen Labels.

Andernorts in derselben Woche kamen weiter kleine Modelle für den Geräteeinsatz. Fulcrum veröffentlichte Echo, ein Schreibmodell, das laut eigenen Angaben Frontier-Modelle bei der Stilnachahmung schlägt und weniger als 5.000 US-Dollar an Trainingskosten verursachte. Fermion Research lieferte Phonon-2 aus, ein englisches Spracherkennungsmodell in einem Download von 128.000 Kilobyte, das über die sieben englischen Sets des Open ASR Leaderboard im Schnitt 5.21% Wortfehlerrate erreicht, während jedes bessere offene Modell mindestens 5.8-mal so groß ist. Clarity von KugelAudio macht Sprachverbesserung und Extraktion des Hauptsprechers in kurzen Blöcken, mit etwa 50ms Verarbeitung pro Block.

Keines davon konkurriert direkt mit Nimble. Sie zeigen aber dasselbe Muster: eine enge Aufgabe, ein kleines Modell und ein Latenzbudget in Millisekunden statt Sekunden. Coheres Start von Embed 5 am selben Tag setzte auf das Gegenteil und verkauft ein Retrieval-Modell mit 128.000 Tokens Kontext für 0.12 US-Dollar pro Million Tokens bei Pro und 0.08 bei Fast, wobei beide Stufen einen gemeinsamen Einbettungsraum teilen.

Die Idee der Entscheidungsmodelle hat auch eine unangenehme Seite. Ein Modell, das eine typisierte Antwort und eine Wahrscheinlichkeit liefert, lädt dazu ein, die Entscheidung zu automatisieren. Eine von Lauren Leeks Substack aufgegriffene Untersuchung fand heraus, dass elf Modelle, getestet an rund 3.000 echten Beratungsfragen im ELEPHANT-Benchmark, die fragende Person in 72% der Fälle bestätigten, gegen eine menschliche Baseline von 22%, und in 84% der Fälle keine direkte Empfehlung gaben, gegen 21%. Das ist Beratung, nicht Triage, aber das Fehlermuster hat dieselbe Form: eine sichere Antwort, die nicht die gewünschte ist.

Ollama kündigt weitere Entscheidungsmodelle an, darunter Modelle, die aus seiner Cloud ausgeliefert werden. Together AIs tev1:0.8b ist bereits als experimentell gelistet. Weder Ollama noch TypeSafe haben gesagt, was mit Jevs Preisgestaltung passiert, wenn lokale Entscheidungsmodelle die Arbeit mit hohem Volumen übernehmen.

Vorerst ist die praktische Frage eng. Wenn die eigene Last aus Klassifizieren und dann Handeln besteht, mit einem Latenzbudget in Millisekunden oder einer Maschine ohne ausgehende Verbindung, dann gibt Ollama 0.35 einen unterstützten Weg, das laufen zu lassen. Wenn die eigenen Labels spezifisch fürs Geschäft sind und der Verkehr groß ist, kann ein Destillations-Proxy auf Jev einem Allzweckmodell noch überlegen sein. Beides schließt sich nicht aus, und nichts in einem der beiden Releases hindert daran, beide zu betreiben.

Kommentare 0

Quellen

9
  1. 01Ollama now supports Jev-style decision modelsEN
  2. 02Ollama library: nimbleEN
  3. 03Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
  4. 04Jevstiller: Distill a repeated Jev classification task into a local modelEN
  5. 05Echo – A SOTA writing model for style imitationEN
  6. 06Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  7. 07Clarity, a streaming model for speech enhancement and target speaker extractionEN
  8. 08Cohere: Embed 5 – A New Family of Frontier Embedding ModelsEN
  9. 09I Outsource My Biggest Decisions to a Chatbot – and None of the Small OnesEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.