Ollama ajoute des modèles de décision façon Jev, un classifieur 9B en local à 91ms
Ollama 0.35 livre un point d'accès /v1/systemone qui fait tourner des modèles de décision sur votre propre machine. Les deux premiers sont Nimble 9B de Bespoke Labs et tev1:0.8b de Together AI. Ollama indique que Nimble a mis en moyenne 91ms par décision lors d'un test local sur Pac-Man avec une M5 Max.

Le point d'accès, annoncé le 30 septembre, reprend la forme d'API de Jev, de TypeSafe. Vous envoyez un texte comme state et une série de questions nommées. Le modèle renvoie une réponse avec les probabilités de chaque option autorisée.
Ollama cite le tri de tickets, le routage de modèles et la modération de contenu ou de sécurité parmi les usages visés.
Pourquoi c'est important
Une classification qui demandait un aller-retour réseau est désormais un appel de fonction local. Disparaissent de la boucle les limites de débit, la facturation à l'appel et la dépendance à la disponibilité d'un fournisseur. Reste l'inconnue de la précision : Ollama a publié la latence, pas l'accord avec Jev sur du trafic réel. Pour qui branche un classifieur dans une boucle d'agent ou dans un tick de jeu, le budget change de forme. Et la sortie laisse une question en suspens : un modèle général entraîné ailleurs sera-t-il d'accord avec vos étiquettes ?
Jev, publié par TypeSafe le 14 septembre 2026 selon le dépôt de Bespoke Labs, est hébergé et rapide, mais chaque réponse demande encore environ 300ms, note le projet Jevstiller, à chaque charge testée : de 16 à 64 appelants simultanés, jusqu'à 190 requêtes par seconde, p50 à 300ms. Les limites publiées par TypeSafe en octobre 2026 sont de 80 requêtes et 100 000 tokens par seconde, modifiables à sa discrétion. Pour une boucle d'agent ou un tick de jeu, cet écart est tout l'argument.
Nimble est un modèle 9B affiné à partir de Qwen3.5-9B. La page de la bibliothèque d'Ollama indique qu'il traite trois types de questions (choisir dans une liste, vrai ou faux, et une note sur barème), accepte jusqu'à 64 questions sur le même texte en un seul appel, et répond en moins de 100ms sur un MacBook Pro équipé d'une M5 Max. L'exemple Pac-Man du blog le donne à 91ms. Le modèle a été entraîné sur des paires contrastives, où deux exemples diffèrent par un seul fait et où ce fait inverse la réponse.
La nouvelle API est disponible depuis Ollama 0.35 via le nouveau point d'accès /v1/systemone.
Bespoke Labs a publié son propre récit de la généalogie du modèle. Nimble-v1 est sorti le 18 septembre sous le nom Bespoke-Nimble-9B, avec ses données et sa recette d'entraînement. Ollama a ajouté Nimble-v2 le 29 septembre. Le 6 octobre, la v3 était le meilleur modèle ouvert sous 25 000 000 000 de paramètres au Decision Index. Puis v4 (9 000 000 000) et v4-max (27 000 000 000) ont été lancés sur l'API de Bespoke le 13 octobre, avec 63,70 et 68,46 sur la suite publique, contre 57,96 pour Jev 1.13 et 62,25 pour Perplexity Decider v1.1. Bespoke a mesuré ces deux modèles lors de sa propre campagne du 12 octobre et précise qu'ils ne figurent pas encore au tableau de bord du Decision Index.
Le dépôt insiste sur un point : Bespoke n'a pas distillé Jev. Il explique que le but est de montrer comment constituer les données, entraîner et servir un tel modèle. Les 2 676 exemples d'entraînement et 324 exemples de validation ont été omis de la première version par erreur et publiés le 20 septembre.
Faire tourner le modèle en local est l'autre moitié de l'argument. L'exemple de requête d'Ollama montre un ticket de support routé vers la facturation à 0,985 de probabilité, un indicateur de remboursement à 0,997 et un score d'urgence de 0,815, avec une confiance de 0,046 sur ce dernier. Ce chiffre bas rappelle utilement une chose : la confiance mesure la concentration des probabilités, pas la justesse de la réponse.
Le SDK de TypeSafe fonctionne avec le point d'accès local. Réglez TYPESAFE_BASE_URL sur localhost et la clé sur "ollama", et le client Python existant envoie les mêmes requêtes qu'au service hébergé. C'est le chemin de migration le moins coûteux proposé, et c'est pourquoi la forme d'API de Jev compte plus que n'importe quel modèle pris isolément.
Savoir si un 9B local tient la distance face à un spécialiste hébergé est une autre question, et les chiffres de Bespoke la compliquent. Jevstiller, un proxy qui distille une tâche de classification Jev répétée en un petit modèle local sur votre trafic, rapporte que sur Banking77 (77 intentions de support client) son modèle local a répondu à 61,7% des messages de validation avec 99,40% d'accord avec Jev, pour une cible de 98%. Sa campagne en production du 25 septembre donne 70,7% à 99,45%. Une réponse locale a pris environ 15ms sur CPU, soit à peu près 20 fois plus vite que Jev.
Deux choses ressortent. D'abord, un modèle local distillé peut maintenir un accord au-dessus de 99% tout en servant la majorité du trafic, ce qu'Ollama emballe aujourd'hui dans un seul point d'accès. Ensuite, il a fallu environ 4 000 requêtes avant que le modèle local prenne le relais dans la démonstration de 5 000 messages de Jevstiller. Le Nimble de Bespoke arrive déjà entraîné, donc l'échange est différent : pas de rodage, mais pas d'adaptation à vos étiquettes non plus.
La même semaine, les petits modèles embarqués ont continué d'arriver. Fulcrum a publié Echo, un modèle de rédaction qui, selon lui, bat les modèles de frontière en imitation de style et a coûté moins de 5 000 dollars à entraîner. Fermion Research a livré Phonon-2, un modèle de reconnaissance vocale en anglais dans un téléchargement de 164MB, avec une moyenne de 5,21% d'erreur de mot sur les sept jeux anglais de l'Open ASR Leaderboard, chaque modèle ouvert meilleur étant au moins 5,8 fois plus gros. Clarity de KugelAudio fait de l'amélioration de la parole et de l'extraction du locuteur principal par courts segments, avec environ 50ms de traitement par segment.
Aucun de ceux-là ne concurrence Nimble directement. Ils montrent le même schéma : une tâche étroite, un petit modèle, et un budget de latence en millisecondes plutôt qu'en secondes. Le lancement d'Embed 5 par Cohere le même jour a pris le pari inverse, en vendant un modèle de recherche à contexte de 128 000 tokens à 0,12 dollar par million de tokens pour Pro et 0,08 dollar pour Fast, les deux offres partageant un même espace d'embedding.
L'idée de modèle de décision a aussi un revers gênant. Un modèle qui renvoie une réponse typée et une probabilité invite à automatiser la décision. Des travaux relayés par la Substack de Lauren Leek ont montré que onze modèles, testés sur environ 3 000 vraies questions de conseil dans le benchmark ELEPHANT, validaient la personne qui demande 72% du temps, contre 22% pour une base humaine, et refusaient de donner une recommandation directe 84% du temps, contre 21%. Il s'agit de conseil, pas de tri, mais le mode de défaillance a la même forme : une réponse assurée qui n'est pas celle qu'on voulait.
Ollama annonce d'autres modèles de décision, dont des modèles servis depuis son cloud. Le tev1:0.8b de Together est déjà listé comme expérimental. Ni Ollama ni TypeSafe n'ont dit ce qu'il adviendra du tarif de Jev si les modèles de décision locaux prennent le gros du volume.
Pour l'instant, la question pratique est étroite. Si votre charge consiste à classer puis agir, avec un budget de latence en millisecondes ou une machine sans connexion sortante, Ollama 0.35 offre un moyen pris en charge de la faire tourner. Si vos étiquettes sont propres à votre activité et que votre trafic est important, un proxy de distillation par-dessus Jev peut encore battre un modèle général. Les deux ne s'excluent pas, et rien dans l'une ou l'autre sortie ne vous empêche de faire tourner les deux.
Sources
9- 01Ollama now supports Jev-style decision modelsEN
- 02Ollama library: nimbleEN
- 03Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
- 04Jevstiller: Distill a repeated Jev classification task into a local modelEN
- 05Echo – A SOTA writing model for style imitationEN
- 06Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
- 07Clarity, a streaming model for speech enhancement and target speaker extractionEN
- 08Cohere: Embed 5 – A New Family of Frontier Embedding ModelsEN
- 09I Outsource My Biggest Decisions to a Chatbot – and None of the Small OnesEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.