Les modèles de décision façon Jev passent sur l'appareil : Qevi-2B et d1 visent les questions fermées
Un classificateur d'images de 2 milliards de paramètres, mis en ligne sur Hugging Face mardi, affirme répondre à des questions fermées sur des photos jusqu'à 21 fois plus vite que le modèle de base à partir duquel il a été affiné. Dernier signe en date que le format de modèle de décision façon Jev s'étend au-delà du texte.

La fiche du modèle Qevi-2B, publiée le 29 septembre, décrit un affinage complet de Qwen3-VL-2B-Instruct qui ne génère jamais une phrase. Demandez-lui si une échelle figure sur une image : il renvoie P(Yes) = 0.97, lu directement dans les logits de la tête du modèle de langage, à la position où le modèle de base aurait commencé sa réponse. La fiche précise qu'appeler .generate() puis analyser le texte ne reproduira pas les chiffres annoncés, parce que ce n'est pas le chemin sur lequel le modèle a été affiné.
Les gains revendiqués portent sur la précision et la calibration, pas sur la capacité brute.
Face au Qwen3-VL-2B-Instruct de base, passé par le même chemin de lecture sur les mêmes images, Qevi-2B obtient 0.977 en domaine contre 0.855, et 0.889 sur 12 domaines d'images mis de côté contre 0.745. L'erreur de calibration attendue sur les données mises de côté tombe de 0.160 à 0.054.
Une seule passe avant, plusieurs questions
La promesse de vitesse vient du groupement des questions. Le moteur qevi fourni partage un seul encodage de l'image entre plusieurs questions et les isole avec un masque d'attention en blocs diagonaux. La fiche affirme que les réponses sont alors identiques à celles obtenues en posant les questions séparément, vérifié bit à bit. Le dépôt prévient aussi que le type de question score, une notation ordonnée sur une grille, n'a jamais figuré dans le corpus d'entraînement, lequel contenait 57 000 questions noul (oui/non) et 28 500 questions choice. La précision et la calibration du score sont décrites comme non mesurées et non testées.
Ce vocabulaire de types de questions n'est pas une invention de Qevi. La documentation des modèles de décision de Liquid AI, mise à jour le 29 septembre, définit les trois mêmes formes : noul pour une probabilité oui/non entre 0 et 1, choice pour une distribution sur des options nommées, et score pour une position pondérée par probabilité sur une échelle ordonnée. La documentation dit explicitement que les modèles de décision génèrent zéro token. Un exemple de requête de classification de plaintes renvoie noul: 0.999 avec output_tokens: 0.
La façon dont Liquid explique quand utiliser tel ou tel type mérite d'être citée, parce qu'elle colle à l'argument de l'embarqué. « Si votre code se branche sur une catégorie, utilisez un Choice. S'il compare à un seuil sur un continuum, utilisez un Score. S'il teste un booléen, utilisez un Noul », écrit la documentation. Un classificateur qui renvoie un flottant calibré est plus facile à seuiller dans une application mobile qu'un modèle génératif dont il faut analyser la réponse.
La version raisonnante va dans l'autre sens
Tout le monde ne pousse pas vers moins de paramètres et moins de délibération. Le dépôt Jeeves de PostHog, publié sur GitHub le 29 septembre, prend un modèle de 9 milliards de paramètres proche de Jev (Qwen3.5-9B avec LoRA et une tête pointeur) et l'entraîne avec CISPO à réfléchir avant de décider. Le README annonce 0.889 sur un jeu de test mis de côté, contre 0.857 pour Jev et 0.822 pour Kev-9B, et 0.935 sur les niveaux publics de JevBench contre 0.866 pour Jev.
Le prix à payer est la latence.
Jeeves met environ 0.3 seconde par requête sans raisonnement, et une médiane de 3.3 secondes avec, sur un seul H100 en précision FP8. Le README note que le même point de contrôle obtient 0.804 sur le jeu de test des auteurs sans raisonnement, contre 0.840 avec. Sur un M4 Pro, une question raisonne à environ 20 tokens par seconde, ou environ 38 en FP8. Les poids occupent 21 GB en bf16, ou 11.5 GB quantifiés, ce qui, selon le README, exige un Mac de 48 GB et des caches plus petits pour éviter le swap.
C'est une cible de déploiement différente de celle de Qevi-2B, et les deux projets tirent dans des directions opposées sur un même format de fond.
D'où vient le format
L'explication publiée par Sebastian Raschka le 29 septembre retrace la lignée depuis les représentations en sac de mots et le bayésien naïf, en passant par les réseaux récurrents et convolutifs, jusqu'aux classificateurs de l'ère transformer. Il situe Jev dans un entre-deux inconfortable. Les grands modèles de langage de pointe savent faire les mêmes tâches de classification « tout en étant capables de prise de décision bien plus générale », écrit-il, mais Jev les traite plus vite et à moindre coût. À l'extrême inverse, un classificateur dédié l'égalera sur un problème bien défini. Raschka précise qu'il n'a aucun lien avec Jev et qu'on ne lui a pas offert d'accès gratuit.
Son historique fournit aussi un garde-fou utile contre l'emballement. La classification de textes par bayésien naïf remonte au moins à 1961, où elle servait à trier des résumés d'informatique, et Raschka rappelle que le premier filtre anti-spam de Gmail aurait utilisé un modèle bayésien naïf sur une représentation en sac de mots. Lire des logits à une position fixe est un choix de plomberie plus récent, pas une idée nouvelle sur ce qu'est la classification.
La calibration est le chiffre à surveiller
Pour un usage embarqué, le chiffre intéressant de la fiche Qevi-2B n'est pas la précision mais le tableau de calibration. Les auteurs rapportent qu'appliquer une mise à l'échelle par température par-dessus l'affinage dégrade la calibration, parce que le lissage des étiquettes pendant l'entraînement a déjà retiré l'excès de confiance du modèle de base : l'ECE est de 0.054 à T = 1.0, de 0.051 à T = 1.5, et remonte à 0.160 à T = 2.45, soit essentiellement la valeur du modèle de base sur les données mises de côté. Des versions antérieures de la fiche, qui recommandaient 2.45, avaient été ajustées sur le modèle de base avant l'affinage, et la fiche indique désormais qu'il ne faut pas les utiliser.
Deux réserves s'imposent.
Qevi-2B comme Jeeves publient leurs propres chiffres, et les colonnes Jev et Kev du README de Jeeves sont décrites comme les chiffres publiés par Kev, restreints aux mêmes éléments de référence publics ; le niveau du juge scellé est exclu. Aucune réplication indépendante de ces chiffres ne figure dans le dossier.
Un débat anime aussi la question de ce que signifient les scores de référence. Un billet de Microsoft for Developers du 29 septembre cite la loi de Goodhart, « quand une mesure devient un objectif, elle cesse d'être une bonne mesure », et pointe les recoupements entre les tâches des références publiques et les corpus d'entraînement. Un modèle qui obtient 92% sur SWE-bench, soutient le billet, « ne dit rien sur la capacité de ce même modèle à produire du code correct avec votre bibliothèque d'authentification interne ». Le même scepticisme vaut pour les niveaux de JevBench.
La direction, elle, est assez claire. Un modèle de vision de 2 milliards de paramètres qui renvoie des probabilités seuillées à partir des logits, un modèle de texte de 9 milliards de paramètres qui raisonne avant de classer, et une API hébergée qui facture zéro token de sortie sont trois implémentations du même pari : beaucoup de décisions de production n'ont pas besoin de prose générée.
Sources
6- 01Qevi-2B: A Jev-style finetuned model for image classificationEN
- 02d1: Liquid AI's First Decision ModelEN
- 03Jeeves. Reasoning improves Jev-like decision modelsEN
- 04Language Models for Text Classification: From Bag-of-Words to JevEN
- 05What AI benchmarks are not telling youEN
- 06AI models keep posting screenshots showing sensitive data from inside tech companiesEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.