Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Les petits modèles apprennent à répondre sans écrire : les modèles de décision arrivent en local

Le 29 septembre, Liquid AI a publié la documentation de d1, son premier modèle de décision. Il renvoie des probabilités calibrées en un seul appel, sans générer le moindre token. C'est la dernière entrée d'une classe de petits classifieurs embarqués qui évolue vite, avec Jev, Qevi-2B et Jeeves de PostHog.

IA & modèlesExpliquéSophie LeclercPublié le: 29 septembre 20265 min de lectureSources 6
Les petits modèles apprennent à répondre sans écrire : les modèles de décision arrivent en local

La promesse est étroite et précise : un modèle qui n'écrit pas. D'après la documentation de Liquid AI, publiée le 29 septembre, d1 évalue un état et renvoie des probabilités sur un ensemble fixe de résultats. L'exemple de la société envoie une réclamation client et récupère un seul nombre, 0.999, pour la question « Is this message a complaint? »

Liquid appelle ce format un modèle de décision. Trois types de questions sont pris en charge, et la documentation les décrit simplement. Une question « noul » est de type oui/non et renvoie une probabilité entre 0 et 1. Une question « choice » renvoie une distribution sur des options nommées. Une question « score » renvoie une position pondérée par les probabilités sur une grille ordonnée. La réponse de l'API contient un champ output_tokens toujours égal à zéro.

Pourquoi les petits modèles intéressent soudain

Liquid n'est pas seul sur ce créneau. Le 29 septembre, Sebastian Raschka a publié une analyse technique sur l'histoire de la classification de textes. Il y présente le récent modèle Jev d'abord comme un classifieur, ensuite comme un phénomène de mode. Son argument : sur une tâche étroite, Jev n'est ni meilleur ni moins cher qu'un classifieur dédié, mais il est bien plus général que ces modèles spécialisés tout en restant beaucoup plus rapide et moins coûteux qu'un LLM de pointe.

C'est cette combinaison, une généralité moyenne à faible coût par appel, qui rend l'usage embarqué crédible. Un modèle de 2 000 000 000 ou de 9 000 000 000 de paramètres qui renvoie une probabilité au lieu d'un paragraphe peut tourner sur du matériel hors de portée d'un modèle de pointe.

Qevi-2B, mis en ligne sur Hugging Face le 29 septembre, est la version côté image. C'est un fine-tuning complet de Qwen3-VL-2B-Instruct qui répond à des questions fermées sur des images en lisant les logits à la position où le modèle commencerait à répondre, sans générer de texte. La fiche du modèle ne cache pas le compromis : « Ce n'est pas un modèle de conversation. Demandez-lui “is there a ladder in this image?” et il renvoie P(Yes) = 0.97, pas une phrase. »

La fiche annonce une précision de 0.977 en domaine contre 0.855 pour le modèle de base, et de 0.889 sur des domaines tenus à l'écart contre 0.745. L'erreur de calibration attendue sur ces données passe de 0.160 à 0.054. Un avertissement attend ceux qui voudraient empiler un temperature scaling par-dessus : à T = 2.45, l'ECE hors domaine remonte à 0.160, ce qui efface tout le gain.

La vitesse est l'autre moitié de l'argument. Qevi-2B annonce jusqu'à environ 21 fois plus rapide lorsqu'on pose plusieurs questions sur une même image, parce que les trois questions d'exemple partagent un seul encodage et sont séparées par un masque d'attention bloc-diagonal. La fiche précise que les réponses sont identiques à celles obtenues en posant les questions séparément, vérifié bit à bit.

« Le plus gros facteur de risque que nous voyons, c'est de l'IA légitime utilisée par des développeurs, mais pour faire des choses qui ne devraient pas être faites », a déclaré Omer Singer, cofondateur et CTO de Glow Security, dans un entretien avec The Register.

Le revers : des agents qui fuient en aidant

Cette citation n'a pas grand-chose à voir avec la précision de classification, et tout à voir avec le déploiement. Le 29 septembre, The Register a rapporté que des chercheurs de Glow Security avaient trouvé plus de 13 000 captures d'écran sensibles de projets logiciels d'entreprise, issues de 343 sociétés, publiées sur des dépôts GitHub publics par des agents IA. Ils appellent cela PixelLeak.

Le mécanisme est banal. GitHub n'a pas d'API pour téléverser des images dans une pull request, alors les agents chargés de montrer des captures d'interface avant/après les placent dans un dépôt public. Environ un tiers des fuites viennent de développeurs qui utilisent gitshot, un outil de capture open source dont la propre notice de confidentialité prévient que les images téléversées sont publiques par défaut.

Rien de tout cela n'est causé par les petits modèles. Mais c'est l'environnement dans lequel on les vend : assez bon marché pour tourner en permanence, intégrés aux outils de développement, agissant sans humain dans la boucle. Un classifieur qui tourne sur un ordinateur portable resserre cette boucle.

Du raisonnement, mais juste un peu

Jeeves de PostHog, publié sur GitHub le 29 septembre, tente de corriger le problème de précision des modèles de type Jev sans abandonner le format. C'est un classifieur de style Jev de 9 000 000 000 de paramètres, bâti sur Qwen3.5-9B avec du LoRA et une tête pointeur, entraîné à raisonner avant de décider, avec un drafter par diffusion bloc-4.

Les chiffres du dépôt le comparent à Kev-9B et à Jev sur des données qu'il n'a jamais vues à l'entraînement : 0.889 contre 0.822 et 0.857. Sur les paliers publics de JevBench, il annonce 0.935 contre 0.866 pour Jev. Le prix à payer est la latence. Sans réflexion, une requête prend environ 0.3 seconde ; avec réflexion, une médiane de 3.3 secondes sur un seul H100 en précision FP8. Le dépôt note que tronquer la chaîne raccourcit ce délai.

Le tableau de Jeeves contredit aussi l'idée simple que le raisonnement aide toujours. Sur MMLU-Pro, il obtient 0.739 contre 0.840 pour Jev, et sur MMLU 0.793 contre 0.900. Les auteurs ne lissent pas ces résultats : ils les publient côte à côte.

Le blog développeurs de Microsoft, dans un billet du 29 septembre sur l'Agent Experience, en donne la version générale. Les scores aux benchmarks orientent l'adoption, l'adoption pousse à l'optimisation pour le benchmark, et le score cesse de dire quoi que ce soit sur votre propre base de code. « Un modèle excellent sur Django peut être médiocre sur votre framework interne qui ressemble superficiellement à Django mais fonctionne différemment sur des points critiques », écrit le billet. La même logique vaut pour un modèle de décision testé sur des paliers publics puis installé dans votre file de tickets.

C'est en local que ces fils se rejoignent. Qevi-2B annonce 21 GB de poids en bf16, et Jeeves indique qu'un Mac Apple Silicon a besoin de 48 GB ou plus pour les caches par défaut, même si le FP8 ramène les poids à 11.5 GB et que des réglages de cache plus petits tiennent sur une machine de 48 GB. Ce n'est pas un téléphone. C'est un ordinateur portable, ce qui reste une cible de déploiement différente d'un centre de données, et c'est là que l'étiquette « petit modèle » fait un vrai travail.

Ce qu'aucune de ces sorties ne tranche : le cadre de la classification survit-il au contact des questions désordonnées de la production ? Un 0.97 se seuille facilement. Une question « score » dont la calibration n'est pas mesurée, ce que la fiche de Qevi-2B dit de son propre type « score », non.

Commentaires 0

Sources

6
  1. 01d1: Liquid AI's First Decision ModelEN
  2. 02Qevi-2B: A Jev-style finetuned model for image classificationEN
  3. 03Jeeves. Reasoning improves Jev-like decision modelsEN
  4. 04AI models keep posting screenshots showing sensitive data from inside tech companiesEN
  5. 05Language Models for Text Classification: From Bag-of-Words to JevEN
  6. 06What AI benchmarks are not telling youEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.