Les petits modèles de langage passent sur l'appareil, mais les signaux de confiance restent en retard
La famille OpenELM d'Apple va de 270 000 000 à 3 000 000 000 de paramètres, et Google livre désormais Gemma 3n avec des entrées texte, image, vidéo et audio. Un article arXiv de 2026 rapporte toutefois que l'entropie au niveau des tokens est pratiquement aveugle dans les modèles de moins de 3 000 000 000 de paramètres.

Les petits modèles de langage embarqués ne sont plus une curiosité de laboratoire. En deux ans, ils sont passés de poids de démonstration sur Hugging Face à des bibliothèques livrées en production. Ces bibliothèques ajoutent la recherche documentaire, l'appel de fonctions et les entrées multimodales. L'argument est toujours le même : garder l'inférence sur le téléphone ou l'ordinateur portable, réduire les coûts serveur, garder les données de l'utilisateur en local.
Les outils qui indiquent à ces modèles quand ils se trompent n'ont pas suivi le même rythme.
De huit petits modèles à une bibliothèque
Apple a ouvert cette phase le 24 avril 2024. L'entreprise a publié huit modèles de langage à code source disponible sous le nom OpenELM, pour Open-source Efficient Language Models, selon Ars Technica. Ils allaient de 270 000 000 à 3 000 000 000 de paramètres, répartis en quatre variantes pré-entraînées et quatre variantes ajustées aux instructions. Ars Technica a remis ces tailles en perspective. La famille Llama 3 de Meta culminait alors à 70 000 000 000 de paramètres, avec une version à 400 000 000 000 en préparation. Le GPT-3 d'OpenAI de 2020 comptait 175 000 000 000 de paramètres.
Apple ne mettait pas seulement en avant la taille. L'entreprise affirmait que sa stratégie de mise à l'échelle couche par couche répartissait les paramètres plus efficacement d'une couche à l'autre. Son livre blanc rapporte un gain de précision de 2,36 pour cent par rapport à OLMo 1B d'Allen AI, avec deux fois moins de tokens de pré-entraînement. Apple a aussi publié la bibliothèque d'entraînement CoreNet et des recettes d'entraînement reproductibles, ce qu'Ars Technica a jugé inhabituel pour un grand groupe technologique. Les modèles disposaient d'une fenêtre de contexte de 2 048 tokens. Ils ont été entraînés sur RefinedWeb, un PILE dédupliqué, un sous-ensemble de RedPajama et un sous-ensemble de Dolma v1.6, soit environ 1 800 000 000 000 de tokens au total.
Ces modèles peuvent produire des sorties inexactes, nuisibles, biaisées ou choquantes en réponse aux requêtes des utilisateurs, prévenait Apple dans son article, cité par Ars Technica.
Cette mise en garde compte davantage à mesure que ces modèles quittent le laboratoire.
Google transforme les SLM en plateforme
En mai 2025, le cadre avait changé. L'attention est passée de la publication de modèles au soutien d'un écosystème. L'équipe AI Edge de Google a indiqué avoir étendu le support embarqué de quatre modèles initiaux à plus d'une douzaine. Ils sont hébergés dans une nouvelle communauté LiteRT sur Hugging Face, dont Gemma 3 et Gemma 3n.
Gemma 3n est arrivé en aperçu anticipé. Google le présente comme le premier petit modèle de langage multimodal embarqué de Gemma, avec des variantes à 2 000 000 000 et 4 000 000 000 de paramètres prenant en charge texte, image, vidéo et audio. Google précisait que les modalités texte et image étaient disponibles sur Hugging Face, l'audio devant suivre. L'entreprise citait aussi Gemma 3 1B, à 529 Mo. Le modèle pouvait atteindre 2 585 tokens par seconde en pré-remplissage sur un GPU mobile, de quoi traiter une page de contenu en moins d'une seconde.
La partie la plus lourde de conséquences était l'infrastructure. Google a livré une bibliothèque de génération augmentée par récupération embarquée, disponible sur Android dès le lancement. Il a aussi livré une bibliothèque d'appel de fonctions embarquée, également d'abord sur Android. La bibliothèque RAG permet à un modèle de puiser dans les données propres à une application sans ajustement. Google indiquait qu'elle pouvait faire remonter les éléments les plus pertinents parmi 1 000 pages d'informations ou 1 000 photos. La bibliothèque d'appel de fonctions permet à un modèle de décider quand invoquer des fonctions ou des API prédéfinies. L'application d'exemple de Google remplit un formulaire à partir d'une dictée vocale. Elle convertit la voix en texte, extrait les champs et appelle les fonctions de l'application.
Google a aussi décrit de nouveaux schémas de quantification post-entraînement en int4. Selon l'entreprise, ils réduisent la taille du modèle d'un facteur de 2,5 à 4 par rapport au bf16, tout en diminuant la latence et la consommation mémoire de pointe. C'est le genre de détail d'ingénierie qui décide si un modèle est livré ou reste une démo.
SlimLM et le banc d'essai Samsung
Les travaux académiques ont avancé en parallèle. Un article soumis à arXiv le 15 novembre 2024, révisé jusqu'au 25 novembre, présentait SlimLM. C'est une série de petits modèles de langage optimisés pour l'assistance documentaire sur appareils mobiles. Les auteurs, Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt et Trung Bui, ont mené leurs expériences sur un Samsung Galaxy S24. Ils ont cartographié les compromis entre la taille du modèle, de 125 000 000 à 7 000 000 000 de paramètres, la longueur de contexte et le temps d'inférence.
SlimLM a été pré-entraîné sur SlimPajama-627 000 000 000. Il a été ajusté sur DocAssist, un jeu de données que les auteurs ont construit pour le résumé, les questions-réponses et les tâches de suggestion. Le résumé indique que le plus petit modèle s'est montré efficace sur le S24. Les variantes plus grandes offraient plus de capacités dans les contraintes du mobile, et le travail se comparait favorablement aux petits modèles de langage existants. Les auteurs ont également publié une application Android. Ils présentaient comme bénéfice la réduction des coûts serveur et une meilleure confidentialité grâce au traitement sur l'appareil.
Le problème de la confiance
Reste la question de savoir si ces modèles savent ce qu'ils ne savent pas. Un article soumis à arXiv le 21 juillet 2026 par Prashant Mudgal a examiné les signaux de confiance fondés sur l'entropie dans les petits modèles de langage de moins de 3 000 000 000 de paramètres, fonctionnant entièrement sur du matériel grand public. Il évaluait sept approches sur 7 paires de modèles et 5 bancs d'essai NLU standards.
Le résultat principal est dérangeant. L'entropie au niveau des tokens était pratiquement aveugle. Dans 91 pour cent des combinaisons jeu de données-modèle, l'entropie moyenne des tokens restait proche de zéro, que la réponse soit correcte ou non. L'article conclut que cela rend les signaux de confiance fondés sur les tokens inutilisables à cette échelle.
L'entropie sémantique s'en sort mieux. La méthode génère plusieurs échantillons, regroupe les réponses par sens et mesure l'incertitude de distribution. Elle a retrouvé un signal de confiance exploitable. L'utiliser pour router les requêtes incertaines vers un modèle expert plus grand a produit des gains de précision allant jusqu'à 50 points de pourcentage. Le routage entre familles, l'article donne l'exemple de SmolLM 360 000 000 vers Phi-3.5-mini, a atteint en moyenne 22,0 pour cent d'amélioration, contre 6,8 pour cent pour le routage au sein d'une même famille. L'auteur conclut que la valeur des méthodes d'entropie dans les petits modèles ne tient pas aux économies de calcul mais à l'allocation intelligente de la puissance de calcul, en dépensant plus de tokens là où ils comptent le plus.
Raisonner sans mots
Un autre axe de recherche demande si les petits modèles doivent écrire leur raisonnement. Science News rapportait le 22 septembre 2026 qu'un petit système expérimental appelé BDH-CQ, où DH signifie Dragon Hatchling, peut résoudre certains puzzles de raisonnement sans expliciter les étapes intermédiaires. L'article a été soumis à arXiv le 10 août et n'a pas été évalué par les pairs.
Au lieu de garder les exemples dans le contexte, BDH-CQ utilise chaque exemple pour mettre à jour une mémoire de taille fixe. Zuzanna Stamirowska est spécialiste de la complexité et directrice générale de l'entreprise d'IA Pathway. Elle a déclaré à Science News qu'une fois la requête arrivée, le modèle n'écrit pas du tout son raisonnement en mots. « Rien entre les deux ne se convertit jamais en langage », a-t-elle dit.
Stamirowska et ses collègues rapportent que le modèle a résolu près de trois puzzles sur 10 du jeu d'évaluation public ARC-AGI-1 lorsqu'on lui donnait deux tentatives. Il a traité certaines tâches de rotation et de déplacement de formes mais a échoué sur les changements de couleur et certaines combinaisons de règles. Il a mieux réussi les puzzles d'ordonnancement et d'imbrication plus difficiles après avoir vu un exemple de difficulté similaire.
L'argument de coût frappe. Les chercheurs estiment chaque requête de puzzle à environ 0,00070 dollar, soit à peu près un onzième de GPT-5.6 Luna sur le même banc d'essai. Science News note que les deux coûts ont été calculés différemment. Les chercheurs extérieurs sont restés mesurés. Yuntian Deng, de l'université de Waterloo, parle d'un résultat d'efficacité intéressant. Il souligne qu'il ne montre pas que l'architecture sous-jacente soit meilleure que d'autres approches, et note que sans raisonnement écrit, le modèle est plus difficile à inspecter. Jonas Geiping, de l'ELLIS Institute Tübingen et de l'Institut Max Planck pour les systèmes intelligents, estime que le modèle a été conçu spécifiquement pour les problèmes de type ARC, ce qui rend la comparaison directe avec des systèmes généralistes difficile. Il juge l'approche astucieuse et note qu'elle peut aborder des problèmes de test sans réentraînement.
Livrer avant de comprendre
Bouncer d'Imbue, un filtre de flux Twitter publié le 8 avril 2026, montre à quoi ressemble le déploiement en pratique. L'outil classe les posts avec un modèle open source que le billet de blog appelle Gemma 4 26 000 000 000-A4B. Il indique que le modèle est assez grand pour comprendre le contexte et assez petit pour suivre la vitesse de défilement. Imbue dit servir actuellement le modèle depuis son propre centre de données tout en travaillant à l'exécuter directement sur ordinateurs portables et téléphones. L'entreprise précise que Bouncer est disponible en extension Chrome, en module Firefox et en application iPhone, avec un support Reddit, LinkedIn et Safari promis.
Le schéma est le même d'un projet à l'autre. Les capacités et la distribution avancent plus vite que l'évaluation. Apple a livré des poids avec une note franche sur des sorties inexactes ou biaisées. Google a livré la récupération et l'appel de fonctions pour que les modèles agissent sur les données des applications. SlimLM a mesuré des tâches documentaires sur du matériel réel. L'article de Mudgal montre que le signal de confiance le moins cher ne fonctionne pas sous 3 000 000 000 de paramètres, et qu'un signal plus coûteux, lui, fonctionne. BDH-CQ suggère qu'une partie du raisonnement peut se passer de langage, tandis que les chercheurs rappellent qu'un raisonnement non exprimé est plus difficile à auditer.
Sources
6- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Can AI reason without words? A small model puts the idea to the testEN
- 06Show HN: Control your X/Twitter feed using a small on-device LLMEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.