Les petits modèles de langage passent sur l'appareil, la recherche court encore derrière
La famille OpenELM d'Apple va de 270 000 000 à 3 000 000 000 de paramètres, et Gemma 3 1B de Google tourne à 529 Mo, mais un article de 2026 constate que les signaux de confiance au niveau des tokens sont proches de zéro dans 91 % des combinaisons jeu de données-modèle.

Les petits modèles de langage, ceux de moins de 3 000 000 000 de paramètres qui tournent sur un téléphone plutôt que dans un centre de données, sont passés en deux ans environ du statut de curiosité de laboratoire à celui de produit commercialisé. L'argument est simple : garder le modèle en local, réduire les coûts serveur et empêcher que les données des utilisateurs atterrissent sur le matériel de quelqu'un d'autre. Les preuves sont plus mitigées que le discours commercial ne le laisse croire.
La contribution d'Apple est le point de départ le plus clair. Le 24 avril 2024, Ars Technica a rapporté que l'entreprise avait publié huit modèles sous le nom d'OpenELM, pour Open-source Efficient Language Models, sur Hugging Face sous une licence Apple Sample Code. Ars Technica a noté que cette licence comporte des restrictions qui ne cadrent pas forcément avec la définition communément admise de l'open source, même si le code source est disponible. Les modèles vont de 270 000 000 à 3 000 000 000 de paramètres, en quatre variantes pré-entraînées et quatre variantes ajustées sur instructions, avec une fenêtre de contexte maximale de 2 048 tokens. Le livre blanc d'Apple indique qu'une « stratégie de mise à l'échelle couche par couche » a apporté un gain de précision de 2,36 % par rapport à OLMo 1B d'Allen AI, pour moitié moins de tokens de pré-entraînement.
Ars Technica remet cela en perspective : la famille Llama 3 de Meta plafonnait alors à 70 000 000 000 de paramètres, avec une version à 400 000 000 000 en développement, et GPT-3 d'OpenAI, sorti en 2020, comptait 175 000 000 000 de paramètres. Le nombre de paramètres est une mesure grossière, pas un verdict.
Ce que mesurent vraiment les articles de benchmark
SlimLM, déposé sur arXiv le 15 novembre 2024, a pris une voie plus étroite : l'assistance documentaire. Les auteurs, Thang M. Pham et quatre coauteurs, ont testé des modèles de 125 000 000 à 7 000 000 000 de paramètres sur un Samsung Galaxy S24, avec un pré-entraînement sur SlimPajama-627 000 000 000 et un ajustement sur un jeu de données qu'ils ont construit, appelé DocAssist, pour le résumé, les questions-réponses et les suggestions. Leur résumé revendique des performances comparables ou supérieures à celles des petits modèles existants et décrit une application Android comme référence de déploiement. C'est un point de repère utile, parce qu'il nomme ensemble le matériel, la tâche et la taille des modèles, ce que la plupart des annonces embarquées ne font pas.
L'équipe AI Edge de Google est allée plus large. Dans un billet de blog développeur du 20 mai 2025, Mark Sherwood, Matthew Chan, Marissa Ikonomidis et Milen Ferev ont annoncé la prise en charge de plus d'une douzaine de modèles, dont Gemma 3 et Gemma 3n, hébergés dans une nouvelle communauté LiteRT sur Hugging Face. Gemma 3 1B pèse 529 Mo et peut atteindre 2 585 tokens par seconde en pré-remplissage sur le GPU mobile, ce qui, selon Google, lui permet de traiter jusqu'à une page de contenu en moins d'une seconde. Gemma 3n, en variantes 2 000 000 000 et 4 000 000 000, est présenté comme le premier petit modèle de langage multimodal embarqué de Gemma, compatible avec le texte, l'image, la vidéo et l'audio, le texte et l'image étant disponibles en premier. Le billet introduit aussi des bibliothèques de RAG embarqué et d'appel de fonctions, toutes deux disponibles sur Android au lancement.
Il y a ensuite la couche sceptique. Un article intitulé « Do small language models know what they don't know? » a été soumis à arXiv le 21 juillet 2026 par Prashant Mudgal. Il évalue sept approches de confiance fondées sur l'entropie sur 7 paires de modèles et 5 benchmarks NLU. Le résultat principal est net : l'entropie au niveau des tokens est en pratique aveugle dans les petits modèles, elle reste proche de zéro que la réponse soit juste ou non dans 91 % des combinaisons jeu de données-modèle. L'entropie sémantique, calculée en échantillonnant et en regroupant les réponses par sens, retrouve un signal exploitable. Router les requêtes incertaines vers un modèle expert plus grand a amélioré la précision jusqu'à 50 points de pourcentage, le routage entre familles atteignant en moyenne +22,0 % contre +6,8 % pour un routage au sein d'une même famille.
Raisonner sans commentaire en direct
Science News a rapporté le 22 septembre 2026 le cas de BDH-CQ, un petit système expérimental soumis à arXiv le 10 août qui résout certains puzzles de raisonnement sans écrire les étapes intermédiaires. La spécialiste de la complexité Zuzanna Stamirowska, directrice générale de l'entreprise d'IA Pathway, a déclaré à Science News : « Une fois la requête arrivée, le modèle n'écrit pas du tout son raisonnement en mots. » Le modèle a résolu près de trois puzzles sur 10 du jeu d'évaluation public ARC-AGI-1 en deux tentatives. Stamirowska et ses collègues estiment que chaque requête de puzzle coûte environ 0,00070 dollar à exécuter, soit à peu près un onzième de GPT-5.6 Luna sur le même benchmark, même si Science News précise que les deux coûts ont été calculés différemment et que l'étude n'a pas été évaluée par des pairs.
Tout le monde n'est pas convaincu. L'informaticien Yuntian Deng, de l'Université de Waterloo, a déclaré à Science News que le résultat est « un résultat d'efficacité intéressant » mais ne montre pas que l'architecture soit meilleure que d'autres approches, et que sans raisonnement écrit le modèle est plus difficile à inspecter. Jonas Geiping, de l'Institut ELLIS de Tübingen et de l'Institut Max Planck pour les systèmes intelligents, a qualifié l'approche de « soignée » mais a estimé que BDH-CQ a été construit spécifiquement pour les problèmes de type ARC, ce qui rend la comparaison directe avec des systèmes généralistes difficile.
Le déploiement va déjà plus vite que les articles. Bouncer d'Imbue, un filtre de flux Twitter publié le 8 avril 2026, utilise un modèle open source que l'entreprise appelle Gemma 4 26 000 000 000-A4B pour la classification, servi pour l'instant depuis le propre centre de données d'Imbue. L'ingénieur Millan Philipose écrit que l'équipe travaille à le faire tourner directement sur des ordinateurs portables et des téléphones. L'écart entre cette ambition et un modèle de 529 Mo sur un téléphone, c'est là que sera testée la majeure partie de la prochaine vague d'annonces.
Sources
6- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Can AI reason without words? A small model puts the idea to the testEN
- 06Show HN: Control your X/Twitter feed using a small on-device LLMEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.