Les petits modèles de langage embarqués passent des démos aux outils déployés
Apple a publié OpenELM en avril 2024 : huit petits modèles de langage de 270 000 000 à 3 000 000 000 de paramètres, mis en ligne sur Hugging Face. Deux ans plus tard, l'offensive embarquée s'est étendue au multimodal, à la recherche documentaire et à l'appel de fonctions.

L'argument derrière les petits modèles de langage tient en une phrase : garder l'inférence sur le téléphone, garder les données hors du serveur. Apple a rendu cette idée concrète le 24 avril 2024. Ars Technica a rapporté la publication d'OpenELM, huit modèles à code source disponible allant de 270 000 000 à 3 000 000 000 de paramètres.
Apple les a livrés en deux versions, quatre préentraînés et quatre ajustés sur instructions, sous une Apple Sample Code License. Ars Technica a signalé que cette licence comporte des restrictions. OpenELM ne répond donc peut-être pas à la définition communément admise de l'open source, même si le code source est publié. Les modèles disposent d'une fenêtre de contexte maximale de 2048 tokens. Ils ont été entraînés sur RefinedWeb, un PILE dédupliqué, ainsi que sur des sous-ensembles de RedPajama et de Dolma v1.6. Apple annonce un total d'environ 1 800 000 000 000 de tokens.
La comparaison d'échelle compte. La famille Llama 3 de Meta culminait alors à 70 000 000 000 de paramètres. GPT-3 d'OpenAI, sorti en 2020, en comptait 175 000 000 000. Le plus grand OpenELM d'Apple en compte 3 000 000 000.
« La reproductibilité et la transparence des grands modèles de langage sont essentielles pour faire avancer la recherche ouverte, garantir la fiabilité des résultats et permettre d'étudier les biais des données et des modèles, ainsi que les risques potentiels. »
Cette phrase vient du résumé de l'article d'Apple sur OpenELM, cité par Ars Technica. Apple a aussi publié CoreNet, la bibliothèque d'entraînement, et des recettes d'entraînement reproductibles qui permettent de répliquer les poids. Ars Technica a jugé cela inhabituel pour un grand groupe technologique à l'époque. Le même article rapporte une réserve formulée par Apple : les données d'entraînement provenant de sources publiques, les modèles peuvent produire des sorties inexactes, nuisibles, biaisées ou choquantes.
La recherche a suivi le matériel. Un article soumis à arXiv le 15 novembre 2024 présente SlimLM, une série de modèles de 125 000 000 à 7 000 000 000 de paramètres ajustés pour l'assistance documentaire sur appareils mobiles. Les auteurs ont mené des expériences sur un Samsung Galaxy S24 pour trouver les compromis entre taille du modèle, longueur de contexte et temps d'inférence. Ils ont fait un préentraînement sur SlimPajama-627 000 000 000 et un ajustement sur un jeu de données qu'ils ont construit, DocAssist, pour le résumé, les questions-réponses et la suggestion. Ils ont publié une application Android en même temps que l'article. Ils présentaient comme objectif la réduction des coûts serveur et l'amélioration de la confidentialité grâce au traitement embarqué.
Google ajoute la recherche documentaire et l'appel de fonctions
L'équipe AI Edge de Google a fait avancer la catégorie dans une note publiée le 20 mai 2025. L'entreprise disait étendre son support de quatre petits modèles de langage embarqués initiaux à plus d'une douzaine. Figurent notamment Gemma 3 et un aperçu précoce de Gemma 3n, hébergés sur une communauté LiteRT Hugging Face.
Gemma 3n est présenté comme le premier petit modèle de langage embarqué multimodal de Gemma. Il accepte le texte, l'image, la vidéo et l'audio dans des variantes de 2 000 000 000 et 4 000 000 000 de paramètres. Les modalités texte et image étaient disponibles sur Hugging Face, l'audio devant suivre. Google affirme aussi que la quantification post-entraînement en int4 peut réduire la taille des modèles d'un facteur de 2,5 à 4 fois par rapport au bf16, ce qui diminue la latence et la mémoire de pointe. Son modèle Gemma 3 1B, à 529MB, tourne jusqu'à 2 585 tokens par seconde en préremplissage sur le GPU mobile, selon la note. De quoi traiter une page de contenu en moins d'une seconde.
Les ajouts les plus lourds de conséquences étaient des bibliothèques, pas des poids. Google indique que sa bibliothèque RAG peut extraire les quelques données les plus pertinentes parmi 1 000 pages d'informations ou 1 000 photos pour ancrer un modèle sans ajustement. Sa bibliothèque d'appel de fonctions permet à un modèle de décider quand invoquer des fonctions prédéfinies dans une application. Les deux étaient disponibles sur Android au lancement, d'autres plateformes devant suivre.
La confiance reste la question ouverte. Un article soumis à arXiv le 21 juillet 2026 a testé si des signaux fondés sur l'entropie permettent de repérer quand un petit modèle se trompe. Sur sept paires de modèles et cinq benchmarks NLU, l'auteur a constaté que l'entropie au niveau des tokens est de fait aveugle dans les modèles de moins de 3 000 000 000 de paramètres. Dans 91% des combinaisons jeu de données-modèle, l'entropie moyenne des tokens restait proche de zéro, que la réponse soit juste ou non. L'entropie sémantique retrouvait un signal exploitable. Router les requêtes incertaines vers un modèle expert plus grand améliorait la précision de jusqu'à 50 points de pourcentage. Le routage entre familles gagnait en moyenne 22,0% contre 6,8% pour un routage dans la même famille. La qualité du modèle expert compte donc plus que la compatibilité d'architecture.
Des outils commerciaux sont déjà en circulation. Needle 3 de Cactus, mis en ligne le 18 septembre 2026, décrit une famille de modèles de 29 à 121 000 000 de paramètres, avec des binaires CQ2-bit de 9 à 29 MB, l'appel d'outils, l'extraction structurée et les plongements de texte. La société affirme que son sous-réseau à 4 couches peut égaler DeepSeek V4 Flash lorsqu'il est ajusté sur des tâches aval pendant une époque. Elle rapporte 400 à 4 000 tokens par seconde en décodage sur un Raspberry Pi 5.
Apple, de son côté, n'a pas intégré OpenELM dans ses appareils grand public. Ars Technica rapportait qu'iOS 18, dont la présentation était attendue en juin à la WWDC, devait selon les rumeurs inclure des fonctions d'IA embarquée. L'article évoquait aussi la possibilité qu'Apple fasse appel à Google ou OpenAI pour le traitement lourd hors appareil. Deux ans plus tard, les petits modèles sont réels. Les décisions produit, elles, rattrapent encore.
Sources
5- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Do small language models know what they don't know?EN
- 05Needle 3 - 8-29 MB foundation model for tiny devicesEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.