Les petits modèles de langage passent sur l'appareil : ce que montrent vraiment les chiffres
Les petits modèles de langage quittent les centres de données pour les téléphones, mais les résultats publiés montrent une progression inégale. La gamme OpenELM d'Apple va de 270 000 000 à 3 000 000 000 de paramètres, tandis qu'un modèle de Google est un téléchargement de 529 Mo qui tourne jusqu'à 2 585 tokens par seconde sur un GPU mobile.

Apple a publié huit petits modèles de langage le 24 avril 2024 sous le nom OpenELM, pour Open-source Efficient Language Models, rapporte Ars Technica. Ils vont de 270 000 000 à 3 000 000 000 de paramètres. Ils sont hébergés sur Hugging Face sous une Apple Sample Code License. Ars Technica a noté que cette licence comporte des restrictions. La publication ne répond peut-être pas à la définition habituelle de l'open source, même si le code source est disponible.
Les huit modèles existent en deux variantes : quatre préentraînés et quatre ajustés sur instructions. La fenêtre de contexte maximale est de 2 048 tokens. Apple indique que les données d'entraînement proviennent de RefinedWeb, une version de PILE sans doublons, d'un sous-ensemble de RedPajama et d'un sous-ensemble de Dolma v1.6, soit environ 1 800 000 000 000 tokens au total. Le livre blanc de l'entreprise affirme que sa stratégie de mise à l'échelle couche par couche a produit un gain de précision de 2,36 pour cent par rapport à OLMo 1B d'Allen AI, avec deux fois moins de tokens de préentraînement. Apple a aussi publié CoreNet, la bibliothèque d'entraînement, et des recettes d'entraînement reproductibles. Le résumé de l'article affirme que la reproductibilité et la transparence des grands modèles de langage sont essentielles pour faire avancer la recherche ouverte.
L'échelle est le contraste évident. Ars Technica situe la plus grande publication de Meta Llama 3 à 70 000 000 000 de paramètres, avec une version à 400 000 000 000 en préparation, et le GPT-3 d'OpenAI en 2020 à 175 000 000 000. Le nombre de paramètres donne une idée approximative de la capacité, pas un verdict.
Ce que montrent les benchmarks sur téléphone
SlimLM, soumis à arXiv le 15 novembre 2024 et révisé le 25 novembre, est une série de petits modèles de langage pour l'assistance documentaire. Les auteurs ont mené des expériences sur un Samsung Galaxy S24. Ils ont examiné les compromis entre la taille du modèle (125 000 000 à 7 000 000 000 de paramètres), la longueur de contexte et le temps d'inférence. SlimLM a été préentraîné sur SlimPajama-627 000 000 000 et ajusté sur DocAssist, un jeu de données que les auteurs ont construit pour le résumé, les questions-réponses et les suggestions. Une application Android accompagne l'article. Les auteurs veulent réduire les coûts serveur et améliorer la confidentialité grâce au traitement sur l'appareil.
La contribution de Google, décrite sur son Developers Blog le 20 mai 2025, a davantage la forme d'un produit. Google AI Edge est passé de quatre modèles initiaux à plus d'une douzaine, dont Gemma 3 et Gemma 3n, hébergés dans une communauté LiteRT sur Hugging Face. Gemma 3 1B pèse 529 Mo et peut tourner jusqu'à 2 585 tokens par seconde en préremplissage sur un GPU mobile. Google affirme que cela suffit pour traiter une page de contenu en moins d'une seconde. Gemma 3n, en aperçu précoce, est le premier petit modèle de langage multimodal embarqué de Gemma. Il existe en variantes de 2 000 000 000 et 4 000 000 000 de paramètres, avec des entrées texte, image, vidéo et audio. Le texte et l'image sont sur Hugging Face, l'audio doit suivre.
Google a aussi livré une bibliothèque RAG embarquée, disponible sur Android, et une bibliothèque d'appel de fonctions embarquée, également d'abord sur Android. L'entreprise affirme que la quantification post-entraînement en int4 peut réduire les modèles de langage d'un facteur 2,5 à 4 fois par rapport au bf16, tout en diminuant la latence et la mémoire de pointe.
« Une fois la requête arrivée, le modèle n'écrit pas du tout son raisonnement en mots. Rien entre les deux ne se convertit jamais en langage », a déclaré à Science News la spécialiste de la complexité Zuzanna Stamirowska, directrice générale de l'entreprise d'IA Pathway.
Cette citation concerne BDH-CQ, un système expérimental décrit dans un article soumis le 10 août à arXiv et rapporté par Science News le 22 septembre. Le modèle met à jour une mémoire de taille fixe à chaque exemple au lieu de garder les exemples dans le contexte. Stamirowska et ses collègues affirment qu'il a résolu près de trois puzzles sur dix de l'ensemble d'évaluation public ARC-AGI-1 en deux tentatives. Ils estiment que chaque requête coûte environ 0,00070 dollar, soit à peu près un onzième de GPT-5.6 Luna sur le même benchmark. Science News précise que les deux coûts ont été calculés différemment et que l'étude n'a pas été évaluée par les pairs.
Hors des laboratoires de recherche, les affirmations deviennent plus difficiles à vérifier. Bouncer, un filtre de flux Twitter publié par Imbue le 8 avril 2026, utilise un modèle open source que le blog appelle Gemma 4 26B-A4B pour la classification. Le billet indique que le modèle est actuellement servi depuis le propre centre de données d'Imbue. Des travaux sont en cours pour le faire tourner sur ordinateurs portables et téléphones.
Le scepticisme est justifié, et une partie vient des chercheurs eux-mêmes. Yuntian Deng, de l'université de Waterloo, a déclaré à Science News que BDH-CQ est « un résultat d'efficacité intéressant » mais ne prouve pas que son architecture soit meilleure que d'autres approches. Il a dit que davantage de tests étaient nécessaires pour séparer la conception de la méthode d'entraînement. Il a ajouté qu'un modèle qui n'écrit pas son raisonnement est plus difficile à inspecter. Jonas Geiping, de l'Institut ELLIS de Tübingen et de l'Institut Max Planck pour les systèmes intelligents, a déclaré que BDH-CQ est conçu spécifiquement pour les problèmes de type ARC, ce qui rend la comparaison directe avec des systèmes généralistes difficile. Il a tout de même qualifié l'approche de « soignée ».
La question non résolue est de savoir quelle part de tout cela survit au contact d'un produit commercial. Apple, selon sa propre formulation dans l'article OpenELM, traite les modèles comme des publications de recherche. La réserve de Google est que Gemma 3n est un aperçu précoce. L'écart entre un tableau de benchmark et un téléphone dans une poche reste la partie pour laquelle personne n'a publié de chiffres.
Sources
5- 01Apple releases eight small AI language models aimed at on-device useEN
- 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
- 03On-device small language models with multimodality, RAG, and Function CallingEN
- 04Can AI reason without words? A small model puts the idea to the testEN
- 05Show HN: Control your X/Twitter feed using a small on-device LLMEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.