Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Les petits modèles de langage passent en local : Apple, Google, Imbue et Cactus poussent l'IA embarquée

Apple, Google et des éditeurs plus petits poussent des petits modèles de langage sur les téléphones, les ordinateurs portables et les objets connectés. Leur pari : l'inférence peut tourner en local plutôt que dans un centre de données.

IA & modèlesActualitéCamille RousseauPublié le: 27 septembre 20265 min de lectureSources 6
Les petits modèles de langage passent en local : Apple, Google, Imbue et Cactus poussent l'IA embarquée

Apple a publié huit petits modèles de langage à code source disponible en avril 2024 sous le nom OpenELM. Ils vont de 270 000 000 à 3 000 000 000 de paramètres, selon Ars Technica. Les modèles ont été mis en ligne sur Hugging Face sous licence Apple Sample Code License. Ars Technica note que cette licence pourrait ne pas répondre à la définition communément admise de l'open source à cause de ses restrictions, même si le code source est accessible.

Quatre des huit modèles sont préentraînés et quatre sont ajustés sur instructions. Tous partagent une fenêtre de contexte maximale de 2048 tokens. Les données d'entraînement mélangent RefinedWeb, une version dédupliquée de PILE, un sous-ensemble de RedPajama et un sous-ensemble de Dolma v1.6. Apple annonce un total d'environ 1 800 000 000 000 de tokens.

Le livre blanc d'Apple affirme qu'une stratégie de mise à l'échelle couche par couche a donné à OpenELM un gain de précision de 2,36 % sur OLMo 1B d'Allen AI. Le tout en utilisant deux fois moins de tokens de préentraînement. L'entreprise a aussi publié CoreNet, sa bibliothèque d'entraînement, ainsi que des recettes reproductibles pour que les poids puissent être reproduits. Ars Technica a jugé cela inhabituel pour un grand groupe technologique à l'époque.

Le nombre de paramètres reste une mesure grossière de la capacité, et les modèles d'Apple se situent bien en dessous des plus grands systèmes. La famille Llama 3 de Meta avait atteint 70 000 000 000 de paramètres, avec une version à 400 000 000 000 en préparation. GPT-3 d'OpenAI était livré avec 175 000 000 000 de paramètres en 2020. Le pari de la recherche : les petits modèles peuvent désormais égaler ce que faisaient des systèmes bien plus gros il y a quelques années.

Google ajoute les modalités, le RAG et l'appel de fonctions

L'équipe AI Edge de Google a annoncé le 20 mai 2025 avoir étendu son support des petits modèles de langage embarqués. Le programme est passé de quatre modèles initiaux à plus d'une douzaine, dont Gemma 3 et Gemma 3n, hébergés dans une nouvelle communauté LiteRT sur Hugging Face. Gemma 3n est arrivé en aperçu anticipé. Google le présente comme le premier petit modèle de langage embarqué multimodal de Gemma. Ses variantes à 2 000 000 000 et 4 000 000 000 de paramètres acceptent le texte, l'image, la vidéo et l'audio. Le texte et l'image étaient disponibles en premier sur Hugging Face, l'audio devant suivre.

Google a aussi chiffré son travail de compression. La quantification post-entraînement en int4 peut réduire les modèles de langage d'un facteur 2,5 à 4 par rapport au bf16, tout en diminuant la latence et la mémoire de pointe. Gemma 3 1B, à 529MB, peut tourner jusqu'à 2 585 tokens par seconde en pré-remplissage sur un GPU mobile. Google estime que cela suffit à traiter une page de contenu en moins d'une seconde.

Deux bibliothèques accompagnent les modèles. La bibliothèque AI Edge RAG, disponible sur Android dès le lancement, permet à un modèle de s'appuyer sur des données propres à l'application sans ajustement. Google dit qu'elle sait extraire les passages les plus pertinents parmi 1 000 pages ou 1 000 photos. La bibliothèque Function Calling, également lancée d'abord sur Android, permet à un modèle de décider quand appeler des fonctions prédéfinies. Une application d'exemple remplit un formulaire médical à partir d'une dictée vocale.

La reproductibilité et la transparence des grands modèles de langage sont cruciales pour faire avancer la recherche ouverte, garantir la fiabilité des résultats et permettre d'étudier les biais des données et des modèles, ainsi que les risques potentiels.

Cette phrase vient du résumé de l'article OpenELM d'Apple, cité par Ars Technica. Apple avertit aussi que les modèles ont été entraînés sur des jeux de données publics. Ils peuvent donc produire des sorties inexactes, nuisibles, biaisées ou choquantes. Ars Technica rapportait qu'iOS 18, attendu en juin à la WWDC, devait inclure des fonctions d'IA embarquée. Apple pourrait aussi faire appel à Google ou OpenAI pour les traitements plus lourds hors de l'appareil.

Des benchmarks sur un téléphone, et un filtre pour votre fil d'actualité

Un article arXiv de novembre 2024, signé notamment par Thang M. Pham, présente SlimLM, une série de modèles ajustés pour l'assistance documentaire sur mobile. Les auteurs ont mené leurs expériences sur un Samsung Galaxy S24. Ils ont cherché les compromis entre taille du modèle, de 125 000 000 à 7 000 000 000 de paramètres, longueur de contexte et temps d'inférence. SlimLM a été préentraîné sur SlimPajama-627 000 000 000 et ajusté sur DocAssist, un jeu de données construit par les auteurs pour le résumé, les questions-réponses et les suggestions. Une application Android accompagne le tout.

Bouncer, d'Imbue, prend un autre angle. Publié le 8 avril 2026 et mis à jour le 25 septembre 2026, il filtre un fil X/Twitter à partir d'une description en langage courant. Il s'appuie sur un modèle open source que l'entreprise appelle Gemma 4 26B-A4B. Imbue indique servir ce modèle depuis son propre centre de données pour l'instant, en travaillant à le faire tourner directement sur un ordinateur portable ou un téléphone. Bouncer existe en extension Chrome, en module Firefox et en application iPhone. Le support de Reddit, LinkedIn et Safari est annoncé.

Needle 3 de Cactus Compute, publié le 18 septembre 2026, descend encore plus bas. L'entreprise décrit des modèles étagés de 29 à 121 000 000 de paramètres produisant des binaires CQ2-bit de 9 à 29 MB. Elle annonce 400 à 4 000 tokens par seconde en décodage et 1 à 10 000 tokens par seconde en pré-remplissage sur un Raspberry Pi 5. Cactus affirme que le sous-réseau à 4 couches peut égaler DeepSeek V4 Flash lorsqu'il est ajusté sur des tâches aval pendant une époque.

Needle 3 vise les appels d'outils, l'extraction structurée et les embeddings de texte. Les cas d'usage cités couvrent la maison connectée, les robots, les téléphones, les objets connectés, les lunettes de réalité augmentée, les voitures et les PC. Chaque réponse porte un score de confiance issu d'une tête calibrée. Le moteur applique un plancher de 0,1 : en dessous, les appels sont retenus dans un champ suppressed_calls.

Un résultat de recherche va à contre-courant de l'enthousiasme. Un article soumis le 21 juillet 2026 par Prashant Mudgal conclut que l'entropie au niveau des tokens est pratiquement aveugle dans les modèles de moins de 3 000 000 000 de paramètres. Dans 91 % des combinaisons jeu de données-modèle, l'entropie moyenne des tokens restait proche de zéro, que la réponse soit juste ou non. L'entropie sémantique, calculée en échantillonnant plusieurs réponses puis en les regroupant par sens, retrouvait un signal exploitable. Router les requêtes incertaines vers un modèle expert plus grand gagnait jusqu'à 50 points de précision. Le routage entre familles atteignait en moyenne +22,0 % contre +6,8 % pour un routage au sein d'une même famille.

L'article ne mâche pas ses mots sur ce que cela implique pour l'inférence locale. La valeur des méthodes d'entropie dans les petits modèles ne tient pas aux économies de calcul, soutient-il, mais à une allocation intelligente de la puissance : dépenser plus de tokens là où ils comptent le plus. Pour l'instant, l'IA embarquée repose donc sur la confidentialité, la latence et le coût. La question plus difficile de la fiabilité reste ouverte.

Commentaires 0

Sources

6
  1. 01Apple releases eight small AI language models aimed at on-device useEN
  2. 02SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  3. 03On-device small language models with multimodality, RAG, and Function CallingEN
  4. 04Do small language models know what they don't know?EN
  5. 05Show HN: Control your X/Twitter feed using a small on-device LLMEN
  6. 06Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 FlashEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.