Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Google étend son IA embarquée AI Edge à Gemma 3n et ajoute le RAG et l'appel de fonctions

Google a annoncé le 20 mai que sa pile AI Edge prend désormais en charge plus d'une dizaine de petits modèles de langage embarqués, dont un aperçu précoce de Gemma 3n, son premier petit modèle multimodal pour téléphones.

IA & modèlesActualitéSophie LeclercPublié le: 28 septembre 20263 min de lectureSources 4
Google étend son IA embarquée AI Edge à Gemma 3n et ajoute le RAG et l'appel de fonctions

Google a publié les détails sur son blog développeur, avec deux nouvelles bibliothèques : l'une pour la génération augmentée par récupération (RAG) embarquée, l'autre pour l'appel de fonctions. Les deux sortent d'abord sur Android, les autres plateformes devant suivre.

Pour Google, les petits modèles de langage (SLM) ont dépassé le stade de la démonstration. Le billet, signé du chef de produit senior Mark Sherwood et de quatre ingénieurs, décrit des techniciens de terrain photographiant une pièce sans réseau, du personnel d'entrepôt mettant à jour les stocks à la voix, et une application médicale qui transforme un historique patient dicté en champs de formulaire remplis. Chaque exemple suppose que le modèle tourne en local, sans aller-retour vers un serveur. Les chiffres avancés par Google sont précis. Gemma 3 1B, présenté plus tôt dans l'année, pèse 529 Mo et atteint jusqu'à 2 585 tokens par seconde en pré-remplissage sur un GPU mobile, ce qui, selon l'entreprise, suffit à traiter une page de contenu en moins d'une seconde.

Son faible encombrement élargit la couverture des appareils et limite le téléchargement qu'une application impose à l'utilisateur.

Le plus récent, Gemma 3n, arrive en aperçu précoce en variantes de 2 000 000 000 et 4 000 000 000 de paramètres, toutes deux natives pour le texte, l'image, la vidéo et l'audio. Seuls le texte et l'image sont pour l'instant sur Hugging Face ; l'audio doit suivre. Google évoque aussi de nouveaux schémas de quantification qui réduisent la taille du modèle d'un facteur de 2,5 à 4 par rapport au bf16, tout en diminuant la latence et la mémoire de pointe utilisée.

Apple et d'autres tournent autour du même problème

Google n'est pas le premier. Ars Technica rapportait le 25 avril 2024 qu'Apple avait publié huit modèles à code source disponible sous le nom OpenELM, allant de 270 000 000 à 3 000 000 000 de paramètres, assez petits pour tourner sur un smartphone. Apple a publié les poids des modèles, le code d'entraînement et des recettes reproductibles, même si la licence Apple Sample Code impose des restrictions qui pourraient ne pas répondre à une définition stricte de l'open source. Le livre blanc d'Apple revendiquait un gain de précision de 2,36 pour cent sur OLMo 1B d'Allen AI tout en utilisant moitié moins de tokens de pré-entraînement, grâce à ce qu'il appelle une stratégie de mise à l'échelle couche par couche. Pour situer l'échelle, Ars Technica rappelait que le plus grand modèle Llama 3 de Meta à l'époque comptait 70 000 000 000 de paramètres et que le GPT-3 d'OpenAI de 2020 en comptait 175 000 000 000. Un modèle de 529 Mo relève d'une tout autre catégorie d'objet.

La reproductibilité et la transparence des grands modèles de langage sont essentielles pour faire avancer la recherche ouverte, garantir la fiabilité des résultats et permettre d'enquêter sur les biais des données et des modèles, ainsi que sur les risques potentiels.

Cette phrase vient du résumé de l'article d'Apple sur OpenELM. L'entreprise avertissait aussi que des modèles entraînés sur des jeux de données publics peuvent produire des sorties inexactes, nuisibles, biaisées ou choquantes.

Ce que la recherche dit des limites

Un article de novembre 2024 sur arXiv présentait SlimLM, une série de modèles de 125 000 000 à 7 000 000 000 de paramètres ajustés pour l'assistance documentaire sur un Samsung Galaxy S24. Ses auteurs rapportaient des performances comparables ou supérieures à celles des petits modèles existants et publiaient une application Android, tout en notant que le traitement embarqué peut réduire les coûts serveur et améliorer la confidentialité. L'article reconnaît lui-même que les performances réelles sur téléphone restent peu explorées.

Il y a aussi un constat plus gênant. Un autre article arXiv de Prashant Mudgal a testé sept approches de confiance sur 7 paires de modèles et 5 benchmarks, et conclu que l'entropie au niveau des tokens est en pratique aveugle dans les modèles de moins de 3 000 000 000 de paramètres : dans 91 pour cent des combinaisons jeu de données-modèle, l'entropie moyenne des tokens restait proche de zéro, que la réponse soit juste ou non. L'entropie sémantique, calculée en échantillonnant plusieurs réponses et en les regroupant par sens, retrouvait un signal exploitable. Aiguiller les requêtes incertaines vers un modèle expert plus grand améliorait la précision jusqu'à 50 points de pourcentage, et le routage entre familles atteignait en moyenne +22,0 pour cent contre +6,8 pour cent pour un routage au sein d'une même famille.

La bibliothèque d'appel de fonctions de Google fait une concession du même ordre dans les faits. Le billet note qu'elle peut être associée à une bibliothèque Python de simulation d'outils qui génère des données synthétiques pour améliorer la précision de l'appel de fonctions, ce qui revient à admettre que les petits modèles ont besoin d'aide avant qu'on puisse leur confier des actions.

Google n'a pas indiqué quand Gemma 3n sortira de l'aperçu, ni quelles plateformes recevront ensuite les bibliothèques RAG et d'appel de fonctions.

Commentaires 0

Sources

4
  1. 01On-device small language models with multimodality, RAG, and Function CallingEN
  2. 02Apple releases eight small AI language models aimed at on-device useEN
  3. 03SlimLM: An Efficient Small Language Model for On-Device Document AssistanceEN
  4. 04Do small language models know what they don't know?EN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.