Petits modèles embarqués : 91 % des signaux d'entropie par jeton inutilisables, selon une étude
Dans les petits modèles de langue de moins de 3 000 000 000 de paramètres, les signaux de confiance au niveau du jeton ne disent rien, selon une préimpression arXiv déposée le 21 juillet. L'entropie moyenne par jeton y est proche de zéro dans 91 % des combinaisons jeu de données-modèle, que la réponse soit juste ou non.

Prashant Mudgal a testé sept approches sur 7 paires de modèles et 5 benchmarks NLU standard, tous exécutés sur du matériel grand public. Sa conclusion est nette : l'arrêt précoce fondé sur l'entropie par jeton ne fonctionne pas à cette échelle. L'entropie sémantique, elle, retrouve un signal exploitable : elle se calcule en générant plusieurs échantillons et en regroupant les réponses par sens. Router les requêtes incertaines vers un modèle expert plus grand a fait gagner jusqu'à 50 points de précision.
Le routage entre familles différentes atteint en moyenne +22,0 %, contre +6,8 % pour les paires d'une même famille. L'exemple cité est SmolLM 360 000 000 qui passe la main à Phi-3.5-mini. Pour les auteurs, l'intérêt des méthodes d'entropie dans les petits modèles n'est pas le calcul économisé mais le calcul réaffecté.
Pourquoi le travail embarqué ne cesse de croître
Le calendrier compte. Le 27 septembre, Nvidia a publié Nemotron 3 Diarization, un modèle d'environ 100 000 000 de paramètres qui identifie qui parle dans une conversation, avec des poids téléchargeables gratuitement, rapporte The Decoder. Il sépare jusqu'à huit locuteurs et signale les chevauchements de parole. Sur le Diarization-Bench de VoiceArena, il occupe actuellement la première place avec un taux d'erreur de 14,72 %, devant le deuxième système à 19,3 %. Associé à un système de reconnaissance vocale comme Parakeet, il produit des transcriptions avec des étiquettes de locuteurs anonymes. Les taux d'erreur augmentent avec le nombre de participants, le bruit de fond ou la réverbération.
La latence relève d'un compromis de conception, pas d'un gain gratuit. Le tampon audio peut être réglé sur quatre niveaux, de 30,4 secondes à 0,32 seconde, et des tampons plus courts réduisent généralement la précision. Nvidia indique que le modèle réduit le taux d'erreur de 41 % en moyenne sur huit scénarios de test, face à son prédécesseur Streaming Sortformer avec un tampon de 1,04 seconde. C'est le genre de chiffre qui compte quand le modèle doit tourner en local plutôt que dans un centre de données.
La même semaine a apporté un projet bien plus vaste, avec une affirmation bien plus étroite sur l'automatisation. Une équipe incluant des chercheurs de l'université Fudan, en Chine, a étudié son propre travail de construction d'Atria Dawn Preview, un modèle de langue agentique sur architecture mixture-of-experts de 744 000 000 000 de paramètres, selon The Decoder. L'analyse a porté sur plus de 700 journaux de tâches issus de 56 participants. L'IA a été utilisée dans 96,5 % des tâches examinées, et le ratio médian des actions de l'agent aux saisies humaines est passé de 11 à 28,5 en quatre semaines. Les auteurs mettent en garde contre une lecture en termes d'autonomie : chaque décision humaine déclenchait simplement davantage d'étapes de l'agent.
Les participants ont été interrogés pour savoir s'ils auraient pu accomplir leur part d'une tâche sans IA, à portée et qualité égales. Sur 455 tâches assistées par IA et menées à terme, 151 ont été jugées irréalisables sans IA, environ un tiers, réparties sur 27 des 56 participants.
Les humains ont encore pris 85,5 % des décisions sur les méthodes et les paramètres, l'IA 9,2 %, et les humains ont tranché en dernier sur les objectifs et le périmètre dans 93,4 % des cas. Quand quelque chose a mal tourné sur 588 tâches avec une difficulté enregistrée, 76 % ont avancé grâce à une intervention humaine et 23 % ont été résolues par l'agent seul. L'étude avertit que lorsque chaque décision repose sur une chaîne de travail d'agent plus longue qu'aucun humain ne peut relire, la supervision dégénère en validation automatique.
Modèles bon marché, questions coûteuses
Le coût redessine quels modèles sont utilisés, tout court. CNBC rapportait le 26 septembre que les modèles chinois représentaient 57 % à 67 % des jetons consommés sur OpenRouter la semaine du 14 septembre, contre 6 % à 13 % en février, et atteignaient 55 % des jetons sur Vercel en août, contre 11 % en janvier. Peter Walker, responsable des analyses chez OpenRouter, a déclaré à CNBC que les modèles open source chinois sortis cette année peuvent traiter de manière crédible des tâches agentiques avancées, en particulier le codage, ce qui n'était pas vrai fin 2025, et qu'ils coûtent peu face à la plupart des modèles des laboratoires américains. Harpreet Arora, responsable de l'infrastructure agentique chez Vercel, estime que le prix devient décisif dès qu'un modèle franchit le seuil de qualité requis pour un travail donné.
Washington surveille. Deux commissions de la Chambre des représentants américaine enquêtent sur cette tendance à l'adoption, et CNBC note que les modèles de pointe américains attirent encore davantage de dépenses globales. Daniel Remler, du Center for a New American Security, a déclaré au média que la crainte est que l'intégration n'entraîne des pays dans une sphère technologique chinoise. Les données citées par CNBC sont hétérogènes : environ la moitié des jetons sur OpenRouter viennent d'entreprises américaines, tandis que les entreprises des 82 pays qu'OpenRouter regroupe sous l'appellation Global South envoient 67 % de leurs jetons vers des modèles chinois.
Les petits modèles occupent une place inconfortable dans ce bras de fer. Ils tournent sur l'appareil, ce qui contourne certains arguments sur le contrôle des exportations, mais leur fiabilité est précisément ce que l'étude arXiv met en doute. Son résultat sur le routage suggère que la réponse pratique n'est pas un meilleur petit modèle isolé, mais un petit modèle qui sait quand demander de l'aide.
Sources
6- 01Do small language models know what they don't know?EN
- 02Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real timeEN
- 03AI agents do more of the work in model development, but humans still make the decisionsEN
- 04Chinese AI models surge in global popularity — and Washington is worriedEN
- 05OpenAI halts training of latest models as reports mount of AI agents going rogueEN
- 06OpenAI pauses training of its 'most capable models'EN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.