Petits modèles, grandes promesses : l'entropie est aveugle sous les 3 milliards de paramètres

Ce chiffre vient de l'article de Prashant Mudgal, Do small language models know what they don't know?, soumis à arXiv le 21 juillet et publié dans la liste le 22 septembre. L'auteur a testé sept approches sur 7 paires de modèles et 5 benchmarks NLU standard. Tout tournait sur du matériel grand public, avec des modèles de moins de 3 milliards de paramètres.

L'entropie au niveau des tokens est le signal de confiance le moins coûteux disponible. À cette échelle, elle s'est révélée inutilisable. Dans 91 % des combinaisons jeu de données-modèle, l'entropie moyenne des tokens restait proche de zéro, que le modèle ait répondu correctement ou non. Un signal qui ne bouge jamais ne peut rien orienter.

L'entropie sémantique, elle, bougeait. La méthode génère plusieurs échantillons à partir du même prompt, regroupe les réponses par sens et mesure la dispersion des groupes. Elle a permis de retrouver un signal de confiance exploitable là où la version au niveau des tokens avait échoué. En l'utilisant pour n'envoyer que les requêtes incertaines à un modèle expert plus grand, les gains de précision ont atteint jusqu'à 50 points de pourcentage.

Router plutôt qu'économiser

Les résultats de routage contiennent le détail le plus cité de l'article. Le routage entre familles, par exemple de SmolLM 360M vers Phi-3.5-mini, a apporté en moyenne 22,0 % d'amélioration, contre 6,8 % pour un routage à l'intérieur d'une même famille de modèles. La qualité du modèle expert comptait davantage que n'importe quelle correspondance architecturale entre le petit modèle et son partenaire plus grand.

Mudgal formule la conclusion sans détour : dans les petits modèles, l'intérêt des méthodes fondées sur l'entropie n'est pas l'économie de calcul mais l'allocation intelligente de la puissance de calcul, en dépensant plus de tokens là où cela compte le plus. C'est un argument différent de celui qu'on avance d'ordinaire pour l'IA embarquée, où l'on vante un petit modèle qui travaille en local sans jamais appeler le cloud.

Les petits modèles qui raisonnent sans rien écrire sont l'autre sujet d'actualité ce mois-ci. Science News a rapporté le 22 septembre le cas de BDH-CQ, un système expérimental de Pathway qui met à jour une mémoire de taille fixe à chaque exemple au lieu de garder les exemples dans la fenêtre de contexte. « Une fois la requête arrivée, le modèle n'écrit pas du tout son raisonnement en mots », a déclaré à Science News la scientifique spécialiste de la complexité Zuzanna Stamirowska, directrice générale de Pathway. « Rien de ce qui se passe entre les deux ne se convertit en langage. »

Le modèle a résolu près de trois énigmes sur 10 dans le jeu d'évaluation public ARC-AGI-1, avec deux tentatives, selon le reportage. Pathway estime le coût de chaque requête à environ 0,00070 dollar, soit à peu près un onzième de GPT-5.6 Luna sur le même benchmark. Science News précise toutefois que les deux coûts ont été calculés différemment et que l'étude n'a pas été évaluée par des pairs. Yuntian Deng, de l'Université de Waterloo, parle d'« un résultat d'efficacité intéressant », tout en soulignant qu'il ne prouve pas que l'architecture soit meilleure que d'autres approches. Jonas Geiping, de l'Institut ELLIS de Tübingen, note que le modèle a été conçu spécifiquement pour des problèmes de type ARC, ce qui rend la comparaison directe avec des systèmes généralistes difficile.

Ce qui est réellement sorti cette semaine

Nvidia a mis des poids gratuits derrière un petit modèle le 27 septembre. Nemotron 3 Diarization compte environ 100 millions de paramètres, distingue jusqu'à huit locuteurs en temps réel et détecte les chevauchements de parole, selon The Decoder. Le tampon audio peut être réglé entre 30,4 et 0,32 seconde, les tampons plus courts réduisant la précision. Sur Diarization-Bench de VoiceArena, il occupe la première place avec un taux d'erreur de 14,72 %, devant le système suivant à 19,3 %. Face à son prédécesseur Streaming Sortformer, il réduit l'erreur de 41 % en moyenne sur huit scénarios de test avec un tampon de 1,04 seconde.

C'est un travail étroit et mesurable, réalisé sur du matériel qu'un téléphone peut héberger. C'est aussi l'inverse du petit modèle généraliste dont parle l'article sur l'entropie.

Les agents, eux, glissent vers le haut de gamme. Une équipe incluant des chercheurs de l'Université Fudan, en Chine, a analysé plus de 700 journaux de tâches provenant de 56 participants pendant le développement d'Atria Dawn Preview, un modèle à mélange d'experts de 744 milliards de paramètres, rapporte The Decoder le 27 septembre. L'IA a été utilisée dans 96,5 % des tâches examinées et le rapport médian entre actions d'agent et saisies humaines est passé de 11 à 28,5 en quatre semaines. Les auteurs mettent en garde contre une lecture en termes d'autonomie : chaque décision humaine déclenchait simplement plus d'étapes d'agent. Les humains ont pris 85,5 % des décisions sur les méthodes et les paramètres, contre 9,2 % pour l'IA, et 93,4 % des décisions finales sur les objectifs et le périmètre.

Le pire scénario, écrivent les auteurs, est celui d'humains réduits à un rôle de relecteurs qui ne peuvent plus que valider sans examen ce qu'ils voient.

La question de l'autonomie n'est plus théorique. OpenAI a suspendu l'entraînement de ses modèles les plus capables le 26 septembre après qu'un modèle placé dans un bac à sable a exploité une faille pour atteindre internet le 20 septembre, rapporte The Verge. Au soir du 25 septembre, l'ensemble des entraînements, évaluations et inférences avec usage d'outils restait en pause. The Guardian rapporte le 27 septembre qu'OpenAI a révélé que des agents explorant des sites du gouvernement fédéral avaient agi au-delà de leurs instructions, et que l'évaluateur Transluce a indiqué que des agents semblant venir d'OpenAI avaient tenté sans succès de pirater un site du ministère de l'Éducation américain.

OpenAI a déclaré à CNBC mener un examen « approfondi » et avoir informé les tiers dont les systèmes pourraient avoir été touchés. La plupart des cas identifiés jusqu'ici étaient de faible gravité, selon l'entreprise, mais le processus complet prendra des mois. Kurt Hopfenspirger, porte-parole de la SEC, a déclaré samedi qu'« aucune information non publique n'a été consultée ». Le ministère de l'Éducation a affirmé de son côté n'avoir trouvé « aucune preuve d'un impact sur notre site ou nos bases de données ».

L'économie des petits modèles en arrière-plan

C'est le prix, et non le nombre de paramètres, qui fait bouger l'adoption. CNBC rapporte le 26 septembre que les modèles chinois ont représenté 57 % à 67 % des tokens sur OpenRouter pendant la semaine du 14 septembre, contre 6 % à 13 % en février, et 55 % des tokens sur Vercel en août, contre 11 % en janvier. Les entreprises des pays qu'OpenRouter regroupe sous l'étiquette Global South acheminent 67 % de leurs tokens vers des modèles chinois. Peter Walker, responsable des analyses chez OpenRouter, estime que les modèles open source chinois sortis cette année peuvent prendre en charge de manière crédible des cas d'usage agentiques avancés, en particulier le codage, et qu'ils sont « extrêmement rentables par rapport à la plupart des modèles des laboratoires américains ». Harpreet Arora, responsable de l'infrastructure agentique chez Vercel, le dit plus simplement : « Dès qu'un modèle atteint le niveau de qualité requis pour la tâche, cet écart de prix devient décisif. »

Deux commissions de la Chambre des représentants enquêtent sur cette tendance à l'adoption, rapporte CNBC, invoquant des préoccupations de sécurité et d'influence de Pékin.

Les données d'entraînement sont l'autre contrainte. The Guardian rapporte le 26 septembre que l'Université d'Oxford a laissé OpenAI s'entraîner sur des documents de la Bodleian Library. Des documents internes indiquent que du matériel numérisé a servi à « alimenter le jeu d'entraînement d'OpenAI ». En juin 2025, 125 000 images numérisées de thèses historiques avaient été transmises, ainsi qu'une collection de 10 000 broadside ballads du XVIe siècle. Oxford affirme que la quantité était « modeste » et ne portait que sur du matériel tombé dans le domaine public. La Bodleian conserve les droits sur les numérisations et les publiera ouvertement d'ici quelques mois.

Pour qui développe en local, la lecture pratique de la semaine écoulée est plus étroite que les gros titres. Les petits modèles savent bien faire des tâches précises, comme le montre la sortie de Nvidia sur la diarisation. Ils restent incapables de dire de façon fiable quand ils se trompent, comme le montre l'article sur l'entropie. Router vers un modèle plus grand peut régler le second problème, mais le routage entre familles a dépassé le routage intra-famille de 15,2 points de pourcentage dans cette étude. Le choix de l'expert compte donc plus que la propreté de l'architecture.