Une étude de l'UC Riverside cartographie les mécanismes internes qui gouvernent la confiance et l'exactitude des modèles

Le 23 septembre, une équipe dirigée par des informaticiens de l'UC Riverside a publié une étude sur la confiance des modèles. Elle montre que la confiance qu'un modèle déclare ne prédit pas de façon fiable si sa réponse est exacte. Cela remet en cause une hypothèse fondatrice du domaine : une confiance élevée irait de pair avec une exactitude élevée. Les chercheurs ont constaté que ces deux traits peuvent découler de mécanismes internes totalement différents. « L'hypothèse principale du domaine, c'est que lorsque le modèle est confiant, il a de bonnes chances d'avoir raison, et que lorsqu'il hésite, il a plus de risques de se tromper », explique Het Patel, doctorant et premier auteur, cité par l'UC Riverside. « Mais nous voyons souvent des contre-exemples bien documentés. » L'étude a porté sur deux modèles à poids ouverts : Llama-3.1-8B de Meta (8 000 000 000 de paramètres) et Gemma-2-9B de Google (9 000 000 000 de paramètres). À partir de questions à choix multiples, l'équipe a réparti les réponses en quatre groupes selon l'exactitude et la confiance. Elle a ensuite utilisé des autoencodeurs parcimonieux pour analyser l'activité interne des modèles. Cette méthode a permis d'identifier les mécanismes qui s'activent dans les états confiants, incertains, exacts ou inexacts. Le mécanisme du décalage L'analyse a mis au jour trois types de mécanismes. Certains étaient liés surtout à l'incertitude, d'autres aux réponses inexactes, et des mécanismes « confondus » tenaient aux deux. Lorsque les chercheurs ont supprimé les mécanismes liés uniquement à l'incertitude, l'exactitude des modèles a chuté brutalement. Cela suggère que ces mécanismes aident en réalité à produire de bonnes réponses. Ils ne sont pas qu'un bruit ou une précaution de langage. Supprimer les mécanismes liés seulement aux réponses inexactes a produit un autre effet. Cette séparation ouvre la voie à des interventions ciblées. Patel décrit le procédé comme un réglage de boutons à l'intérieur du modèle, pour observer les changements de comportement. L'objectif est d'ajuster ces mécanismes afin que les modèles soient plus confiants lorsqu'ils ont raison. Ils devraient aussi se montrer plus prudents lorsqu'ils risquent de se tromper, sans passer par le réentraînement coûteux de tout le réseau. Ces travaux s'inscrivent dans une tendance plus large : rendre les systèmes d'IA plus dignes de confiance. Les grands modèles de langage servent de plus en plus à éclairer des décisions et à accomplir des tâches. Les développeurs ont besoin de meilleurs moyens de savoir quand une réponse est fiable. La recherche menée par l'UC Riverside dessine une méthode permettant aux systèmes d'IA d'aligner leurs signaux internes de confiance sur leurs performances réelles. Le contexte des récents benchmarks et modèles La difficulté d'équilibrer vitesse et exactitude transparaît aussi dans les sorties récentes de modèles. Reflection AI a lancé Beam le 5 octobre, un modèle à poids ouverts de 501 de paramètres. L'entreprise affirme que Beam égale les performances des principaux modèles ouverts chinois sur les benchmarks de raisonnement. Et ce, en utilisant 3 à 4 fois moins de calcul d'inférence, selon TechCrunch. Beam n'est pas un « modèle de décision » au sens de l'étude de l'UC Riverside. Il illustre néanmoins la course du secteur à l'efficacité dans les tâches de raisonnement, où la fiabilité prime. De son côté, GitHub a publié ReviewBench le 5 octobre, un benchmark ouvert pour la revue de code par IA. Il a été conçu pour mesurer la qualité de la revue de code agentique. Dans cette tâche, une suggestion de code hallucinée ou erronée peut avoir de vraies conséquences. ReviewBench analyse 219 pull requests publiques dans 19 langages. Il vise à fournir une méthodologie d'évaluation rigoureuse. Cette méthode vérifie si les changements apportés aux systèmes de revue se traduisent par des gains réels en production. Ces avancées mettent en lumière la double pression qui pèse sur les développeurs d'IA. Ils doivent améliorer la capacité brute tout en éliminant l'incertitude qui mène aux hallucinations. L'étude de l'UC Riverside fournit une feuille de route technique pour ce second volet. Elle suggère que les mécanismes internes responsables du doute et de l'exactitude sont séparables et modifiables. Les futurs modèles pourraient ainsi signaler explicitement leurs propres doutes. Cela créerait une couche de transparence qui manque aujourd'hui à beaucoup de systèmes commerciaux.