Pour Surge, pousser l'effort de réflexion bat les ajouts au harnais des agents de codage

Surge a testé plusieurs configurations d'agents de codage sur des tâches d'ingénierie logicielle de son benchmark sudo L7. Le modèle sous-jacent restait le même, Opus 5.5 dans Claude Code. L'entreprise indique que Claude Code utilisé tel quel, avec un effort de réflexion xhigh, a amélioré son score de 11,3 points par rapport à l'effort medium. C'est plus que le gain obtenu avec n'importe quelle configuration de harnais prise séparément dans l'expérience.

Surge précise que les comparaisons de harnais ont été menées avec un effort de réflexion medium. Superpowers, un plugin de compétences qui impose une discipline de planification et de test avant de coder, apporte 2,4 points pour un coût supérieur de 10 %. Les plugins intégrés /goal et /code-review de Claude Code apportent 3,3 points pour un coût multiplié par 1,8. Compound Engineering, un enchaînement de planification, de travail et de relecture avec des agents réviseurs spécialisés, a coûté huit fois plus cher que la version de base, sans amélioration statistiquement nette.

Surge décrit les ajouts de harnais les plus efficaces comme valant 2 à 3 points. Le duo /goal et /code-review atteint 3,3 points, le meilleur résultat des harnais. L'écart de coût compte pour les équipes qui empilent agents réviseurs, plugins de compétences et boucles de planification, souvent pour un coût en tokens plusieurs fois supérieur à celui de Claude Code seul. Le résultat de Surge désigne d'abord un levier moins cher : augmenter l'effort de réflexion avant d'ajouter de l'orchestration.

Ce qu'a rapporté la réflexion supplémentaire

En mode xhigh, le modèle a souvent fourni plus de travail pour rendre sa réponse fiable, selon Surge. Par rapport à l'effort medium, le mode xhigh améliore la grille sudo L7 de 14,9 points sur la vérification et la rigueur, de 9,8 points sur la persistance et de 7,0 points sur la collaboration intellectuelle.

Surge donne un exemple tiré d'une application de montage vidéo. Un chemin de code qui assemblait deux clips plantait si le premier clip manquait, et l'utilisateur avait demandé à l'agent de rendre ce clip optionnel. En effort medium, l'agent a corrigé la cause immédiate et annoncé un succès. En effort xhigh, l'agent a continué à chercher. Il a constaté que la première correction envoyait l'exécution sur un chemin de repli qui supposait lui aussi la présence du premier clip, si bien que l'application plantait encore. Sur cette tâche, 29 cents de plus ont séparé une correction cassée d'une solution qui fonctionne, selon Surge.

Plus d'agents ne veut pas dire meilleur jugement

L'exemple d'ouverture de Surge montre la limite de l'orchestration. Un harnais doté de 37 compétences supplémentaires a lancé 17 agents : cinq examinaient le plan sous l'angle de la faisabilité, du périmètre et de la sécurité ; cinq cherchaient des façons de simplifier l'implémentation ; sept relisaient le code produit. Aucun n'a remarqué que l'e-mail de confirmation partait à l'inscription, avant le paiement. Suivre les instructions de l'utilisateur aurait donné le code d'accès Zoom à des inscrits non payants.

Le benchmark est conçu pour évaluer le jugement d'ingénieur, pas seulement l'exactitude. Surge indique que les tâches sudo L7 se déroulent dans de vraies bases de code, dont beaucoup sont sous licence d'entreprises d'exploitation, avec des consignes souvent sous-spécifiées. Des grilles rédigées par des experts évaluent l'exactitude fonctionnelle ainsi que la vérification, le jugement pratique et la communication sur huit dimensions. Une suite de tests qui passe ne signifie pas forcément que l'agent a bien travaillé.

Ce que recommande Surge

Le conseil pratique de Surge est d'essayer d'abord le levier le plus simple. Si une équipe passe un après-midi à concevoir une configuration d'agent compliquée, elle devrait se demander si elle a essayé un effort de réflexion plus élevé, selon l'entreprise.