Surge: Mehr Denkaufwand schlägt Zusatzmodule beim Coding-Agenten

Surge hat mehrere Coding-Agenten-Setups an Software-Engineering-Aufgaben aus dem eigenen sudo-L7-Benchmark getestet. Das zugrunde liegende Modell blieb dabei fest: Opus 5.5 in Claude Code. Das Unternehmen teilte mit, dass einfaches Claude Code mit Denkaufwand xhigh den Wert um 11,3 Punkte gegenüber medium verbesserte. Das war mehr, als jede einzelne Harness-Konfiguration im Versuch brachte.

Die Harness-Vergleiche liefen nach Angaben von Surge mit mittlerem Denkaufwand. Superpowers, ein Skills-Plugin, das vor dem Coden eine Disziplin aus Planen und Testen erzwingt, brachte 2,4 Punkte bei 10 Prozent höheren Kosten. Die in Claude Code eingebauten Plugins /goal und /code-review brachten 3,3 Punkte zum 1,8-fachen Preis. Compound Engineering, ein Ablauf aus Planen, Arbeiten und Review mit spezialisierten Reviewer-Agenten, kostete achtmal so viel wie die Standardversion und ergab keine statistisch klare Verbesserung.

Surge beziffert die wirksamsten Harness-Erweiterungen auf 2 bis 3 Punkte. Das Paar /goal und /code-review kam auf 3,3 Punkte und damit auf das beste Harness-Ergebnis. Die Kostenspanne zählt für Teams, die Reviewer-Agenten, Skills-Plugins und Planungsschleifen zusammenbauen, oft zum mehrfachen Token-Preis von einfachem Claude Code. Surges Ergebnis deutet auf den billigeren Hebel zuerst: erst den Denkaufwand erhöhen, dann Orchestrierung ergänzen.

Was der zusätzliche Denkaufwand brachte

Bei xhigh leistete sich das Modell oft mehr Arbeit, damit seine Antwort belastbar war, so Surge. Gegenüber medium verbesserte xhigh die sudo-L7-Bewertung um 14,9 Punkte bei Verification und Thoroughness, um 9,8 Punkte bei Persistence und um 7,0 Punkte bei Thought Partnership.

Surge nennt ein Beispiel aus einer Video-Editing-Anwendung. Ein Codepfad, der zwei Clips aneinanderfügte, stürzte ab, wenn der erste Clip fehlte, und der Nutzer bat den Agenten, diesen Clip optional zu machen. Bei medium behob der Agent die unmittelbare Ursache und meldete Erfolg. Bei xhigh forschte der Agent weiter und fand heraus, dass die erste Korrektur die Ausführung in einen Ausweichpfad schickte, der ebenfalls den ersten Clip voraussetzte. Die Anwendung wäre also weiterhin abgestürzt. Bei dieser Aufgabe entschieden zusätzliche 29 Cent zwischen einer kaputten Korrektur und einer funktionierenden Lösung, so Surge.

Mehr Agenten hießen nicht besseres Urteil

Surges einleitendes Beispiel zeigte die Grenze der Orchestrierung. Ein Harness mit 37 zusätzlichen Skills startete 17 Agenten: fünf prüften den Plan auf Machbarkeit, Umfang und Sicherheit, fünf suchten Wege zur Vereinfachung der Umsetzung, sieben prüften den entstandenen Code. Keiner bemerkte, dass die Bestätigungsmail schon bei der Registrierung rausging, bevor jemand bezahlt hatte. Hätte der Agent die Anweisungen des Nutzers befolgt, hätten unbezahlte Registranten den Zoom-Zugangscode bekommen.

Der Benchmark soll technisches Urteilsvermögen prüfen, nicht nur Korrektheit. Die sudo-L7-Aufgaben spielen laut Surge in echten Codebasen, viele davon von Betreiberfirmen lizenziert, und die Prompts sind oft unterspezifiziert. Von Experten geschriebene Bewertungsraster prüfen funktionale Korrektheit zusammen mit Verifikation, praktischem Urteil und Kommunikation über acht Dimensionen. Eine bestandene Testsuite heißt nicht zwangsläufig, dass der Agent gute Arbeit geleistet hat.

Was Surge empfiehlt

Surges praktischer Rat lautet, zuerst den einfacheren Hebel zu versuchen. Wenn ein Team einen Nachmittag damit verbringt, ein kompliziertes Agenten-Setup zu bauen, sollte es sich fragen, ob es einen höheren Denkaufwand schon ausprobiert hat, so das Unternehmen.