Wyższy wysiłek myślenia bije dodatki do harnessu agentów kodujących

Surge przetestował kilka konfiguracji agentów kodujących na zadaniach inżynierii oprogramowania z własnego testu porównawczego sudo L7. Model bazowy był przez cały czas ten sam: Opus 5.5 w Claude Code. Firma podała, że podstawowe Claude Code na poziomie xhigh poprawiło wynik o 11,3 pkt względem poziomu medium. To więcej niż zysk z jakiejkolwiek pojedynczej konfiguracji harnessu w eksperymencie.

Harnessy Surge porównywał na poziomie medium. Superpowers, wtyczka z umiejętnościami, która wymusza planowanie i testowanie przed pisaniem kodu, dodała 2,4 pkt, ale podniosła koszt o 10%. Wbudowane wtyczki Claude Code /goal i /code-review dodały 3,3 pkt przy 1,8-krotności kosztu. Compound Engineering, czyli przepływ planowania, pracy i przeglądu z wyspecjalizowanymi agentami recenzującymi, kosztował osiem razy więcej niż wersja podstawowa i nie dał statystycznie wyraźnej poprawy.

Surge wycenił najskuteczniejsze dodatki do harnessu na 2 do 3 pkt. Para /goal i /code-review osiągnęła 3,3 pkt, najlepszy wynik wśród harnessów. Różnica w kosztach ma znaczenie dla zespołów, które składają agentów recenzujących, wtyczki ze skillami i pętle planowania. Płacą wtedy często kilkukrotnie więcej za tokeny niż przy podstawowym Claude Code. Wynik Surge wskazuje najpierw na tańszą dźwignię: podnieść wysiłek myślenia, zanim doda się orkiestrację.

Co dało dodatkowe myślenie

Na poziomie xhigh model często wykonywał więcej pracy, żeby jego odpowiedź była wiarygodna, podał Surge. W porównaniu z poziomem medium xhigh poprawił rubrykę sudo L7 o 14,9 pkt w kategorii weryfikacji i skrupulatności, o 9,8 pkt w wytrwałości i o 7,0 pkt we współpracy myślowej.

Surge podał przykład z aplikacji do montażu wideo. Ścieżka kodu, która sklejała dwa klipy, kończyła się awarią, gdy brakowało pierwszego klipu, a użytkownik poprosił agenta, żeby ten klip był opcjonalny. Na poziomie medium agent naprawił bezpośrednią przyczynę i zameldował sukces. Na poziomie xhigh drążył dalej i odkrył, że pierwsza poprawka skieruje wykonanie na ścieżkę zapasową, która też zakładała istnienie pierwszego klipu. Aplikacja nadal by się zawieszała. W tym zadaniu dodatkowe 29 centów zrobiło różnicę między zepsutą poprawką a działającym rozwiązaniem, podał Surge.

Więcej agentów nie znaczyło lepszego osądu

Pierwszy przykład Surge pokazał granicę orkiestracji. Jeden harness z 37 dodatkowymi skillami uruchomił 17 agentów: pięciu sprawdzało plan pod kątem wykonalności, zakresu i bezpieczeństwa, pięciu szukało sposobów na uproszczenie implementacji, a siedmiu przeglądało powstały kod. Nikt nie zauważył, że e-mail z potwierdzeniem wychodził przy rejestracji, zanim ktoś zapłacił. Wykonanie poleceń użytkownika dałoby niezapłaconym uczestnikom kod dostępu do Zooma.

Test porównawczy ma sprawdzać osąd inżynierski, nie tylko poprawność. Zadania sudo L7 rozgrywają się w prawdziwych bazach kodu, wiele z nich licencjonowanych od firm prowadzących działalność, a polecenia są często niedoprecyzowane, podał Surge. Rubryki pisane przez ekspertów oceniają poprawność funkcjonalną obok weryfikacji, praktycznego osądu i komunikacji w ośmiu wymiarach. Zestaw testów, który przechodzi, nie musi oznaczać, że agent wykonał dobrą robotę.

Co zaleca Surge

Praktyczna rada Surge brzmi: najpierw wypróbować prostszą dźwignię. Jeśli zespół spędza popołudnie na budowaniu skomplikowanej konfiguracji agenta, powinien zapytać, czy próbował wyższego wysiłku myślenia, podała firma.