Surge: uno sforzo di pensiero più alto batte gli add-on degli harness per agenti di coding

Surge ha provato diverse configurazioni di agenti di coding su attività di ingegneria del software del suo benchmark sudo L7, tenendo fisso il modello sottostante su Opus 5.5 in Claude Code. L'azienda afferma che eseguire Claude Code in versione base con sforzo di pensiero xhigh ha migliorato il punteggio di 11,3 punti rispetto allo sforzo medium. È un guadagno più alto di quello ottenuto da qualsiasi singola configurazione dell'harness nell'esperimento.

Surge precisa che i confronti tra harness sono stati fatti con sforzo di pensiero medium. Superpowers, un plugin di competenze che impone la disciplina di pianificazione e test prima di scrivere codice, ha aggiunto 2,4 punti aumentando il costo del 10%. I plugin integrati di Claude Code /goal e /code-review hanno aggiunto 3,3 punti a un costo 1,8 volte superiore. Compound Engineering, un flusso di pianificazione, lavoro e revisione con agenti revisori specializzati, è costato otto volte tanto rispetto alla versione base e non ha prodotto miglioramenti statisticamente chiari.

Surge descrive le aggiunte all'harness più efficaci come valide 2 o 3 punti. La coppia /goal e /code-review ha raggiunto 3,3 punti, il miglior risultato tra le configurazioni. Il divario di costo conta per i team che mettono insieme agenti revisori, plugin di competenze e cicli di pianificazione, spesso a un costo in token diverse volte superiore a quello di Claude Code in versione base. Il risultato di Surge indica una leva più economica da provare per prima: alzare lo sforzo di pensiero prima di aggiungere orchestrazione.

Cosa ha comprato il pensiero in più

Con sforzo xhigh, secondo Surge, il modello ha spesso lavorato di più per rendere affidabile la propria risposta. Rispetto allo sforzo medium, xhigh ha migliorato la rubrica sudo L7 di 14,9 punti su Verifica e Accuratezza, di 9,8 punti su Persistenza e di 7,0 punti su Collaborazione nel ragionamento.

Surge cita un esempio tratto da un'applicazione di montaggio video. Un percorso di codice che univa due clip sarebbe andato in crash se la prima clip fosse mancata, e l'utente ha chiesto all'agente di rendere quella clip opzionale. Con sforzo medium l'agente ha corretto la causa immediata e dichiarato il successo. Con sforzo xhigh ha continuato a indagare e ha scoperto che la prima correzione avrebbe portato l'esecuzione su un percorso di fallback che dava per scontata la presenza della prima clip, quindi l'applicazione sarebbe andata comunque in crash. Su quel compito, 29 centesimi in più hanno fatto la differenza tra una correzione rotta e una soluzione funzionante, secondo Surge.

Più agenti non significano giudizio migliore

L'esempio iniziale di Surge mostra il limite dell'orchestrazione. Un harness con 37 competenze aggiuntive ha generato 17 agenti: cinque esaminavano il piano per fattibilità, ambito e sicurezza; cinque cercavano modi per semplificare l'implementazione; sette revisionavano il codice risultante. Nessuno si è accorto che l'email di conferma partiva al momento della registrazione, prima del pagamento. Seguire le istruzioni dell'utente avrebbe dato il codice di accesso Zoom a chi si era registrato senza pagare.

Il benchmark è pensato per misurare il giudizio ingegneristico, non solo la correttezza. Surge spiega che i compiti di sudo L7 si svolgono in codebase reali, molte concesse in licenza da aziende operative, con prompt spesso sottospecificati. Rubriche scritte da esperti valutano la correttezza funzionale insieme a verifica, giudizio pratico e comunicazione su otto dimensioni. Una suite di test che passa non significa necessariamente che l'agente abbia fatto un buon lavoro.

Cosa consiglia Surge

Il consiglio pratico di Surge è provare prima la leva più semplice. Se un team passa un pomeriggio a costruire una configurazione di agenti complicata, dovrebbe chiedersi se ha già provato uno sforzo di pensiero più alto, dice l'azienda.