Agenci kodujący dostają własną warstwę narzędzi: pamięć, higiena testów i przypięte narzędzia MCP

Threadnote sprzedaje przenoszenie kontekstu dla agentów kodujących. Wynik opublikował 5 października dla kompilacji 5.1.0-beta.2. W pięciu publicznych repozytoriach firma podała o 65,62% mniej tokenów dostawcy w cyklu życia na zweryfikowane ukończenie zadania. Podała też o 46,14% krótszy czas cyklu życia niż w wariancie opartym wyłącznie na plikach.

Wariant plikowy przeszedł weryfikację w 4 z 5 zadań. Threadnote przeszedł 5 z 5.

Firma przyznaje wprost, że to małe badanie na jednym modelu, a nie niezależna ewaluacja. Wszystkie dziesięć prób kontynuacji korzystało z OpenAI gpt-5.6-luna w tej samej zamkniętej konfiguracji. Każdy warunek dostał jedną próbę, bez powtórzeń. Drugi warunek łączył przekazanie wygenerowane przez produkt z jednym wymaganym zapytaniem do grafu kodu. Liczby nie rozdzielają więc pamięci od wyszukiwania w grafie.

Dlaczego to ważne: jeśli efekt się utrzyma, ponowne czytanie bazy kodu przestaje dominować w koszcie ukończenia zadania. To zmienia budżety zespołów, które trzymają agentów na długowiecznych repozytoriach. Nie zmienia tego, co dowodzi przechodzący test. Badanie jest pomiarem samego dostawcy.

Małe modele, duże twierdzenia, testy parami

Jeff-Code to fork agenta kodującego Pi. Stawia model decyzyjny z 0,8 mld parametrów przed Qwen 3.8-27B, czyli modelem o 27 mld parametrów. Mały model wykonuje dwa zapytania na każdą turę Qwen, po około 0,2 sekundy każde. Jedno pyta, czy sam może wykonać kolejny krok informacyjny. Drugie pyta, czy Qwen musi mocno myśleć. Myślenie pozostawało wyłączone, dopóki prawdopodobieństwo, że będzie potrzebne, nie osiągnęło 0,6. Około trzech czwartych tur Qwen przebiegło bez niego.

Repozytorium podaje 1 242 sparowane zadania. Wskaźnik zaliczeń wyszedł 62,4% wobec 62,8% dla samego Qwen. To różnica parami minus 0,2 punktu, z przedziałem 95% od minus 2,6 do plus 2,1. Średni czas na zadanie wyniósł 0,68x wartości bazowej. Łączny czas wszystkich zadań to 0,86x, bo w około 5% zadań Jeff-Code działał ponad 30 minut dłużej niż sam Qwen.

Dwa ustawienia się nie bronią. Wyłączenie myślenia w każdej turze było szybsze, ale straciło 7,6 punktu (od minus 10,6 do minus 4,5). Mniej ostrożny Jeff z progiem 0,7 stracił 4,5 punktu. Przyspieszenie znikało też na Terminal-Bench 2.0 (0,96x) i SkillsBench (0,91x).

Harness trafia pod lupę i pod pomiar

Reika to CLI agenta kodującego zbudowane wokół małych modeli lokalnych. Opublikowała własne obserwacje, a nie tabelę benchmarków. Jedno przepisanie w środku kontekstu ponownie przetworzyło 8 453 tokeny promptu, co autorzy liczą na 7,9 minuty prefillu. Dopisanie w tej samej sesji kosztowało 25 tokenów i 3,5 sekundy. W testach modele od 14 do 35 mld parametrów najpewniej radziły sobie z zadaniami obejmującymi wiele plików. Modele od 8 do 9 mld parametrów dawały radę z prostymi, dobrze ograniczonymi zadaniami, a modele poniżej 7 mld parametrów rzadko zachodziły daleko.

Praca na arXiv przesłana 15 lipca daje tej dziedzinie szerszą ramę. Paul Barbaste i trzech współautorów przejrzeli jedenaście produkcyjnych harnessów kodujących. Wśród nich Claude Code, Codex CLI, Gemini CLI, OpenHands, Aider, Hermes, Pi, OpenCode i OpenClaw oraz meta-harness o nazwie Omnigent. Przeszukali około czterech milionów linii Pythona, TypeScriptu i Rusta. Nie znaleźli środowiska uruchomieniowego agenta, które importuje framework agentowy ogólnego przeznaczenia. Nie znaleźli też żadnego, które wyszukuje kod za pomocą osadzeń wektorowych. Skills wyprzedziły MCP pod względem adopcji: 9 z 11 systemów wobec 8 z 11.

To ma znaczenie dla każdego, kto te narzędzia kupuje albo buduje. Różnica leży w pętli, obsłudze kontekstu i mechanizmach bezpieczeństwa. Nie leży we wspólnym frameworku, który wszyscy licencjonują. Praca śledziła te same harnessy przez kwartał. Opisuje zbieżność, która zamienia się w naśladownictwo, a polityka zachowania przenosi się z tekstu promptu do konfiguracji.

Osad testów i koszt zielonego

Ian Maurer w tekście z 5 października przekonuje, że większym problemem testów dla agentów jest to, co zostaje po nich. Wskazuje na zespół OpenClaw, który podał, że usunął około 400 000 linii własnych testów przy niewielkiej zmianie pokrycia kodu. Nazywa ten osad osadem testowym. Spowalnia budowanie, psuje się przy refaktoryzacjach, które zachowują zachowanie, i potrafi utrwalić błędne zachowanie.

Jego recepta to testy pisane od zewnątrz do środka, najpierw w języku użytkownika. Zostawia się je tylko wtedy, gdy opisują zachowanie, pokrywają przypadek brzegowy albo sprawdzają kontrakt, od którego zależą inni. Pokrycie, pisze, jest mapą tego, co nieprzetestowane, nigdy dowodem na to, co przetestowane.

Testowanie mutacyjne zadaje lepsze pytanie: gdyby ten kod się zepsuł, czy jakiś test by padł?

Zasadnicze ryzyko polega na tym, że agenci produkują pracę, która wygląda na zweryfikowaną. Groundrun podał 5 października przebieg trwający 29,7 godziny. Claude Code z Claude Opus 5.5 wdrożył i zwalidował sześć metod aktualizacji over-the-air dla urządzenia Matter na płytce ESP32-H2, korzystając ze stanowiska hardware-in-the-loop. Przebieg wykrył też błąd w kodzie Matter. Groundrun zauważa, że OTA jest w praktyce obowiązkowe na mocy unijnego aktu o cyberodporności. Zauważa też, że nieudana aktualizacja może unieruchomić urządzenie.

Zatwierdzenie to nie integralność

MCP-pin, opublikowany na GitHubie 5 października, celuje w węższą dziurę. Kiedy zatwierdzasz serwer MCP, klient pokazuje jego opisy narzędzi raz. Serwer może później podać inne opisy, a większość klientów nigdy nie pyta ponownie, twierdzi projekt. Specyfikacja MCP nie wymaga żadnego sprawdzenia integralności.

Narzędzie jest lokalnym proxy, które przypina hashe i blokuje dryf, z publicznym logiem tylko dopisującym wpisy. Visual Studio jest wymienionym wyjątkiem. Od wersji 18.7 w czerwcu 2026 r. przy starcie porównuje narzędzia, prompty, zasoby i instrukcje serwera z ostatnią zaufaną wersją.

Serwer może podać jeden zestaw definicji narzędzi w poniedziałek, a inny we wtorek.

To rama samego projektu i właściwy model zagrożenia. Zmieniony opis narzędzia dociera do modelu z tą samą siłą co zmieniony prompt systemowy. Czy inne klienty przyjmą to samo sprawdzenie, nie wiadomo.

Jedna komenda, jedno pobranie, jeden przegląd

Rivet od Agilno idzie odwrotną drogą do autonomii: ją ogranicza. Narzędzie jest wciąż w wersji alpha i instaluje się z npm jako @agilno-tech/rivet. Uruchamia zadanie w izolowanym pobraniu Gita, wykonuje testy projektu i pokazuje menu. Menu pozwala przejrzeć diff, zastosować zmiany lokalnie albo przygotować dostarczenie pull requesta. Publikacja wymaga osobnego zatwierdzenia. Potrzebuje Node.js 22 lub 24 i Gita na macOS albo Linuksie. Współpracuje z uwierzytelnionym Claude Code lub Codex CLI.

Ostoyae to runner grafowy bez żadnych zależności npm, który tnie inaczej. Zadania tworzą DAG, który rośnie w trakcie działania. Kiedy agent utknie, bo zależność nie istnieje, ta luka staje się nowym węzłem. Każde zadanie działa we własnym worktree gita. Praca liczy się dopiero wtedy, gdy jej komenda sprawdzająca przejdzie na świeżym pobraniu.

Importuje zgłoszenia z GitHuba i uruchamia jednego agenta na zadanie. Miesza Claude Code, Codex, Hermes i Grok na tej samej tablicy.

Oba zakładają, że istnieje sprawdzenie, którego agent nie obejdzie gadaniem. To samo założenie stoi za zweryfikowanymi ukończeniami Threadnote i za stanowiskiem sprzętowym Groundrun. Narzędzia różnią się tym, gdzie siedzi człowiek, nie tym, czy weryfikacja jest sednem.

Obraz dopełniają dwie mniejsze rzeczy. Tmux-agent-status, opublikowany 5 października, nie pokazuje nic, gdy agenci pracują. Pokazuje mały znacznik, kiedy jeden czeka na uprawnienie albo skończył. Blog PixLab poinformował 5 października o ponad 20 studentach ostatniego roku, których obserwował. Używane narzędzia kodujące to ChatGPT albo modele GLM od Z.ai. Student na poziomie magistra wciąż pytał chatbota, jak pobrać element HTML po jego ID. To obserwacja z jednego programu stażowego, nie badanie ankietowe.

Nic z tego nie rozstrzyga, czy agenci czynią programistów lepszymi, czy tylko szybszymi w zatwierdzaniu. Liczby, które istnieją, pochodzą głównie od dostawców, dotyczą sparowanych zadań, a przedziały są dość szerokie, by ukryć małe efekty.

Praca o harnessach jest wyjątkiem: mierzy się z recenzją, opiera się na kodzie źródłowym i mówi wprost, jak młoda jest ta dyscyplina.