Małe modele lokalne dostają własny harness. Reika, Jeff-Code i d1 celują w agenty na urządzeniu

5 października na GitHubie pojawiły się dwa projekty z niemal identyczną ramą. Reika, CLI agenta kodującego od dewelopera alexwkleunga, powstała najpierw z myślą o małych modelach lokalnych: od 8 000 000 000 do 35 000 000 000 parametrów, często w kwantyzacji Q2 do Q4, w oknie kontekstu od 16 do 32 000 tokenów. Jeff-Code, fork agenta Pi Mario Zechnera, zestawia model decyzyjny z 800 000 000 parametrów z Qwen 3.8-27B, czyli 27 000 000 000 parametrów. Projekt podaje, że zadania kodowania wykonuje o 47% szybciej przy tym samym wskaźniku zaliczeń.

To ma znaczenie dla każdego, kto uruchamia agenty na własnym sprzęcie. Jeśli o tym, czy lokalne uruchomienie się skończy, czy pogrąży w pętli, decyduje pętla agenta, a nie model, małe modele stają się użyteczne do pracy, która dziś wymaga hostowanego API. Żaden z projektów nie twierdzi, że osiąga wyniki modeli z czołówki. Nie wiadomo jeszcze, jak oba harnessy wypadają poza własnymi ewaluacjami autorów.

README Reiki podaje pomiary, na których oparto decyzje projektowe, i są one konkretne. Jedno przepisanie w środku kontekstu przetworzyło ponownie 8 453 tokeny promptu, co projekt szacuje na 7,9 minuty prefillu. Dopisanie w tej samej sesji kosztowało 25 tokenów i 3,5 sekundy. W teście A/B jedna z gałęzi porzuciła swoje ustalenia przed złożeniem kontekstu. Ta gałąź składała się pięć razy, czytała ponownie pliki, które już przeczytała, i nigdy nie odpowiedziała. Gałąź, która najpierw poprosiła o swoje ustalenia, odpowiadała na podstawie streszczenia. Zdaniem projektu dobór słów w prompcie jest najsłabszą dźwignią. Przy niejasnym zadaniu w Q2 model zbiega lub wpada w pętlę mniej więcej w proporcji 50/50, a harness nie zmienia tego wskaźnika, tylko to, ile kosztuje przegrywająca połowa. Reika podaje też, że modele od 8 000 000 000 do 35 000 000 000 parametrów najpewniej radziły sobie z zadaniami wieloplikowymi. Modele od 8 000 000 000 do 9 000 000 000 parametrów dawały radę z prostymi, dobrze określonymi zadaniami, a poniżej 7 000 000 000 parametrów rzadko dochodziły daleko.

Liczby Jeff-Code przychodzą z przedziałami, co jest rzadkie w README projektu. W 1 242 sparowanych zadaniach wskaźnik zaliczeń wyniósł 62,4% z Jeffem wobec 62,8% dla samego Qwen 3.8-27B. To różnica w parach minus 0,2 punktu, z 95-procentowym przedziałem od minus 2,6 do plus 2,1. Czas na zadanie wyniósł średnio 0,68x, mediana 0,70x. Łączny czas wszystkich zadań spadł mniej, do 0,86x, bo w około 5% zadań Jeff-Code działa ponad 30 minut dłużej niż sam Qwen. Wyłączenie myślenia na każdym kroku było jeszcze szybsze, ale kosztowało 7,6 punktu. Mniej ostrożny próg 0,7 kosztował 4,5 punktu.

Modele decyzyjne jako druga droga

Liquid AI poszło inną drogą tego samego dnia. Jego model d1, ogłoszony 5 października, odpowiada na pytania o sytuację prawdopodobieństwem dla każdej możliwej odpowiedzi. Nie generuje żadnych tokenów, zwraca wynik w 200 do 300 ms dla decyzji tekstowej. Liquid twierdzi, że d1 dorównuje GPT-6.1 Sol lub go bije w czterech z sześciu testowanych zastosowań, od filtrowania zgłoszeń supportu po inspekcję płytek drukowanych. Robi to przy koszcie od 19x do 200x niższym i szybciej w każdym zadaniu. Firma podaje też 85 do 97% dokładności w sortowaniu dobrych i wadliwych części na publicznym zbiorze VisA, w zadaniu, do którego modelu nigdy nie trenowano.

Najbardziej istotne demo dla budujących agenty to kompakcja kontekstu. Liquid twierdzi, że d1 czyta każdy wynik narzędzia w sesji agenta kodującego i zachowuje, przycina lub odrzuca go. Usuwa 52% tokenów, zachowując każdy wynik potrzebny do zadania. To ten sam problem, który Reika atakuje składaniem kontekstu, rozwiązany przez znacznie mniejszy model zapytany o węższą rzecz. Liquid opisuje d1 jako swój pierwszy model decyzyjny i pierwszy, który rozszerza te zdolności na obrazy.

Teza o harnessie pojawia się też w tekście Seana Goedecke opublikowanym 5 października. Goedecke przekonuje, że modele takie jak Jev, które zwracają tylko decyzje, można po walidacji promptu destylować do ręcznie budowanych klasyfikatorów. Zbierz wejścia i wyjścia, potem wytrenuj coś mniejszego i szybszego do tego jednego zadania. Zauważa, że trenowanie własnego klasyfikatora wykracza poza kompetencje większości zespołów inżynierskich. Tę lukę w pierwszej kolejności wypełnia ogólny model decyzyjny.

Nie każdy mały model jest modelem decyzyjnym. Interfaze 1.1 Lite, opublikowany na Hugging Face 5 października, to model o mieszanej architekturze. Działa na jednym GPU z 80 GB pamięci, bez zewnętrznych usług. Podaje 83,8 na olmOCR-Bench, 85,9 na GPQA Diamond i 3,01 wskaźnika błędów słów na VoxPopuli-Cleaned. Transkrybuje 95-minutowe nagranie w około 90 sekund. To zdolność na urządzeniu do pracy z dokumentami i mową, nie do kodu.

Otwarta granica wag ruszyła tego samego dnia w drugą stronę. Reflection ogłosił Beam, rzadki model mieszanki ekspertów z 501 000 000 000 parametrami łącznymi i 23 000 000 000 aktywnymi. Trenowano go wstępnie na 23 800 000 000 000 tokenów i uczono ponad 100 000 000 rolloutów na 10 500 kartach NVIDIA GB300 przez cztery tygodnie. Reflection twierdzi, że Beam jest konkurencyjny wobec większych otwartych modeli jak GLM 5.2 i zbliża się do Qwen 3.8-Max w zadaniach kodowania i agentowych. Przyznaje, że Kimi K3 pozostaje z przodu pod względem surowej zdolności. Wagi, raport techniczny i karta modelu mają pojawić się jeszcze w tym miesiącu, a model wciąż przechodzi red-teaming.

Na razie praktyczne twierdzenie ze strony małych modeli jest węższe niż marketing wokół niego. Reika jest przed wersją 1.0 i podaje, że polecenia i zachowanie mogą się zmieniać między wydaniami. Przyspieszenie Jeff-Code utrzymuje się na SWE-bench Verified przy 0,63x i Terminal-Bench Pro przy 0,64x. Nie widać wyraźnego zysku na Terminal-Bench 2.0 przy 0,96x ani na SkillsBench przy 0,91x. Harness pomaga najbardziej tam, gdzie zadanie jest rutynowe, a właśnie tam pasuje model decyzyjny.