Jeff-Code wstawia model 0,8B do pętli i przyspiesza koder 27B o 47%

Piątego października na stronie projektu na GitHubie pojawiło się wąskie twierdzenie. Jeff-Code uruchamia model decyzyjny 800 000 000 parametrów o nazwie Jeff wewnątrz pętli agenta Pi, kodującego agenta Mario Zechnera i współpracowników. Jeff podejmuje dwie szybkie decyzje wokół każdej tury Qwen, każda zajmuje około 0,2 sekundy. Czy wykonać następny krok samodzielnie i czy Qwen musi się w tej turze mocno zastanowić.

Na 1 242 sparowanych zadaniach wskaźnik zaliczonych zadań wyniósł 62,4% dla Jeff-Code i 62,8% dla samego Qwen 3.8-27B, czyli modelu 27 000 000 000 parametrów. Różnica w parach to minus 0,2 punktu, przy przedziale 95% od minus 2,6 do plus 2,1. Średni czas zadania spadł do 0,68x, przedział od 0,64 do 0,72, a mediana wyniosła 0,70x. Stąd bierze się liczba 47%: średnio o 32% mniej czasu.

Tak wygląda AI działające na urządzeniu, które w 2026 roku naprawdę trafia do użytkowników. Mały model nie pisze kodu i nikt tego nie twierdzi. Decyduje, co pominąć.

Ten sam wzorzec widać w d1 od Liquid AI, modelu decyzyjnym, który zwraca prawdopodobieństwa zamiast generować tokeny, oraz w Reice, narzędziu CLI dla agenta kodującego zbudowanym wokół modeli od 8 000 000 000 do 35 000 000 000 parametrów przy kwantyzacji od Q2 do Q4 i oknie od 32 000 do 131 000 tokenów. Dla użytkowników praktyczne pytanie przestaje brzmieć, czy mały model jest wystarczająco mądry, a zaczyna, czy jest wystarczająco tani, żeby trzymać go uruchomionego. Ani Jeff-Code, ani Liquid nie podały, jak te systemy zachowują się na sprzęcie wolniejszym niż stacja robocza z GPU.

Co harness może naprawić, a czego nie

Dokumentacja Reiki przekonuje pomiarami, nie przymiotnikami. Projekt podaje, że jedno przepisanie w środku kontekstu przetworzyło ponownie 8 453 tokeny promptu, co kosztowało 7,9 minuty prefillu, podczas gdy dopisanie w tej samej sesji kosztowało 25 tokenów i 3,5 sekundy. Wyszło też, że sformułowanie promptu było najsłabszą dźwignią, jaką projekt miał. Przy mglistym zadaniu w Q2 model zbiega albo się zapętla mniej więcej na pół, a harness tego wskaźnika nie ruszy. Może zmienić tylko to, ile kosztuje ta przegrywająca połowa.

Wyniki testów są niepochlebne z założenia. Strona podaje, że modele od 14 000 000 000 do 35 000 000 000 parametrów radziły sobie najpewniej z zadaniami wieloplikowymi, modele od 8 000 000 000 do 9 000 000 000 parametrów dawały radę z prostymi, dobrze ograniczonymi, a wszystko poniżej 7 000 000 000 parametrów rzadko zachodziło daleko. Główne demo uruchamia Qwen3.6 35 000 000 000 parametrów w Unsloth UD-IQ2_M przez llama.cpp, przyspieszone trzykrotnie, i pierwszy test modelu nie przechodzi, zanim model nie naprawi go na podstawie błędu. Reika jest przed wersją 1.0, więc polecenia i zachowanie mogą się jeszcze zmieniać między wydaniami.

Liczby Jeff-Code pokazują tę samą uczciwość co do miejsca, w którym zyski się kończą. Łączny czas zegarowy wszystkich zadań razem spada mniej niż czas na zadanie, do 0,86x przy przedziale od 0,80 do 0,93, bo w około 5% zadań Jeff-Code działa ponad 30 minut dłużej niż samo Qwen. Podział na benchmarki też jest nierówny: 0,63x na SWE-bench Verified i 0,64x na Terminal-Bench Pro, ale bez wyraźnego przyspieszenia na Terminal-Bench 2.0, gdzie jest 0,96x, i na SkillsBench, gdzie jest 0,91x.

Potem część, która obchodzi każdego, kto chciałby ten trik skopiować. Praca z wyłączonym myśleniem w każdej turze jest jeszcze szybsza i kosztuje 7,6 punktu, przedział od minus 10,6 do minus 4,5, ze spadkiem 13,5 punktu na Terminal-Bench 2.0. Mniej ostrożny Jeff, z progiem podniesionym z 0,6 do 0,7, traci 4,5 punktu. W przeprowadzonej ocenie około trzech czwartych tur Qwen działało z wyłączonym myśleniem. Mały model nie dodaje inteligencji. Rozstrzyga, kiedy inteligencja jest potrzebna.

Modele decyzyjne przechodzą od tekstu do obrazów

Liquid AI poszło z tym samym pomysłem w inną stronę 5 października, ogłaszając d1, który nazywa swoim pierwszym modelem decyzyjnym i pierwszym obsługującym obrazy równie dobrze jak tekst. Wywołanie d1 czyta wejście w jednym przebiegu w przód i zwraca prawdopodobieństwa dla każdej odpowiedzi bez generowania tokenów; decyzja tekstowa zajmuje od 200 do 300 milisekund. Firma twierdzi, że d1 dorównuje GPT-6.1 Sol albo go bije w czterech z sześciu testowanych zastosowań i kosztuje od 19x do 200x mniej niż ten model i Claude Opus 5.5, a przy każdym zadaniu odpowiada szybciej.

Najciekawsze jest to, że model nigdy nie był do tego trenowany. Dzięki doskonałej generalizacji rozumie zadanie z krótkiego opisu.

Ten cytat pochodzi z własnego wpisu Liquid, o demo inspekcji wizualnej zbudowanym na publicznym zbiorze VisA ze zdjęciami płytek drukowanych, świeczek, nerkowców i gumy do żucia, gdzie d1 sortuje dobre i wadliwe części z dokładnością od 85% do 97%. Ciekawe jest właśnie ujęcie samej firmy: mały wyspecjalizowany model generalizuje na zadanie, którego nigdy nie widział, na podstawie jednego zdania opisu, zamiast promptu i okna kontekstu.

Jedno z dem Liquid trafia wprost w problem agentów kodujących. Nosi nazwę Context Compaction i każe d1 czytać każde wyjście narzędzia w sesji agenta oraz je zachować, przyciąć albo wyrzucić, usuwając 52% tokenów przy zachowaniu wszystkich wyjść potrzebnych zadaniu. Liquid podaje, że cztery z sześciu zastosowań tekstowych zaadaptował z projektów open source. Tabela benchmarków jest własna firmy, a rywal d1, Jev, występuje tylko jako nazwa: Liquid twierdzi, że eksperymentalne wydanie sprzed tygodnia uczyniło d1 pierwszym modelem dorównującym Jevowi w decyzjach tekstowych, ale nie podaje żadnych liczb Jeva.

Wpis Seana Goedeckego z 5 października wyjaśnia, dlaczego model taki jak Jev czy d1 łatwo zastąpić, gdy już działa. Ponieważ podaje się mu zadanie w prompcie, można rejestrować jego wejścia i wyjścia i wytrenować na nich własny klasyfikator. Model zbudowany ręcznie będzie tańszy i szybszy, bo nie nosi wiedzy o niezwiązanych zadaniach. Goedecke nie twierdzi, że małe modele decyzyjne są słabe. Twierdzi, że są stopniem pośrednim, i to tanim, pozwalającym sprawdzić funkcję, zanim ktokolwiek zatrudni specjalistów od ML.

Stos małych modeli wypełnia się wokół nich

Inne wydania z tych samych 24 godzin pokazują, jak daleko poszły narzędzia wokół małych modeli lokalnych. Interfaze 1.1 Lite, opublikowany na Hugging Face 5 października, jest modelem o mieszanej architekturze, który działa na jednym GPU z 80 GB pamięci i bez zewnętrznych usług. Rdzeń wizyjno-językowy kieruje pracę do specjalistów od dokumentów, mowy, detekcji obiektów i kontroli bezpieczeństwa, a model utrzymuje kontekst 131 000 tokenów. Jego własna tabela daje mu 73,2 na MMMU-Pro wobec 71,1 dla Interfaze i 40,4 dla GPT-5.4-Mini oraz 83,8 na olmOCR-Bench wobec 85,7 dla Interfaze, więc mały model przegrywa z własnym większym poprzednikiem na jednym benchmarku dokumentowym i wygrywa w rozumowaniu multimodalnym.

Metagente, opublikowany na GitHubie 5 października, stawia na odwrotny zakład: jeden binarny plik Rusta i krótki deklaratywny plik agenta zamiast frameworka w Pythonie. Obsługuje natywnie MCP i A2A, a jego propozycja polega na tym, że każdy agent deklaruje, z których folderów, zmiennych środowiskowych i innych agentów może korzystać. Ten model uprawnień warto obserwować, jeśli ktoś uruchamia agentów na własnej maszynie, gdzie trybem awarii nie jest zła odpowiedź, ale zła operacja na plikach.

Strona naukowa też nie jest ustalona. Badanie UC Riverside, opublikowane 23 września, pokazało, że pewność siebie i poprawność w dużych modelach językowych biorą się z różnych cech wewnętrznych. Zespół badał Llama-3.1-8B od Meta i Gemma-2-9B od Google za pomocą rzadkich autoenkoderów i odkrył, że tłumienie cech związanych wyłącznie z niepewnością mocno obniżało dokładność, a tłumienie większości cech związanych z błędnymi odpowiedziami nie.

Het Patel, doktorant informatyki na UCR i pierwszy autor, ujął to na tle domyślnego przekonania w dziedzinie: „Główne założenie w tej dziedzinie jest takie, że kiedy model jest pewny, prawdopodobnie ma rację, a kiedy nie jest pewien, częściej się myli”. Użyteczne jest to, że badacze zmienili zachowanie, przyciszając cechy wewnętrzne, a nie trenując model od nowa, i to ta sama ekonomia, za którą gonią Jeff-Code i d1.

Czego liczby nie rozstrzygają

Argument za małymi modelami na urządzeniu opiera się na trzech twierdzeniach, które wydania z 5 października wspierają nierówno. Co do kosztu, różnica od 19x do 200x u Liquid i czas 0,68x na zadanie u Jeff-Code są raportowane przez same firmy i mierzone wobec baz, które firmy wybrały. Co do możliwości, Reika mówi wprost, że jej harness czyni mały model mniej frustrującym, a nie mądrzejszym, a wskaźnik zaliczonych zadań Jeff-Code jest płaski, nie lepszy. Co do zaufania, praca z UCR mówi, że własna pewność modelu jest słabą wskazówką, a to waży więcej, gdy model decyduje, co pominąć, niż gdy człowiek czyta jego odpowiedź.

Beam od Reflection, ogłoszony 5 października, pokazuje przeciwwagę. Jego rzadki model 501 000 000 000 parametrów, z 23 000 000 000 aktywnych, osiąga 80,1 na Terminal Bench v2.1, gdzie Kimi K3 ma 88,3, a DeepSeek V4.1 Flash 90,6. Reflection twierdzi, że Beam dorównuje GLM-5.2 w zaawansowanym rozumowaniu, zużywając od 3 do 4 razy mniej mocy obliczeniowej na wnioskowanie. Wagi, raport techniczny i karta modelu mają się pojawić jeszcze w tym miesiącu, a model wciąż przechodzi testy red team.

Granica możliwości więc nie stoi w miejscu, a historia małych modeli to nie wyścig, który wygrywa. To inny zakład: że większość pracy agenta to kierowanie, czytanie i decydowanie, i że model 800 000 000 parametrów, który robi te kroki, podczas gdy większy myśli, jest wart więcej niż większy, który robi wszystko. Ocena stojąca za Jeff-Code wspiera ten zakład w szybkości i zostawia go nieudowodnionym w jakości. Nic w niej nie pokazuje, że połączenie bije samo Qwen. Pokazuje, że dotrzymuje mu kroku, wydając mniej.

Nikt nie opublikował liczby, której kupujący chcieliby najbardziej: kosztu uruchomienia tej pary na sprzęcie, jaki ma zwykły zespół. Jeff-Code działał na tym samym serwerze Qwen w sparowanych blokach. Liquid podaje koszt na decyzję wobec dwóch modeli hostowanych. Liczby Reiki to czasy prefillu na lokalnej konfiguracji llama.cpp, co przynajmniej pokazuje narzut harnessu. Dopóki te liczby nie będą porównywalne, uczciwe podsumowanie 5 października jest takie, że małe modele stały się wystarczająco tanie, by siedzieć w pętli, a spory o to, czy jest tam ich miejsce, dopiero się zaczynają.