Reika i Jeff-Code pokazują, że małe modele lokalne działają najlepiej w dobrze dopasowanej otoczce

Reika to narzędzie wiersza poleceń do kodowania dla modeli lokalnych i hostowanych. Ukazało się na GitHubie 5 października. Projekt stawia na małe modele: od 8 000 000 000 do 35 000 000 000 parametrów, często uruchamiane w kwantyzacji Q2 do Q4 z oknem kontekstu od 16 do 32 000 tokenów. Autor, Alex Leung, mówi, że celem nie jest uczynienie małego modelu mądrzejszym, tylko mniej frustrująca praca z nim.

To rozróżnienie ma znaczenie dla każdego, kto uruchamia asystenta kodowania na laptopie lub na jednej karcie GPU. Jeśli to otoczka, a nie model, odpowiada za większość kosztów porażek, najtańszym ulepszeniem jest lepsza pętla. Projekt jest przed wersją 1.0, więc polecenia i ustawienia mogą się jeszcze zmienić.

Najbardziej użyteczna część wydania Reiki to opublikowany zapis pomiarów. Jedno przepisanie w środku kontekstu przetworzyło ponownie 8 453 tokeny promptu i zajęło 7,9 minuty prefillu. Dopisanie w tej samej sesji kosztowało 25 tokenów i 3,5 sekundy. W teście A/B jedna z gałęzi zgubiła swoje ustalenia przed zwinięciem kontekstu. Zwinęła się pięć razy, czytała ponownie pliki, które już znała, i nigdy nie odpowiedziała. Druga gałąź, która najpierw poprosiła o swoje ustalenia, odpowiedziała ze skrótu. Sam opis Reiki mówi, że grep zwracający „0 trafień” dla wywołania, którego nie mógł obsłużyć, skłonił model do pięciokrotnego przeformułowania poprawnego wzorca.

Reika raportuje podział zachowań modeli według rozmiaru. W testach modele od 14 000 000 000 do 35 000 000 000 parametrów najpewniej radziły sobie z zadaniami wieloplikowymi. Modele od 8 000 000 000 do 9 000 000 000 parametrów dawały radę prostym, dobrze określonym zadaniom, a modele poniżej 7 000 000 000 parametrów rzadko zachodziły daleko.

Sformułowanie promptu zmieniało niewiele. Przy niejasnym zadaniu w Q2 model zbiega albo wchodzi w spiralę mniej więcej 50 na 50. Otoczka nie zmieni tego wskaźnika, tylko to, ile kosztuje przegrywająca połowa.

Druga otoczka, inny trik

Jeff-Code też ukazał się 5 października. To fork Pi, agenta kodującego Mario Zechnera i współtwórców, który wstawia do pętli obok Qwen 3.8-27B model decyzyjny o 800 000 000 parametrów o nazwie Jeff. Wokół każdej tury Qwen Jeff podejmuje dwie decyzje po około 0,2 sekundy każda. Pierwsza: czy może sam wykonać następny krok (przeczytać plik, wylistować katalog, przeszukać kod, uruchomić testy). Druga: czy Qwen potrzebuje w tej turze pełnego myślenia. Pisanie i edycja plików zawsze zostają przy Qwen.

Wyniki są wąskie, ale uczciwe. Na 1 242 sparowanych zadaniach odsetek zaliczonych wyniósł 62,4% z Jeff-Code wobec 62,8% dla samego Qwen. To różnica sparowana minus 0,2 punktu, z przedziałem 95% od minus 2,6 do plus 2,1. Średni czas na zadanie spadł do 0,68x, mediana wyniosła 0,70x. Łączny czas wszystkich zadań to 0,86x, bo w około 5% zadań Jeff-Code działał ponad 30 minut dłużej niż samo Qwen.

Niektóre benchmarki nie pokazały wyraźnego zysku: Terminal-Bench 2.0 na 0,96x i SkillsBench na 0,91x. Wyłączenie myślenia w każdej turze było jeszcze szybsze, ale kosztowało 7,6 punktu. Mniej ostrożny Jeff z progiem 0,7 kosztował 4,5 punktu. To wymiana, którą wydanie stawia jasno: szybkość bierze się z pomijania myślenia, nie z jego usuwania.

Ten sam tydzień przyniósł model decyzyjny wymierzony w ten sam problem. Liquid AI przedstawił d1 5 października, swój pierwszy model decyzyjny, teraz z obsługą obrazu. Zwraca prawdopodobieństwa bez generowania tokenów, w 200 do 300 ms na decyzję tekstową. Liquid twierdzi, że d1 dorównuje GPT-6.1 Sol lub go przewyższa w czterech z sześciu testowanych zastosowań i kosztuje od 19 do 200 razy mniej. W jednym demie kompresuje kontekst agenta kodującego, usuwając 52% tokenów przy zachowaniu każdego wyniku potrzebnego do zadania. To liczby producenta i nie zostały niezależnie sprawdzone.

Gdzie indziej argument za pracą na urządzeniu pada z innymi liczbami. Interfaze 1.1 Lite ukazał się na Hugging Face 5 października. Działa na jednej karcie GPU o 80 GB bez zewnętrznych usług i transkrybuje 95-minutowe nagranie w około 90 sekund. Jego tabela benchmarków daje MMMU-Pro 73,2 wobec 71,1 dla Interfaze i 40,4 dla GPT-5.4-Mini. Przegrywa na GPQA Diamond z 85,9 wobec 92,4.

Otwarte pytanie brzmi, ile z tego przetrwa kontakt z prawdziwymi repozytoriami. Ani Reika, ani Jeff-Code nie raportują wyników na standardowym benchmarku kodowania frontier przy pełnych ustawieniach. Oba projekty są wczesne. Pokazują jedno: to obsługa kontekstu, a nie sama liczba parametrów, jest miejscem, w którym małe modele lokalne tracą czas.