Jevstiller i TalkScribe stawiają na lokalny sprzęt, Anthropic wycofuje tryb lokalny

Jevstiller to otwarte proxy, które stoi przed Jevem firmy TypeSafe. Repozytorium na GitHubie i tekst The Register pochodzą z 30 września.

Oba źródła opisują ten sam mechanizm. Najpierw każde zapytanie trafia do Jeva, a odpowiedzi trenują mały model lokalny. Gdy próbek jest dość, znane pytania obsługuje sprzęt użytkownika. Jev jest tani, ale nie darmowy. The Register podaje cenę 42 dol. za miliard tokenów wejściowych i opóźnienie około 300 ms. README Jevstillera mówi o około 15 ms na procesorze, czyli mniej więcej 20 razy szybciej. Dokumentacja projektu nazywa go cache'em: „Zapytanie jest obsługiwane lokalnie tylko wtedy, gdy można odpowiedzieć na każde zawarte w nim pytanie; w przeciwnym razie całe zapytanie trafia do Jeva z kluczem wywołującego”.

Liczby za tym twierdzeniem są węższe niż nagłówek. Banking77 to zbiór 77 intencji obsługi klienta odtwarzanych wobec zarejestrowanych odpowiedzi Jeva. Na nim domyślne ustawienia odpowiedziały na 61,7% wiadomości testowych przy 99,40% zgodności z Jevem, wobec deklarowanego celu 98%. README podaje też dokładność 78,8% dla modelu lokalnego i 78,5% dla Jeva na etykietach zbioru. Test na żywo z 25 września dał 70,7% przy 99,45% zgodności, na ustawieniu, które według README nie jest już domyślne.

Modele lokalne przenoszą się na laptopa

Ten sam tydzień przyniósł kilka narzędzi zbudowanych na jednym założeniu: wnioskowanie należy do maszyny, która stoi przed tobą. TalkScribe, aplikacja do dyktowania na macOS opublikowana 30 września, prowadzi rozpoznawanie mowy i drugi przebieg redakcji na Apple Neural Engine, bez przesyłania danych do chmury. Dożywotnia licencja kosztuje 14 dol., a w środku jest model Qwen3 z 1 700 000 000 parametrami do wygładzania tekstu. Strona producenta twierdzi, że ludzie piszą około 40 słów na minutę, a mówią od 130 do 160. To cała obietnica w jednym zdaniu.

Ollama dodała endpoint modelu decyzyjnego w wersji 0.35, wynika ze strony biblioteki. Endpoint obsługuje Nimble, model z 9 000 000 000 parametrami od Bespoke Labs, dostrojony z Qwen3.5-9B. Strona podaje, że Nimble odpowiada w mniej niż 100 ms na MacBooku Pro z M5 Max i przyjmuje do 64 pytań w jednym zapytaniu. Endpoint działa zgodnie z API Jeva firmy TypeSafe, więc ten sam kształt zapytania trafia zarówno do hostowanego Jeva, jak i do pliku lokalnego.

„Udostępniamy jako open source AA-AgentPerf-Local, który odtwarza rzeczywiste trajektorie agentów na sprzęcie laptopów i stacji roboczych, żeby testować wydajność wnioskowania”. Tak 30 września napisało Artificial Analysis.

Ten benchmark daje lokalnemu ruchowi miarkę. Artificial Analysis podaje, że domyślne obciążenie to 8 zarejestrowanych zadań agentowych obejmujących 168 tur modelu, z kontekstem rosnącym do około 56 000 tokenów. Pierwsze wyniki opublikowano dla NVIDIA DGX Spark z 128 GB, AMD Ryzen AI Halo z 128 GB, MacBooka Pro M5 Pro z 64 GB i NVIDIA GeForce RTX 5090 z 32 GB. Testowane modele to Qwen3.5-9B, Qwen3.8-27B o 27 000 000 000 parametrach, Qwen3.6-35B-A3B o 35 000 000 000 parametrach i Ling 3.0 Flash o 3 000 000 000 parametrach, wszystkie w kwantyzacji 4-bitowej.

Wzór dopełniają dwa kolejne projekty. OpenResearch od alphaXiv to lokalny warsztat dla agentów badawczych, który trzyma eksperymenty w lokalnej bazie SQL. Deklaruje, że nie zbiera kodu ani śladów agentów, choć wersje wydawnicze wysyłają analitykę z możliwością rezygnacji, powiązaną z losowym identyfikatorem instalacji. LocalThings, integracja z Home Assistant, rozmawia z urządzeniami Samsunga przez sieć lokalną, używając CoAP nad DTLS i specyfikacji OCF. README zapewnia, że po konfiguracji projekt nie łączy się z serwerami Samsunga.

Kontrprzykład: Anthropic wycofuje tryb lokalny

Nie każdy dostawca idzie w tę stronę. Centrum pomocy Anthropic podaje, że 6 października 2026 r. nowe zadania Cowork w planach Pro, Max i Ultra zaczęły działać w chmurze, a opcja „Tylko na twoim komputerze” zniknęła z ustawień. Użytkownicy, którzy nadal mieli tryb lokalny, przy następnym otwarciu aplikacji desktopowej zostali przeniesieni do chmury, bez możliwości powrotu. Zadania rozpoczęte przed tą datą zostają na maszynie.

Złóż obie połowy i tydzień czyta się jako rozłam, nie trend. Narzędzia opisane wyżej są małe, jednofunkcyjne i przeważnie darmowe albo tanie: licencja za 14 dol., obraz kontenera, repozytorium na GitHubie. Zmiana w Anthropicu dotyczy planów płatnych i przesuwa pracę w drugą stronę. Która strona wygra, zależy od obciążeń i od tego, czy liczby zgodności utrzymają się poza zbiorem 77 intencji.