Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Małe modele idą na brzeg: Reika, Jeff-Code i d1 zmieniają lokalną AI

5 października deweloperzy wydali Reikę, agenta CLI zoptymalizowanego pod lokalne modele od 8 000 000 000 do 35 000 000 000 parametrów, oraz Jeff-Code, który za pomocą modelu 800 000 000 parametrów przyspiesza Qwen 3.8-27B o 47% bez utraty dokładności.

AI i modeleWyjaśnienieMarta ZielińskaOpublikowano: 5 października 20267 min czytaniaŹródła 10
Małe modele idą na brzeg: Reika, Jeff-Code i d1 zmieniają lokalną AI

Środek ciężkości wnioskowania AI przenosi się z centrów danych do osobistych urządzeń.

Napędza to nowa fala narzędzi, które stawiają wydajność ponad samą liczbą parametrów. Wydane w ciągu ostatnich 72 godzin narzędzia mają jeden cel: uczynić małe modele językowe użytecznymi w złożonych, rzeczywistych zadaniach. Reika, agent CLI do kodowania wydany 5 października, od początku projektuje architekturę wokół małych modeli lokalnych. Repozytorium na GitHubie podaje, że narzędzie celuje w modele od 8 000 000 000 do 35 000 000 000 parametrów, często skwantyzowane do Q2 lub Q4, pracujące w oknach kontekstu od 16 000 do 32 000 tokenów. Deweloperzy zaznaczają, że harness oszczędza kontekst, żeby małe modele nie traciły ograniczonego okna na powtarzalne odczyty. Nie czyni małego modelu mądrzejszym, ale pracę z nim czyni mniej frustrującą, bo zmniejsza szansę, że zadanie po cichu zniknie.

Dokumentacja techniczna Reiki podaje konkretne wyniki testów wewnętrznych.

Przy przepisaniu w średnim kontekście harness ponownie przetworzył 8 453 tokeny promptu, co dało 7,9 minuty czasu prefill. Dopisanie w tej samej sesji kosztowało tylko 25 tokenów i 3,5 sekundy. Ta różnica pokazuje, jak nieefektywne bywa tradycyjne zarządzanie kontekstem w mniejszych modelach. Deweloperzy zmierzyli też wykrywanie pętli: zdrowe rundy rozumowania mają podobieństwo między rundami na poziomie 0,2 do 0,3, a zablokowane pętle osiadają na 1,00. Produktywna tura z 38 rundami nigdy nie uruchomiła detektora, więc system odróżnia produkcyjną iterację od porażki.

Jeff-Code wybiera inną drogę. Łączy model decyzyjny o 800 000 000 parametrów z Qwen 3.8-27B. Model o nazwie Jeff obsługuje rutynowe kroki, jak czytanie plików czy listowanie folderów, i podejmuje takie decyzje w około 0,2 sekundy każda. Gdy Jeff jest pewny, sam wykonuje następny krok. Gdy ma wątpliwości, przekazuje zadanie większemu modelowi Qwen. Taki podział pracy pozwala systemowi działać o 47% szybciej, czyli o 32% krócej na zadanie, przy tej samej skuteczności. Ewaluacja objęła zadania parami: Jeff-Code osiągnął 62,4% skuteczności, a sam Qwen 62,8%. Różnica była statystycznie nieistotna, przedział 95% wynosił od -2,6 do +2,1 punktu.

Liquid AI przedstawiła 5 października d1, model decyzyjny obsługujący tekst i obrazy. W odróżnieniu od tradycyjnych modeli językowych, które generują tokeny po kolei, d1 czyta nieustrukturyzowane dane w jednym przebiegu i zwraca prawdopodobieństwa dla każdej możliwej odpowiedzi. Decyzja na tekście zajmuje od 200 do 300 ms, co wystarcza do zastosowań w czasie rzeczywistym. Firma przetestowała d1 przeciw GPT-6.1 Sol i Claude Opus 5.5 na sześciu rzeczywistych zastosowaniach, między innymi filtrowaniu zgłoszeń do pomocy technicznej i kontroli płytek drukowanych. Na czterech z tych zadań d1 dorównał GPT-6.1 Sol albo go pobił, a kosztował od 19 do 200 razy mniej. Odpowiadał też znacznie szybciej w każdym zadaniu.

Wydajność tych modeli widać w zadaniach wizualnych.

W zbiorze VisA d1 sortował dobre i wadliwe części z dokładnością 85-97%. Model nigdy nie trenował na tym konkretnym zadaniu kontroli przemysłowej. Wymagania zrozumiał z krótkiego opisu, co pokazuje ogólność architektury modelu decyzyjnego. W grach dodanie widzenia podniosło wynik d1 w Tetrisie z 70 do 81 usuniętych linii. W Wordle model rozwiązał 12 z 12 gier, zgadując średnio w 3,8 próby, bo czytał planszę wprost ze zrzutu ekranu.

Interfaze AI wydała Interfaze-1-lite, model o mieszanej architekturze przeznaczony do zadań deweloperskich. Działa na jednej karcie GPU o pamięci 80 GB, bez zewnętrznych usług. Łączy dekoder z hybrydową uwagą z wyspecjalizowanymi architekturami do czytania dokumentów, rozpoznawania mowy i osadzania wizualnego. Nagranie 95 minut transkrybuje w około 90 sekund. Model rozumie dokumenty, podając ramki i oceny pewności dla każdej linii i słowa. Obsługuje wyjście strukturalne ograniczone do schematu JSON podanego przez użytkownika. Okno kontekstu wynosi 131 000 tokenów, co pozwala przetwarzać długie dokumenty i złożone interakcje.

To nie pojedyncze przypadki, ale część szerszego ruchu w stronę przetwarzania na urządzeniu. W recenzji iPhone'a 18 Pro, opublikowanej 5 października, The Guardian podaje, że nowy układ A20 Pro jest około 27% szybszy od A19 Pro, a wydajność grafiki wzrosła o 45%. Telefon trafia na rynek z iOS 27, który zawiera przebudowaną Siri opartą na technologiach AI Google'a. Siri AI znacznie lepiej rozumie pytania i odpowiada na nie niż wcześniejsze wersje. Jest mniej gadatliwa i mniej schlebiarska, skupia się na wykonaniu zadania. System widzi, co jest na ekranie, także przy użyciu kamery, i proponuje na przykład dodanie wydarzenia do kalendarza.

Zwrot ku małym modelom wpływa też na społeczność open source.

Metagente, niewielki język dla agentów AI, mówi natywnie MCP i A2A. Interpreter to jeden plik binarny napisany w Rust, bez środowiska Pythona i bez frameworka. Użytkownik opisuje, do czego służy agent, jakich narzędzi może używać i co odpowiada. Resztę robi interpreter. To obniża próg wejścia w budowaniu agentów i czyni je dostępnymi dla osób, które nie programują. Język obsługuje uprawnienia dla poszczególnych agentów do folderów, zmiennych środowiskowych i linków, co zwiększa bezpieczeństwo.

NASA i IBM wydały Lunar Foundation Model, pakiet do dostrajania i wnioskowania na potrzeby zadań księżycowych. Projekt zawiera dwa pakiety Pythona: ni_lfm dla modelu oraz terratorch_integration dla modułów danych i zadań. Model obsługuje wykrywanie kraterów, ocenę występowania lodu i segmentację. Wydanie zawiera przykłady zgłaszania zadań do klastra przez PBS i Slurm. Małe, wyspecjalizowane modele zyskują więc także w nauce i w zastosowaniach kosmicznych, gdzie zasoby często są mocno ograniczone.

Nad technicznymi podstawami tych modeli pracują też ośrodki akademickie. Badanie Uniwersytetu Kalifornijskiego w Riverside, opublikowane 23 września, wykazało, że pewność i poprawność w dużych modelach językowych wynikają z różnych cech wewnętrznych. Badacze wskazali cechy wewnętrzne powiązane osobno z pewnością i z poprawnością. Pokazali, że zmiana niektórych z tych cech zmienia zachowanie modelu bez ponownego trenowania całości. To podważa założenie, że pewność modelu jest wiarygodnym wskaźnikiem trafności. Sugeruje, że przyszłe modele można dostroić tak, by były pewniejsze, gdy mają rację, i ostrożniejsze, gdy prawdopodobnie się mylą.

Włączanie małych modeli do istniejących procesów staje się płynniejsze. Python Language Summit 2026 omawiał różne inicjatywy poprawy ekosystemu Pythona, w tym możliwość użycia Rust w CPythonie. David Hewitt zauważył, że liczba zgłoszeń oznaczonych jako "type-crash" stale rośnie. Zasugerował, że Rust może być rozwiązaniem, wskazując na jego użycie w Androidzie i jądrze Linuksa. Zespół zaproponował, by poprosić dystrybutorów Pythona o próbę z opcjonalnym wsparciem Rust w Pythonie 3.16, a zgłoszone problemy rozwiązać w Pythonie 3.17.

Inna dyskusja na szczycie dotyczyła migawek pamięci dla CPythona.

Hood Chatham zaproponował użycie migawki pamięci procesu Pythona po inicjalizacji, żeby przyspieszyć start. W testach proste "Hello, world" działało około 4 razy szybciej, gdy interpreter ładował się z migawki pamięci. Podejście napotyka jednak trudności związane z bezpieczeństwem, konkretnie z atakami odmowy usługi przez kolizje algorytmów haszowania. Propozycja zakłada dodanie fazy inicjalizacji do modelu języka Python, żeby środowisko uruchomieniowe mogło bezpiecznie wprowadzić losowość.

Krajobraz małych modeli językowych zmienia się szybko, bo nowe narzędzia i architektury pojawiają się często. Wspólny mianownik to wydajność, specjalizacja i zdolność do pracy na ograniczonym sprzęcie. Gdy sprzęt się poprawia, a optymalizacje oprogramowania idą naprzód, modele te prawdopodobnie staną się standardowym elementem codziennego liczenia, od smartfonów po instrumenty naukowe. Najbliższe lata przyniosą zapewne dalszą integrację tych technologii z głównymi zastosowaniami, co obniży koszty i poszerzy dostęp.

Komentarze 0

Źródła

10
  1. 01Reika – A coding agent CLI designed around small local models firstEN
  2. 02Jeff-Code: a 0.8B model makes Qwen 3.8-27B coding 47% faster, same pass rateEN
  3. 03d1: The most capable decision model, now with visionEN
  4. 04Interfaze-1-lite: the first open-weight model for deterministic taskEN
  5. 05Apple iPhone 18 Pro review: big changes for small differencesEN
  6. 06Metagente, a tiny language for AI agents that speaks MCP and A2AEN
  7. 07NASA-IBM Lunar Foundation Model and fine-tuning codeEN
  8. 08Study: Path discovered to make AI models red-flag their doubtful answersEN
  9. 09Rust for CPython (Python Language Summit 2026)EN
  10. 10Memory Snapshots for CPython (Python Language Summit 2026)EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.