Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Małe modele wchodzą na urządzenia: Echo, Phonon-2, Strata i Nimble w jednym tygodniu

Fulcrum wypuściło 30 września Echo, model do pisania, który według firmy kosztował mniej niż 5 000 dolarów treningu i bije modele frontier w naśladowaniu stylu. To jedno z czterech wydań małych lub lokalnych modeli z tego samego dnia, obok Phonon-2, Strata i endpointu do modeli decyzyjnych w Ollamie.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 30 września 20268 min czytaniaŹródła 11
Małe modele wchodzą na urządzenia: Echo, Phonon-2, Strata i Nimble w jednym tygodniu

30 września Fulcrum wypuściło Echo, model do pisania, który firma opisuje jako najlepszy w naśladowaniu stylu. Według Fulcrum trening kosztował mniej niż 5 000 dolarów. Firma twierdzi też, że Echo bije modele frontier w zadaniach pisarskich, od fikcji po wyjaśnienia techniczne, jak podaje strona premiery. Model nie jest jeszcze otwarty: Fulcrum zapowiada, że wkrótce udostępni go na licencji open source, a na razie przyjmuje zgłoszenia od osób, które chcą go używać na większą skalę.

Twierdzenie opiera się na metryce, którą Fulcrum zbudowało samo. Firma policzyła standardowe cechy stylometryczne i na ich podstawie wyliczyła Elo stylu, w którym raportuje stan sztuki zarówno dla autorów obecnych w treningu, jak i dla tych wykluczonych. Nie ma przyjętych kanonicznych metryk jakości pisania i firma mówi o tym na stronie. Ranking trzeba traktować jako jej własną tablicę wyników, dopóki ktoś niezależny go nie powtórzy.

Fulcrum tłumaczy niski koszt sposobem wydobywania wiedzy z modelu. Twierdzi, że model ma już w sobie skompresowaną wiedzę o stylu autorów, a nadzorowane dostrajanie uczy go głównie aktywowania tego, co jest w środku. Etap SFT zasiewa persony ludzkim pisaniem z internetu, opakowanym w syntetyczne konspekty wygenerowane przez model frontier, a potem dostraja model na oryginalnym tekście zależnie od tego konspektu. Drugi etap stosuje uczenie ze wzmocnieniem na poziomie tokenów wobec metryki głosu, co według Fulcrum przenosi zyski z person do rozmów i naprawia koszt rozumowania, jaki firma zaobserwowała przy danych ludzkich spoza polityki.

Jeden szczegół warto podać każdemu, kto używa detektorów AI jako miary slopu. Fulcrum pisze, że Pangram, jeden z detektorów, uznaje tekst Echo za ludzki częściej niż tekst modeli frontier. Przy nieco bardziej szczegółowych promptach Echo jest oznaczany jako ludzki przez większość czasu. To świadoma decyzja projektowa Fulcrum, nie przypadek, i przeczy częstemu założeniu, że lepsze modele powinny być łatwiejsze do wykrycia.

Mowa w 164 MB

Tej samej nocy Fermion Research wypuściło Phonon-2, model rozpoznawania mowy angielskiej, który mieści się w pobraniu o rozmiarze 164 MB. Fermion podaje, że model osiąga średnio 5,21% błędu słowa na siedmiu angielskich zbiorach Open ASR Leaderboard, a każdy otwarty model z lepszym wynikiem jest co najmniej 5,8 razy większy. Enkoder zapisuje każdą wagę jako jeden z pięciu wyuczonych poziomów przy około 2,1 bita, upakowanych jako cyfry trójkowe po pięć w bajcie.

Głównym porównaniem jest własny nauczyciel, model pełnej precyzji o rozmiarze 2,5 GB. Fermion twierdzi, że Phonon-2 utrzymuje dokładność nauczyciela zbiór po zbiorze, osiąga 100,8% jego dokładności słownej na mowie parlamentarnej i bije go na spotkaniach, przy pobraniu 15 razy mniejszym. Na MacBooku Air zamienia godzinę dźwięku w tekst w około 20 sekund. Na ośmiu rdzeniach CPU ta sama godzina zajmuje 25 sekund, a na jednym H100 cały dzień dźwięku zajmuje 13 sekund w partiach po 128.

Fermion ostrożnie podchodzi do swoich szybkich ścieżek. Twierdzi, że każda z nich trafia do wydania tylko dlatego, że jej błąd słowa mieści się w szumie ścieżki dokładnej, zdefiniowanym jako sparowany bootstrap po klipach z 4 000 powtórzeń, dający 95% przedział obejmujący zero. Wagi są na licencji CC-BY-4.0, tej samej co NVIDIA Parakeet TDT 0.6B v3, z którego się wywodzą. Model działa na Macach, Linuksie, Windowsie i kartach NVIDIA, a wiersz poleceń fermion instaluje się z PyPI.

Oba wydania wskazują na tę samą zmianę: możliwości, które kiedyś wymagały centrum danych, są kompresowane do plików, które zmieści laptop. 164 MB Phonon-2 to mniej niż większość bibliotek zdjęć. Budżet treningowy Echo jest mniejszy niż miesięczna pensja jednego inżyniera. Żadna z tych liczb nie mówi, że model jest dobry. Obie mówią, że próg wejścia do wypuszczenia własnego modelu spadł.

Model 125 000 000 000 parametrów na komputerze do gier, w pewnym sensie

Strata, opublikowana na GitHubie 30 września, obiera przeciwną drogę: nie zmniejsza modelu, tylko go strumieniuje. Projekt oferuje instalację jednym kliknięciem dla Windowsa i Linuksa, która uruchamia Qwen3.8-Flash-Next na sprzęcie konsumenckim, czytając z SSD wszystko, co nie mieści się w pamięci. Dokumentacja wymienia zestaw 2,00 bpw o rozmiarze 257 GB, wymagający około 265 GB wolnego dysku, oraz wariant coder z połową ekspertów usuniętych, o rozmiarze 191 GB.

Zmierzone liczby są skromne i projekt tego nie ukrywa. Na RTX 5070 z 12 GB i 64 GB RAM systemowej Strata podaje 4 do 6 tokenów na sekundę na wyjściu i około 110 tokenów na sekundę czytania promptu przy 4K. RTX 3060 z 12 GB i 46 GB RAM osiąga 9 do 11 tokenów na sekundę. Pojedyncza karta Radeon AI PRO R9700 z 251 GB RAM daje 21 do 25 tokenów na sekundę. Cztery takie karty dochodzą do 74 do 77.

Obsługiwany sprzęt jest wąski i wypisany wprost: NVIDIA RTX serii 30, 40 i 50 na Windowsie i Linuksie, AMD Radeon AI PRO R9700 na Linuksie, AMD Ryzen AI Max Strix Halo na Windowsie oraz Apple Silicon Mac z 64 GB lub więcej, tylko tekst. Projekt jest darmowy i otwarty, nie wymaga konta i serwuje API w stylu OpenAI lub Anthropic na localhost. To realna opcja dla kogoś z dużym SSD i cierpliwością, nie zamiennik hostowanego endpointu.

Stos modeli decyzyjnych się konsoliduje

Ollama wypuściła wersję 0.35 30 września ze wsparciem dla modeli decyzyjnych przez nowy endpoint /v1/systemone, wzorowany na API Jev od TypeSafe. Wysyłasz tekst jako stan plus zestaw nazwanych pytań, a lokalny model odpowiada na wszystkie w jednym żądaniu. Ollama pozycjonuje to do triage'u zgłoszeń, routingu modeli i moderacji treści, a w swoim przykładzie Pac-Mana podaje, że Nimble 9B odpowiada średnio w 91 ms na decyzję na M5 Max.

Nimble to model 9B od Bespoke Labs, dostrojony z Qwen3.5-9B, i jest implementacją referencyjną formatu. Repozytorium dokumentuje chronologię: TypeSafe wypuściło Jev 14 września 2026, Bespoke wypuściło Nimble-v1 jako Bespoke-Nimble-9B 18 września, Ollama dodała Nimble-v2 29 września, a Nimble-v4 i Nimble-v4-max zadebiutowały w API 13 października. Bespoke podaje, że Nimble-v4-max zdobył 68,46 w publicznym zestawie Decision Index, a Nimble-v4 63,70, wobec Jev 1.13 z 57,96 i Perplexity Decider v1.1 z 62,25. To własne przebiegi Bespoke z 12 października i nie ma ich jeszcze na dashboardzie indeksu, podaje repozytorium.

Strona modelu w Ollamie wymienia trzy typy pytań: wybór z listy, odpowiedź prawda lub fałsz albo umieszczenie czegoś na skali. Żądanie może nieść do 64 pytań o ten sam tekst, pytania wyboru i oceny przyjmują od 2 do 26 opcji, a odpowiedzi wracają z prawdopodobieństwami i wartością pewności, o której Ollama zaznacza, że nie jest szansą, że odpowiedź jest poprawna. To zastrzeżenie waży więcej, niż wygląda. Pewna siebie błędna odpowiedź nadal jest błędna, a API daje liczbę do sprawdzenia, nie wyrok.

Stos ma też warstwę destylacji. Jevstiller, projekt na GitHubie opublikowany 30 września, stoi przed powtarzanym wywołaniem klasyfikacji Jev, uczy się z odpowiedzi Jev i ich rozkładów prawdopodobieństwa, a potem odpowiada lokalnie na większość żądań. Na Banking77, odtworzonym wobec zapisanych odpowiedzi Jev z domyślnymi ustawieniami, jego lokalny model odpowiedział na 61,7% wiadomości ze zbioru testowego przy 99,40% zgodności z Jev, wobec celu 98%, i utrzymał dokładność Jev na poziomie 78,8% wobec 78,5% na etykietach zbioru. Lokalna odpowiedź zajmuje około 15 ms na CPU, mniej więcej 20 razy szybciej niż p50 Jev wynoszące 300 ms, podaje projekt.

Co ten tydzień naprawdę pokazuje

Czytane razem, te wydania opisują rynek dzielący się na dwie części. Jedna kompresuje: Phonon-2 w 164 MB, Echo za mniej niż 5 000 dolarów treningu, Nimble z 9 000 000 000 parametrów odpowiadający w mniej niż 100 ms. Druga strumieniuje: Strata przepuszcza 257 GB wag przez komputer do gier z jednocyfrową liczbą tokenów na sekundę, żeby utrzymać działanie modelu klasy 125 000 000 000 parametrów bez serwera.

Połowa związana z kompresją ma lepsze dowody. Fermion publikuje metodykę ewaluacji, wymienia licencję, którą dziedziczy, i mówi, które szybkie ścieżki były dopuszczone na podstawie równoważności w granicach szumu. Fulcrum publikuje metrykę, którą samo wymyśliło, co jest słabsze, ale jasno mówi, że kanoniczna metryka nie istnieje. Strata publikuje tabelę przepustowości z podanym sprzętem, co robi więcej niż większość projektów inferencyjnych.

Brakuje niezależnej weryfikacji. Żadna z tych liczb nie została powtórzona przez trzecią stronę, a kilka pochodzi od organizacji sprzedających wynik. Open ASR Leaderboard to publiczny benchmark, co pomaga Phonon-2, ale wyniki Decision Index dla Nimble-v4 są własne Bespoke, a Elo stylu dla Echo należy do Fulcrum. To normalne w tygodniu premiery i nadal warto powiedzieć to wprost.

Zmieniło się nie to, że małe modele stały się dobre. Zmieniło się to, że narzędzia do ich uruchamiania, oceny i destylacji mieszczą się teraz na laptopie, a ludzie, którzy je budują, wydają nowe wersje co tydzień. Partia z 30 września to cztery wydania w jeden dzień, od czterech niezwiązanych zespołów, z których żaden nie jest dużym laboratorium. I to jest ta historia.

Komentarze 0

Źródła

11
  1. 01Echo – A SOTA writing model for style imitationEN
  2. 02Phonon-2: most accurate open speech recognition model in a 164 MB downloadEN
  3. 03Strata: Run a 125B-parameter AI model on a normal gaming PCEN
  4. 04Ollama now supports Jev-style decision modelsEN
  5. 05Ollama now supports Jev-like decision models all locally in 0.35EN
  6. 06Nimble: Data, Model, Recipe for an Open Jev (From Bespoke Labs)EN
  7. 07Jevstiller: Distill a repeated Jev classification task into a local modelEN
  8. 08Coop: A small language model pretrained by volunteersEN
  9. 09PSSA: A non-transformer language model written from scratch in RustEN
  10. 10AI models keep posting screenshots showing sensitive data from tech companiesEN
  11. 11TalkScribe – On-device dictation and local LLM rewrite for macOSEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.