Małe modele na urządzeniu: 91% sygnałów entropii tokenów bezużytecznych, twierdzi preprint
W małych modelach językowych z mniej niż 3 000 000 000 parametrów sygnały pewności na poziomie tokenów są praktycznie ślepe. Preprint na arXiv przesłany 21 lipca wykazał średnią entropię tokenów bliską zeru w 91% kombinacji zbiorów danych i modeli, niezależnie od tego, czy odpowiedź była poprawna.

Autorem pracy jest Prashant Mudgal. Przetestował siedem podejść na 7 parach modeli i 5 standardowych benchmarkach NLU, a wszystko działało na sprzęcie konsumenckim. Wniosek jest dosadny: wczesne zatrzymywanie oparte na entropii tokenów nie działa w tej skali. Entropia semantyczna, liczona przez generowanie wielu próbek i grupowanie odpowiedzi według znaczenia, daje użyteczny sygnał. Kierowanie niepewnych zapytań do większego modelu eksperckiego podniosło dokładność o maksymalnie 50 punktów procentowych.
Kierowanie między rodzinami modeli dało średnio +22,0% wobec +6,8% dla par z tej samej rodziny. Podany przykład to SmolLM 360 000 000 przekazujący zadanie do Phi-3.5-mini. Autor ujmuje to tak: wartość metod entropii w małych modelach nie polega na oszczędzaniu obliczeń, lecz na ich rozdzielaniu.
Dlaczego prace na urządzeniu wciąż rosną
Czas ma znaczenie. 27 września Nvidia udostępniła Nemotron 3 Diarization, model o około 100 000 000 parametrów, który rozpoznaje, kto mówi w rozmowie. Wagi można pobrać bezpłatnie, informuje The Decoder. Model rozdziela do ośmiu mówców i oznacza nakładającą się mowę. W Diarization-Bench od VoiceArena zajmuje obecnie pierwsze miejsce z odsetkiem błędów 14,72 procent, przed kolejnym systemem z 19,3 procent. W połączeniu z systemem rozpoznawania mowy, takim jak Parakeet, tworzy transkrypcje z anonimowymi etykietami mówców. Odsetek błędów rośnie przy większej liczbie uczestników, hałasie w tle lub pogłosie.
Opóźnienie to kompromis projektowy, nie darmowa wygrana. Bufor audio można ustawić na czterech poziomach, od 30,4 sekundy do 0,32 sekundy, a krótsze bufory zwykle obniżają dokładność. Nvidia twierdzi, że model zmniejsza odsetek błędów średnio o 41 procent w ośmiu scenariuszach testowych wobec poprzednika, Streaming Sortformer, przy buforze 1,04 sekundy. To liczba, która ma znaczenie, gdy model musi działać lokalnie, a nie w centrum danych.
Ten sam tydzień przyniósł znacznie większy projekt z o wiele węższym twierdzeniem o automatyzacji. Zespół z udziałem badaczy z chińskiego Uniwersytetu Fudan przeanalizował własną pracę nad Atria Dawn Preview, agentowym modelem językowym o architekturze mieszaniny ekspertów z 744 000 000 000 parametrów, podaje The Decoder. Analiza objęła ponad 700 dzienników zadań od 56 uczestników. AI wykorzystano w 96,5 procent przejrzanych zadań, a mediana stosunku działań agenta do wkładu człowieka wzrosła z 11 do 28,5 w ciągu czterech tygodni. Autorzy ostrzegają przed czytaniem tego jako autonomii: każda decyzja człowieka uruchamiała po prostu więcej kroków agenta.
Uczestników pytano, czy mogliby wykonać swoją część zadania bez AI w tej samej skali i jakości. Spośród 455 ukończonych zadań wspieranych przez AI 151 oceniono jako niewykonalne bez AI, czyli około jednej trzeciej, i dotyczyło to 27 z 56 uczestników.
Ludzie nadal podejmowali 85,5 procent decyzji o metodach i parametrach, AI 9,2 procent, a człowiek miał ostatnie słowo w sprawie celów i zakresu w 93,4 procent przypadków. Gdy coś szło nie tak w 588 zadaniach z zapisaną trudnością, 76 procent posunęło się naprzód dzięki interwencji człowieka, a 23 procent rozwiązał sam agent. Praca ostrzega, że gdy każda decyzja opiera się na dłuższym łańcuchu pracy agenta, niż człowiek jest w stanie przejrzeć, nadzór zamienia się w przyklepywanie.
Tanie modele, drogie pytania
Koszt zmienia to, które modele w ogóle się używa. CNBC podało 26 września, że modele chińskie odpowiadały za 57% do 67% tokenów na OpenRouter w tygodniu 14 września, wobec 6% do 13% w lutym, a w sierpniu sięgnęły 55% tokenów na Vercel z 11% w styczniu. Peter Walker, szef działu analiz w OpenRouter, powiedział CNBC, że chińskie modele open source wydane w tym roku potrafią wiarygodnie obsłużyć zaawansowane zadania agentowe, zwłaszcza programowanie, czego nie można było powiedzieć pod koniec 2025 roku, i są tanie na tle większości modeli z amerykańskich laboratoriów. Harpreet Arora, szef infrastruktury agentowej w Vercel, stwierdził, że cena staje się przekonująca, gdy model przekroczy próg jakości wymagany do zadania.
Waszyngton patrzy. Dwie komisje Izby Reprezentantów badają ten trend, a CNBC zauważa, że amerykańskie modele frontier nadal przyciągają więcej łącznych wydatków. Daniel Remler z Center for a New American Security powiedział redakcji, że obawa dotyczy tego, iż integracja wciąga kraje w chińską strefę technologiczną. Dane, które cytuje CNBC, są nierówne: około połowa tokenów na OpenRouter pochodzi od amerykańskich firm, podczas gdy przedsiębiorstwa w 82 krajach, które OpenRouter grupuje jako Globalne Południe, wysyłają 67% swoich tokenów do modeli chińskich.
Małe modele niewygodnie wpisują się w tę walkę. Działają na urządzeniu, co omija część argumentów o kontroli eksportu, ale ich niezawodność jest dokładnie tym, co kwestionuje preprint z arXiv. Wynik dotyczący kierowania zapytań sugeruje, że praktyczna odpowiedź to nie lepszy mały model sam w sobie, lecz mały model, który wie, kiedy poprosić o pomoc.
Źródła
6- 01Do small language models know what they don't know?EN
- 02Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real timeEN
- 03AI agents do more of the work in model development, but humans still make the decisionsEN
- 04Chinese AI models surge in global popularity — and Washington is worriedEN
- 05OpenAI halts training of latest models as reports mount of AI agents going rogueEN
- 06OpenAI pauses training of its 'most capable models'EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.