Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Małe modele na urządzeniu: 91% sygnałów entropii tokenów bezużytecznych, twierdzi preprint

W małych modelach językowych z mniej niż 3 000 000 000 parametrów sygnały pewności na poziomie tokenów są praktycznie ślepe. Preprint na arXiv przesłany 21 lipca wykazał średnią entropię tokenów bliską zeru w 91% kombinacji zbiorów danych i modeli, niezależnie od tego, czy odpowiedź była poprawna.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 28 września 20264 min czytaniaŹródła 6
Małe modele na urządzeniu: 91% sygnałów entropii tokenów bezużytecznych, twierdzi preprint

Autorem pracy jest Prashant Mudgal. Przetestował siedem podejść na 7 parach modeli i 5 standardowych benchmarkach NLU, a wszystko działało na sprzęcie konsumenckim. Wniosek jest dosadny: wczesne zatrzymywanie oparte na entropii tokenów nie działa w tej skali. Entropia semantyczna, liczona przez generowanie wielu próbek i grupowanie odpowiedzi według znaczenia, daje użyteczny sygnał. Kierowanie niepewnych zapytań do większego modelu eksperckiego podniosło dokładność o maksymalnie 50 punktów procentowych.

Kierowanie między rodzinami modeli dało średnio +22,0% wobec +6,8% dla par z tej samej rodziny. Podany przykład to SmolLM 360 000 000 przekazujący zadanie do Phi-3.5-mini. Autor ujmuje to tak: wartość metod entropii w małych modelach nie polega na oszczędzaniu obliczeń, lecz na ich rozdzielaniu.

Dlaczego prace na urządzeniu wciąż rosną

Czas ma znaczenie. 27 września Nvidia udostępniła Nemotron 3 Diarization, model o około 100 000 000 parametrów, który rozpoznaje, kto mówi w rozmowie. Wagi można pobrać bezpłatnie, informuje The Decoder. Model rozdziela do ośmiu mówców i oznacza nakładającą się mowę. W Diarization-Bench od VoiceArena zajmuje obecnie pierwsze miejsce z odsetkiem błędów 14,72 procent, przed kolejnym systemem z 19,3 procent. W połączeniu z systemem rozpoznawania mowy, takim jak Parakeet, tworzy transkrypcje z anonimowymi etykietami mówców. Odsetek błędów rośnie przy większej liczbie uczestników, hałasie w tle lub pogłosie.

Opóźnienie to kompromis projektowy, nie darmowa wygrana. Bufor audio można ustawić na czterech poziomach, od 30,4 sekundy do 0,32 sekundy, a krótsze bufory zwykle obniżają dokładność. Nvidia twierdzi, że model zmniejsza odsetek błędów średnio o 41 procent w ośmiu scenariuszach testowych wobec poprzednika, Streaming Sortformer, przy buforze 1,04 sekundy. To liczba, która ma znaczenie, gdy model musi działać lokalnie, a nie w centrum danych.

Ten sam tydzień przyniósł znacznie większy projekt z o wiele węższym twierdzeniem o automatyzacji. Zespół z udziałem badaczy z chińskiego Uniwersytetu Fudan przeanalizował własną pracę nad Atria Dawn Preview, agentowym modelem językowym o architekturze mieszaniny ekspertów z 744 000 000 000 parametrów, podaje The Decoder. Analiza objęła ponad 700 dzienników zadań od 56 uczestników. AI wykorzystano w 96,5 procent przejrzanych zadań, a mediana stosunku działań agenta do wkładu człowieka wzrosła z 11 do 28,5 w ciągu czterech tygodni. Autorzy ostrzegają przed czytaniem tego jako autonomii: każda decyzja człowieka uruchamiała po prostu więcej kroków agenta.

Uczestników pytano, czy mogliby wykonać swoją część zadania bez AI w tej samej skali i jakości. Spośród 455 ukończonych zadań wspieranych przez AI 151 oceniono jako niewykonalne bez AI, czyli około jednej trzeciej, i dotyczyło to 27 z 56 uczestników.

Ludzie nadal podejmowali 85,5 procent decyzji o metodach i parametrach, AI 9,2 procent, a człowiek miał ostatnie słowo w sprawie celów i zakresu w 93,4 procent przypadków. Gdy coś szło nie tak w 588 zadaniach z zapisaną trudnością, 76 procent posunęło się naprzód dzięki interwencji człowieka, a 23 procent rozwiązał sam agent. Praca ostrzega, że gdy każda decyzja opiera się na dłuższym łańcuchu pracy agenta, niż człowiek jest w stanie przejrzeć, nadzór zamienia się w przyklepywanie.

Tanie modele, drogie pytania

Koszt zmienia to, które modele w ogóle się używa. CNBC podało 26 września, że modele chińskie odpowiadały za 57% do 67% tokenów na OpenRouter w tygodniu 14 września, wobec 6% do 13% w lutym, a w sierpniu sięgnęły 55% tokenów na Vercel z 11% w styczniu. Peter Walker, szef działu analiz w OpenRouter, powiedział CNBC, że chińskie modele open source wydane w tym roku potrafią wiarygodnie obsłużyć zaawansowane zadania agentowe, zwłaszcza programowanie, czego nie można było powiedzieć pod koniec 2025 roku, i są tanie na tle większości modeli z amerykańskich laboratoriów. Harpreet Arora, szef infrastruktury agentowej w Vercel, stwierdził, że cena staje się przekonująca, gdy model przekroczy próg jakości wymagany do zadania.

Waszyngton patrzy. Dwie komisje Izby Reprezentantów badają ten trend, a CNBC zauważa, że amerykańskie modele frontier nadal przyciągają więcej łącznych wydatków. Daniel Remler z Center for a New American Security powiedział redakcji, że obawa dotyczy tego, iż integracja wciąga kraje w chińską strefę technologiczną. Dane, które cytuje CNBC, są nierówne: około połowa tokenów na OpenRouter pochodzi od amerykańskich firm, podczas gdy przedsiębiorstwa w 82 krajach, które OpenRouter grupuje jako Globalne Południe, wysyłają 67% swoich tokenów do modeli chińskich.

Małe modele niewygodnie wpisują się w tę walkę. Działają na urządzeniu, co omija część argumentów o kontroli eksportu, ale ich niezawodność jest dokładnie tym, co kwestionuje preprint z arXiv. Wynik dotyczący kierowania zapytań sugeruje, że praktyczna odpowiedź to nie lepszy mały model sam w sobie, lecz mały model, który wie, kiedy poprosić o pomoc.

Komentarze 0

Źródła

6
  1. 01Do small language models know what they don't know?EN
  2. 02Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real timeEN
  3. 03AI agents do more of the work in model development, but humans still make the decisionsEN
  4. 04Chinese AI models surge in global popularity — and Washington is worriedEN
  5. 05OpenAI halts training of latest models as reports mount of AI agents going rogueEN
  6. 06OpenAI pauses training of its 'most capable models'EN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.