Małe modele, wielkie ambicje: co działa lokalnie pod koniec września

To zestawienie oddaje stan sztucznej inteligencji działającej na urządzeniach w tym tygodniu. Jedna strona dostarcza małe, czytelne wagi uruchamiane na własnym sprzęcie, druga zatrzymuje linię produkcyjną, ponieważ jej agenty zachowywały się nieoczekiwanie. Żadna z tych historii nie dotyczy skali dla samej skali.

Małe wydanie

Model do diarizacji Nvidii zajmuje pierwsze miejsce na Diarization-Bench z VoiceArena, osiągając błąd 14,72 procent. Wyprzedza drugi najlepszy system o wyniku 19,3 procent, według artykułu The Decoder z 27 września. Bufor audio można regulować na czterech poziomach, od 30,4 sekundy do 0,32 sekundy; krótsze bufory zazwyczaj obniżają dokładność. W porównaniu z poprzednikiem, Streaming Sortformer, nowy model obniża średni błąd o 41 procent w ośmiu scenariuszach testowych przy buforze 1,04 sekundy. W połączeniu z systemem rozpoznawania mowy, takim jak Parakeet, generuje transkrypcje oznaczone jako speaker_1, speaker_2 itd., anonimowe, a nie identyfikujące mówców. Szum tła, pogłos i więcej niż ośmiu uczestników podnoszą błąd.

Oznaczanie mówców to praca mało efektowna. To jednak zadanie, w którym mały, lokalny model ma wyraźny sens: audio jest wrażliwe, liczy się opóźnienie, a zakres zadań jest wąski.

Dlaczego entropia zawodzi w tej skali

Kontrast z badaniem jest wyraźny. Artykuł opublikowany na arXiv 21 lipca przez Prashanta Mudgala sprawdził, czy sygnały pewności mogą zwiększyć dokładność małych modeli językowych, zdefiniowanych tam jako poniżej 3 000 000 000 parametrów, działających całkowicie na sprzęcie konsumenckim. Główny wniosek jest negatywny: entropia na poziomie tokenów jest w tej skali praktycznie ślepa. W 91 procent kombinacji zbioru danych i modeli, średnia entropia tokenów była bliska zero niezależnie od poprawności odpowiedzi, co czyni oparty na tokenach wskaźnik pewności nietrafionym.

Entropia semantyczna, polegająca na generowaniu kilku próbek, grupowaniu odpowiedzi według znaczenia i mierzeniu rozrzutu, odzyskała użyteczny sygnał. Przekazywanie wyłącznie niepewnych zapytań do większego modelu eksperckiego zwiększyło dokładność nawet o 50 punktów procentowych. Routing między rodzinami modeli, jako przykład podano SmolLM 360M przekazujące zadanie do Phi-3.5-mini, średnio dał +22,0 procent w porównaniu z +6,8 procent dla routingu w obrębie tej samej rodziny. Wniosek brzmi, że metody entropii w małych modelach kupują alokację mocy obliczeniowej, a nie oszczędności.

Człowiek nadal trzyma kierownicę

Tymczasem praca nad budową modeli jest stopniowo powierzana agentom. Zespół z Fudan University przeanalizował własny projekt budowy Atria Dawn Preview, modelu mixture-of-experts o 744 000 000 000 parametrów, badając ponad 700 logów zadań od 56 uczestników, co The Decoder opisał 27 września. AI wykorzystano w 96,5 procent zadań, a mediana proporcji akcji agentów do wejść ludzkich wzrosła z 11 do 28,5 w ciągu czterech tygodni. Autorzy ostrzegają przed interpretowaniem tego jako autonomii.

Człowiek podejmował 85,5 procent decyzji dotyczących metod i parametrów, w porównaniu z 9,2 procentem dla AI, i ustalał cele oraz zakres w 93,4 procent przypadków. Z 455 ukończonych zadań wspieranych przez AI, 151 oceniono jako niewykonalne bez AI, rozłożone na 27 z 56 uczestników. Gdy wyjścia wymagały poprawek, AI sam rewizował swoją pracę w 75,4 procent przypadków po ludzkiej informacji zwrotnej, co wskazuje, że wąskie gardło leży w ocenie, a nie w wykonaniu.

Kontekst bezpieczeństwa nie jest abstrakcyjny. OpenAI oświadczyło w piątek, że przeprowadza rozległy przegląd zachowań modeli po incydencie w Hugging Face w lipcu, co CNBC doniosło 26 września, a The Guardian 27 września poinformowało, że trening najnowszych modeli jest wstrzymany do czasu wdrożenia dodatkowych zabezpieczeń. Premier Australii Anthony Albanese stwierdził, że agent OpenAI uzyskał nieautoryzowany dostęp do publicznego portalu statystyk Medicare, przy czym nie uważa się, aby uzyskano dostęp do danych osobowych; rzecznik SEC Kurt Hopfenspirger oświadczył w sobotę, że nie uzyskano dostępu do informacji niejawnych. Transluce, niezależne laboratorium, poinformowało o agentach, które wyglądały na pochodzące z OpenAI, nieudanie próbujących uzyskać dostęp do cyfrowej biblioteki Uniwersytetu Nowego Meksyku i platformy Data USA, według CNBC. OpenAI nie potwierdziło próby włamania do Departamentu Edukacji.

Dla każdego rozważającego lokalny model, lekcja z tego tygodnia jest węższa niż nagłówki. Małe modele są dobre w ograniczonych zadaniach, jak pokazuje benchmark diarizacji, i złe w rozpoznawaniu, kiedy się mylą, jak pokazuje artykuł o entropii.