Badacze z UC Riverside znaleźli w modelach cechy odpowiadające za pewność siebie i trafność

23 września zespół kierowany przez informatyków z UC Riverside opublikował badanie o pewności modeli. Wynika z niego, że deklarowana przez model pewność nie mówi wiarygodnie, czy odpowiedź jest trafna. To podważa założenie, na którym opiera się ta dziedzina: że wysoka pewność idzie w parze z wysoką poprawnością. Obie cechy mogą powstawać w zupełnie innych mechanizmach wewnętrznych. „Główne założenie w tej dziedzinie jest takie, że kiedy model jest pewny, prawdopodobnie ma rację, a kiedy nie jest pewien, częściej się myli”, powiedział Het Patel, doktorant i pierwszy autor pracy, cytowany przez UC Riverside. „Ale często widzimy dobrze udokumentowane kontrprzykłady”. Badanie objęło dwa modele z otwartymi wagami: Llama-3.1-8B firmy Meta, która ma 8 000 000 000 parametrów, i Gemma-2-9B firmy Google z 9 000 000 000 parametrów. Na pytaniach wielokrotnego wyboru zespół podzielił odpowiedzi na cztery grupy według trafności i pewności. Potem badacze użyli rzadkich autoenkoderów, żeby przeanalizować aktywność wewnętrzną modeli. W ten sposób znaleźli cechy, które włączały się w stanach pewności, niepewności, poprawności i błędu. Mechanizm rozbieżności Analiza ujawniła trzy rodzaje cech. Część wiązała się głównie z niepewnością, część z błędnymi odpowiedziami, a cechy „zmącone” łączyły się z jednym i drugim. Kiedy badacze wyciszyli cechy związane wyłącznie z niepewnością, trafność modeli wyraźnie spadła. To sugeruje, że cechy niepewności pomagają generować dobre odpowiedzi. Nie są tylko szumem ani asekuracją. Wyciszenie cech powiązanych wyłącznie z błędnymi odpowiedziami dało inny efekt. To rozdzielenie pozwala na punktowe interwencje. Patel opisał ten proces jako „kręcenie gałkami” wewnątrz modelu i obserwowanie zmian w zachowaniu. Chodzi o to, żeby model był pewniejszy, kiedy ma rację, i ostrożniejszy, kiedy prawdopodobnie się myli, i to bez kosztownego trenowania całej sieci od nowa. Praca wpisuje się w szerszy trend prób uczynienia systemów AI bardziej godnymi zaufania. Duże modele językowe coraz częściej służą do podejmowania decyzji i wykonywania zadań. Twórcy potrzebują lepszych sposobów rozpoznawania, kiedy odpowiedzi można zaufać. Badanie z UC Riverside wskazuje metodę, dzięki której systemy AI mogą dopasować wewnętrzne sygnały pewności do rzeczywistych wyników. Kontekst z ostatnich testów i modeli Problem pogodzenia szybkości z trafnością widać też w ostatnich premierach modeli. Reflection AI pokazało 5 października Beam, model z otwartymi wagami o 501 parametrów. Firma twierdzi, że Beam dorównuje czołowym chińskim modelom otwartym w testach rozumowania. Robi to przy 3 do 4 razy mniejszym nakładzie obliczeń na wnioskowanie, podał TechCrunch. Beam nie jest „modelem decyzyjnym” w tym sensie co badanie UC Riverside. Pokazuje jednak, jak branża goni za wydajnością w zadaniach rozumowania, gdzie niezawodność jest najważniejsza. Podobnie GitHub wydał 5 października ReviewBench, otwarty test porównawczy do przeglądu kodu przez AI. Benchmark powstał, żeby mierzyć jakość agentowego przeglądu kodu. W tym zadaniu zmyślone lub błędne sugestie dotyczące kodu mogą mieć realne skutki. ReviewBench analizuje 219 publicznych pull requestów w 19 językach. Ma dostarczyć rygorystyczną metodologię oceny. Śledzi, czy zmiany w systemach przeglądu przekładają się na realne zyski produkcyjne. Te wydarzenia pokazują podwójną presję na twórców AI. Muszą poprawiać surowe możliwości i jednocześnie eliminować niepewność, która prowadzi do halucynacji. Badanie z UC Riverside daje techniczną mapę drogową dla tego drugiego. Wskazuje, że cechy wewnętrzne odpowiadające za wątpliwość i trafność da się rozdzielić i modyfikować. Dzięki temu przyszłe modele mogłyby wprost sygnalizować własne wątpliwości. To stworzyłoby warstwę przejrzystości, której brakuje dziś w wielu komercyjnych systemach.