Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Konsorcjum usunęło GPQA z oceny Soofi S po tym, jak pytania testowe trafiły do danych treningowych

Niemieckie konsorcjum badawcze wykreśliło test GPQA ze swojej oceny Soofi S, otwartego modelu 30B, po odkryciu, że przeredagowane pytania testowe wyciekły do ujawnionych danych treningowych, wynika z raportu o pretreningu.

AI i modeleNewsAnna KaczmarekOpublikowano: 27 września 20266 min czytaniaŹródła 2
Konsorcjum usunęło GPQA z oceny Soofi S po tym, jak pytania testowe trafiły do danych treningowych

Konsorcjum koordynowane przez KI Bundesverband opublikowało wersję 3.0 raportu o pretreningu i samo udokumentowało zanieczyszczenie. Chodzi o zbiór QA-base, który miał zawierać wyłącznie przeredagowane części treningowe z 25 standardowych testów, czyli pytania ćwiczeniowe uczące model formatu zadań, a nie prawdziwe pozycje testowe. Znalazły się w nim także przeredagowane pytania ze zbioru testowego GPQA, w tym z trudniejszego wariantu GPQA Diamond, po angielsku i w niemieckim tłumaczeniu maszynowym.

Powodem był błąd w oznaczaniu, nie celowe skrócenie drogi.

Na Hugging Face GPQA jest udostępniane bez osobnej części treningowej. Cały materiał testowy leży pod domyślną etykietą "train". Potok danych konsorcjum wybierał treści po nazwie części, więc pytania testowe zostały wciągnięte razem z ćwiczeniowymi. Audyt, do którego doprowadziło odkrycie, wykrył trzy kolejne testy z tym samym wzorcem: TruthfulQA, BLiMP i Inverse Scaling. Żaden z nich nie jest używany w ocenie Soofi S.

Wzrost, który wyglądał normalnie

Z raportu wynika przede wszystkim, że nikt nie zauważył problemu w trakcie treningu. Model poprawiał się na zanieczyszczonych zadaniach GPQA równomiernie, z 32,3 do 43,4 punktu, ale autorzy twierdzą, że ten wzrost mieścił się w normalnym zakresie i nie różnił się od postępów na innych testach. Nie było skoku, który mógłby zadziałać jak ostrzeżenie.

Poprawka ma charakter proceduralny. Zespół sprawdza teraz automatycznie swoje dane treningowe wobec wszystkich pytań testowych, zamiast opierać się na etykietach części, które raport określa jako często mylące.

W reakcji na wyciek konsorcjum wykreśliło GPQA całkowicie ze swojej oceny i przeliczyło wyniki ogólne dla wszystkich 16 porównywanych modeli, żeby stawkę oceniano na tej samej podstawie. Według autorów kolejność w rankingu się nie zmieniła.

Uczestnik projektu Nicolas Flores Herr z Fraunhofer IAIS wskazuje na ten incydent jako dowód, że otwarte podejście działa, argumentując, że społeczność mogła znaleźć problem tylko dlatego, że dane były publiczne. Zespół twierdzi, że udostępnił do weryfikacji około 152 000 pojedynczych wyników. Osobna ocena przeprowadzona przez partnera konsorcjum, firmę Ellamind, na celowo zatrzymanych danych testowych, których model na pewno nie widział w treningu, potwierdziła wyniki. Konsorcjum podaje, że dotknięta część to znikomy ułamek całego korpusu.

Termin jest niewygodny dla twierdzeń opartych na testach w ogóle. Osobne doniesienia z ostatnich dni, w tym prace Stanford HAI, podważają, jak dobrze obecne testy AI oceniają systemy, do których są skierowane.

Czym właściwie jest Soofi S

Soofi S 30B-A3B to model typu mixture-of-experts. Ma łącznie 31 600 000 000 parametrów, ale przy każdym generowanym tokenie uruchamia około 3 200 000 000, co stawia jego koszt obliczeniowy bliżej modelu 3 000 000 000 niż konwencjonalnego 30 000 000 000. Konsorcjum przyjęło architekturę Nvidii Nemotron 3 Nano bez modyfikacji: hybrydowy projekt łączący warstwy Mamba-2 ze standardowymi warstwami uwagi.

Różnica praktyczna leży w zachowaniu pamięci. W konwencjonalnym transformerze pamięć KV przechowująca poprzednie tokeny rośnie liniowo wraz z długością kontekstu, a jej ponowne ładowanie staje się wąskim gardłem przy długich wejściach i wielu równoległych żądaniach. Tylko 6 z 52 warstw Soofi S utrzymuje taką pamięć. Przy długości kontekstu 40 000 tokenów i 32 równoległych żądaniach konsorcjum podaje, że Soofi S generuje około osiem razy więcej tokenów na sekundę na GPU niż modele gęste w zakresie od 24 000 000 000 do 32 000 000 000 parametrów. Przepustowość pozostaje prawie płaska od 4 000 do 256 000 tokenów, podczas gdy modele konwencjonalne wyraźnie spadają. Jedynym modelem o podobnym zachowaniu w pomiarach jest, według raportu, Qwen3.5 35B-A3B firmy Alibaba, który także używa architektury hybrydowej.

Trening odbył się w całości w Industrial AI Cloud Deutsche Telekom w Monachium, co czyni Soofi S jednym z pierwszych dużych modeli językowych zbudowanych na tej infrastrukturze. Mieszanka treningowa jest celowo obciążona w stronę niemieckiego.

Na własnych testach konsorcjum model bije inne w pełni otwarte systemy, w tym OLMo 3 32B i Apertus 70 000 000 000, w zadaniach po niemiecku, angielsku i w programowaniu. Dostrojone warianty instruct i reasoning są w fazie testów beta i mają się ukazać na permisywnej licencji w najbliższych tygodniach. Większy model Soofi L jest już w treningu.

Argument o przetrenowaniu

Po premierze krytycy przekonywali, że Soofi S jest mocno przetrenowany według standardów praw skalowania Chinchilla, które Google DeepMind opublikował w 2022 roku, żeby opisać równoważenie rozmiaru modelu z danymi treningowymi przy stałym budżecie obliczeniowym. Wskazany przez nich optymalny punkt to około 20 tokenów na parametr. Soofi S go przekracza. Przy około 27 000 000 000 000 tokenów i 30 000 000 000 parametrów stosunek wynosi kilkaset do jednego. Jeśli liczyć tylko 3 200 000 000 parametrów aktywnych na token, stosunek sięga kilku tysięcy do jednego.

Michael Fromm, jeden z osób kierujących technicznie projektem, odrzuca taki odczyt. Twierdzi, że stare reguły nie przenoszą się na architektury mixture-of-experts. "Nowe badania pokazują, że stare prawa skalowania z modeli gęstych nie stosują się już do architektur MoE" - powiedział Fromm. Powód, jak mówi, sprowadza się do budowy: poszczególni eksperci korzystają z widzenia tych samych dokumentów, więc powtarzające się dane w dużym, wysokiej jakości zbiorze są mniejszym problemem niż w modelu gęstym. Jako punkt odniesienia podaje Nvidię, która trenowała własne modele na nawet 25 000 000 000 000 tokenów.

Zanieczyszczone dane były materiałem testowym, nie ćwiczeniowym, a potok nie potrafił odróżnić jednego od drugiego z powodu etykiety.

To jest niewygodna część tej historii. Wyciek nie był przypadkiem laboratorium, które po cichu trenuje na zbiorze testowym. To konwencja nazewnictwa w publicznym zbiorze danych, zastosowana na dużą skalę przez zautomatyzowany potok, która umknęła wszystkim, dopóki dane nie wyszły na jaw i ktoś ich nie przejrzał. Odpowiedź konsorcjum, sprawdzanie każdej pozycji treningowej wobec każdego pytania testowego, to rodzaj kontroli, który kosztuje moc obliczeniową i czas, a niewiele zespołów opisuje go publicznie.

Szerszy kontekst tej premiery to kultura testów pod presją. Opublikowany we wrześniu na stale.jock.pl rejestr podaje daty premier i progi odcięcia danych treningowych dla 20 obecnych modeli z 8 laboratoriów i zauważa, że tylko 10 z 20 ma próg, który laboratorium faktycznie publikuje. Autorzy przekonują, że model może wyjść we wrześniu i wciąż przestać czytać w kwietniu, a narzędzia wyszukiwania zakrywają tę lukę, zamiast ją zamykać. W pomiarze na 2 000 wywołań w 16 modelach, z których każdy dostał narzędzie wyszukiwania w sieci, podają, że modele czołowe decydowały poprawnie prawie za każdym razem, a słabsze odpowiadały na rozstrzygnięte pytania z pamięci już po zmianie odpowiedzi.

Testy i karty modeli to wspólny słownik branży opisujący, co system potrafi. Soofi S pokazuje obie połowy tego obrazu: udokumentowany wyciek rozwiązany jawnie i zestaw liczb dotyczących przepustowości i testów, które teraz zależą od poprawionej oceny. Warianty instruct i reasoning oraz przeliczona tabela porównawcza będą następnymi rzeczami do sprawdzenia.

Komentarze 0

Źródła

2
  1. 01German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and GermanEN
  2. 02How stale is your AI? Release age and training cutoff for 20 modelsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.