Nowe modele AI mają dane treningowe starsze o kilka miesięcy, pokazuje tracker

Strona nosi nazwę „Jak przestarzały jest twój AI” i robi jedną rzecz: zestawia dwie daty przy 20 nazwach modeli i pozwala im liczyć w górę. Data premiery to moment, gdy laboratorium wypuściło model. Data graniczna treningu to moment, gdy przestał on czytać. Zgodnie z danymi z witryny, 10 z 20 wymienionych modeli ma datę graniczną, którą ich laboratorium faktycznie publikuje.

To cały argument benchmarkowy w pigułce. Premiery modeli oceniane są na podstawie benchmarków przeprowadzanych w dniu wydania, ale wszystko, co wydarzyło się po dacie granicznej, po prostu nie istnieje w wiedzy modelu. Własny przykład trackera: GPT-6 Astra ukazał się 3 września 2026, a jego dane treningowe kończą się 30 kwietnia 2026. W dniu premiery był już opóźniony o cztery miesiące.

Co pokazują daty

Weźmy wpisy, gdzie istnieją obie daty. Llama 4 wyszło 5 kwietnia 2025 z granicą z sierpnia 2024. Claude Haiku 4.5 wyszło 15 października 2025 z granicą z lipca 2025. Gemini 3.1 Pro wyszło 19 lutego 2026 z granicą z stycznia 2025, co daje lukę ponad rok. Claude Sonnet 5 (30 czerwca 2026, styczeń 2026), Claude Fable 5.1 (1 września 2026, czerwiec 2026), GPT-6 Astra (3 września 2026, 30 kwietnia 2026), Grok 4.7 (21 września 2026, maj 2026), Claude Opus 5.5 (22 września 2026, czerwiec 2026), GPT-6 Sol (22 września 2026, 20 kwietnia 2026) oraz GPT-6 Luna (22 września 2026, 18 maja 2026) uzupełniają zestaw opublikowanych danych.

Pozostałe dziesięć wierszy jest puste. Mistral Large 3, Mistral Small 4, Mistral Medium 3.5, Qwen3.8-Max, Muse Glimmer, DeepSeek V4-Pro, Qwen3.8-Flash, Gemini 3.8 Flash, Muse Spark 1.3 oraz DeepSeek V4.1-Flash pokazują „Niestwierdzono”. Witryna ostrożnie definiuje, co to znaczy: puste pole oznacza, że sprawdzone źródła dostawcy nie ustaliły daty granicznej dla danego modelu, a nie dowód, że laboratorium jej nigdy nie opublikowało. Pięć z ośmiu laboratoriów, Anthropic, Google DeepMind, Meta, OpenAI i xAI, ma opublikowaną datę graniczną dla co najmniej jednego modelu na stronie.

Data graniczna treningu to dzień, w którym model przestał czytać. Wszystko, co wydarzyło się później, po prostu nie istnieje w jego wiedzy. Model może wyjść we wrześniu, a przestać czytać w kwietniu, co oznacza, że w dniu premiery jest opóźniony o pięć miesięcy.

Najciekawsza teza strony nie dotyczy wcale dat. Dotyczy tego, co się dzieje, gdy oddasz modelowi przycisk wyszukiwania i pozwolisz mu zdecydować, czy go użyć. Autor raportuje 2 000 wywołań w 16 modelach, każdy wyposażony w narzędzie wyszukiwania w sieci. Modele frontierowe w tym teście podejmowały właściwe decyzje niemal za każdym razem. Słabsze odpowiadały na ustalone pytania z pamięci, gdy odpowiedź się zmieniła, i wyszukiwały w sieci takie rzeczy jak temperatura wrzenia wody. W jednym ujęciu na stronie 16 modeli zapytano, kim jest król Norwegii, a pięć wskazało zmarłego mężczyznę.

Przeczytaj to uważnie. Decyzja o wyszukiwaniu działa na tych samych wagach, które zawierają przestarzały fakt, więc błędy trafiają dokładnie tam, gdzie model czuje się najbardziej pewny siebie. Narzędzia wyszukiwania maskują lukę. Nie zamykają jej. Otwórz nową rozmowę, a model wraca do swojej daty granicznej.

Niedogodna część dla benchmarków

To ma znaczenie dla tego, jak odczytywane są benchmarki premierowe. Model może osiągnąć najwyższy wynik na liście liderów we wrześniu na pytania, których odpowiedzi ustaliły się przed kwietniem, i nikt przeprowadzający ocenę nie sprawdza daty granicznej na karcie modelu. Jeśli laboratorium nie publikuje daty granicznej, puste pole trackera jest uczciwą odpowiedzią: nikt poza laboratorium nie może zmierzyć tej luki.

Istnieje też problem drugiego rzędu. Model jest słabym źródłem informacji o modelach. Zapytaj go wprost, jaka jest jego data graniczna treningu, i poprawny odpowie lub powie, że nie jest pewien, zgodnie ze stroną. Ten, który wymyśla pewną datę, mówi ci coś użytecznego o sobie. Daty premier, numery wersji i informacja, który model jest aktualny, kończą się na dacie granicznej, a błędna odpowiedź nadal brzmi pewnie.

Proponowana poprawka jest mała i praktyczna. Wstaw kilka linii do pliku AGENTS.md lub CLAUDE.md, który agent i tak czyta, polecając mu pobieranie pliku models.json ze strony przed nazwaniem jakiegokolwiek modelu, wersji lub daty jako aktualnych oraz traktowanie wszystkiego z datą jako nieweryfikowanego do czasu sprawdzenia. Eksport zawiera datę premiery, opublikowaną datę graniczną i link do źródła dla każdego modelu i jest regenerowany zawsze, gdy odświeżana jest strona. Strona hostuje sformułowanie, gotowe do wklejenia.

Nic z tego nie jest benchmarkiem w zwykłym sensie. Nie ma wyniku, nie ma listy liderów i nie ma uruchomienia wysłanego przez laboratorium. To tabela dat z eksportem JSON i argumentem dołączonym: że druga data na karcie modelu zasługuje na taką samą wnikliwość jak pierwsza.

Dla każdego, kto porównuje dwa modele wydane w tym samym tygodniu, tracker dodaje pytanie, którego większość relacji z premier pomija. Kiedy każdy z nich przestał czytać i czy laboratorium chciało to powiedzieć?