Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Nowe modele AI trafiają na rynek z danymi treningowymi sprzed miesięcy, pokazuje zestawienie

Dziesięć z 20 obecnych modeli z ośmiu laboratoriów podaje datę graniczną treningu, a różnica między nią a datą premiery sięga pięciu miesięcy, wynika z zestawienia opublikowanego 16 września.

AI i modeleWyjaśnienieMarta ZielińskaOpublikowano: 28 września 20264 min czytaniaŹródła 1
Nowe modele AI trafiają na rynek z danymi treningowymi sprzed miesięcy, pokazuje zestawienie

Strona nazywa się How stale is your AI i robi jedną rzecz: zestawia dwie daty przy 20 nazwach modeli i pozwala im się rozjeżdżać. Data premiery to moment, w którym laboratorium wypuściło model. Data graniczna treningu to moment, w którym model przestał czytać. Według serwisu 10 z 20 wymienionych modeli ma datę graniczną, którą laboratorium faktycznie publikuje.

W tym jednym zdaniu mieści się cały spór o benchmarki. Premiery modeli ocenia się na podstawie testów przeprowadzanych w dniu wydania, ale wszystko po dacie granicznej po prostu nie istnieje w tym, co model wie. Przykład ze strony: GPT-6 Astra ukazał się 3 września 2026, a jego dane treningowe kończą się 30 kwietnia 2026. W dniu premiery był już cztery miesiące do tyłu.

Co pokazują daty

Weźmy wpisy, w których istnieją obie daty. Llama 4 trafiła na rynek 5 kwietnia 2025 z datą graniczną sierpień 2024. Claude Haiku 4.5 ukazał się 15 października 2025 z datą lipiec 2025. Gemini 3.1 Pro pojawił się 19 lutego 2026 z datą styczeń 2025, czyli ponad rok różnicy. Claude Sonnet 5 (30 czerwca 2026, styczeń 2026), Claude Fable 5.1 (1 września 2026, czerwiec 2026), GPT-6 Astra (3 września 2026, 30 kwietnia 2026), Grok 4.7 (21 września 2026, maj 2026), Claude Opus 5.5 (22 września 2026, czerwiec 2026), GPT-6 Sol (22 września 2026, 20 kwietnia 2026) i GPT-6 Luna (22 września 2026, 18 maja 2026) dopełniają opublikowany zbiór.

Pozostałe dziesięć wierszy jest puste. Mistral Large 3, Mistral Small 4, Mistral Medium 3.5, Qwen3.8-Max, Muse Glimmer, DeepSeek V4-Pro, Qwen3.8-Flash, Gemini 3.8 Flash, Muse Spark 1.3 i DeepSeek V4.1-Flash mają wpis „Not established”. Serwis ostrożnie wyjaśnia, co to znaczy: puste pole oznacza, że sprawdzone źródła producenta nie ustaliły daty granicznej dla danego modelu, a nie że laboratorium nigdy jej nie opublikowało. Pięć z ośmiu laboratoriów, Anthropic, Google DeepMind, Meta, OpenAI i xAI, ma opublikowaną datę graniczną dla co najmniej jednego modelu na stronie.

Data graniczna treningu to dzień, w którym model przestał czytać. Wszystko, co wydarzyło się później, po prostu nie istnieje w tym, co model wie. Model może ukazać się we wrześniu, a wciąż kończyć czytanie w kwietniu, czyli w dniu premiery jest pięć miesięcy do tyłu.

Najciekawsza teza strony nie dotyczy wcale dat. Dotyczy tego, co się dzieje, gdy dasz modelowi przycisk wyszukiwania i pozwolisz mu zdecydować, czy go użyć. Autor raportuje 2000 wywołań w 16 modelach, z których każdy miał narzędzie wyszukiwania w sieci. Modele czołówki w tym przebiegu decydowały poprawnie prawie za każdym razem. Słabsze odpowiadały z pamięci na pytania o sprawy ustalone, po których odpowiedź się zmieniła, a w sieci szukały rzeczy takich jak temperatura wrzenia wody. W jednym z ujęć na stronie 16 modeli zapytano, kto jest królem Norwegii, i pięć wskazało zmarłego człowieka.

To warto przeczytać uważnie. Decyzja o wyszukiwaniu zapada na tych samych wagach, które przechowują nieaktualny fakt, więc pomyłki wypadają dokładnie tam, gdzie model czuje się najpewniej. Narzędzia wyszukiwania zaklejają lukę. Nie zamykają jej. Otwórz nowy czat, a model wraca do swojej daty granicznej.

Niewygodna strona benchmarków

Ma to znaczenie dla tego, jak czyta się testy premierowe. Model może we wrześniu stanąć na czele rankingu w pytaniach, których odpowiedzi ustalono przed kwietniem, a nikt prowadzący ewaluację nie sprawdza daty granicznej z karty modelu. Jeśli laboratorium nie publikuje daty granicznej, puste pole w zestawieniu jest uczciwą odpowiedzią: nikt spoza laboratorium nie zmierzy różnicy.

Jest też problem drugiego rzędu. Model jest słabym źródłem informacji o modelach. Zapytaj go wprost o datę graniczną treningu, a dobrze wychowany odpowie albo przyzna, że nie jest pewien, jak podaje strona. Ten, który wymyśli pewną siebie datę, powiedział ci coś użytecznego o sobie. Daty premier, numery wersji i to, który model jest obecny, kończą się na dacie granicznej, a błędna odpowiedź wciąż brzmi pewnie.

Proponowana poprawka jest mała i praktyczna. Wystarczy kilka linijek w pliku AGENTS.md albo CLAUDE.md, który agent już czyta, z poleceniem, żeby przed podaniem dowolnego modelu, wersji lub daty jako obecnej pobrał models.json ze strony, a wszystko z przypisaną datą traktował jako niezweryfikowane, dopóki tego nie sprawdzi. Eksport zawiera datę premiery, opublikowaną datę graniczną i link do źródła dla każdego modelu, i jest odświeżany przy każdej aktualizacji strony. Strona udostępnia gotowe sformułowanie do wklejenia.

To nie jest benchmark w zwykłym sensie. Nie ma wyniku, rankingu ani przebiegu zgłoszonego przez laboratorium. To tabela dat z eksportem JSON i tezą w tle: druga data na karcie modelu zasługuje na taką samą kontrolę jak pierwsza.

Kto porównuje dwa modele wydane w tym samym tygodniu, dostaje od zestawienia pytanie, które większość relacji z premier pomija. Kiedy każdy z nich przestał czytać i czy laboratorium w ogóle uznało za stosowne to powiedzieć?

Komentarze 0

Źródła

1
  1. 01How stale is your AI? Release age and training cutoff for 20 modelsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.