Modele pogodowe AI prognozują coraz lepiej, ale szum wyprzedza dowody

Najświeższy datowany materiał pogodowy w dossier wcale nie jest prognozą. Badanie opisane przez South China Morning Post 26 października pokazało, że chińskie modele AI do wideo biją amerykańskich rywali jakością obrazu, ale zostają w tyle w zabezpieczeniach. To użyteczne przypomnienie, że jakość modelu AI to wiązka osobnych twierdzeń, a nie jeden wynik. Nic w dossier nie datuje nowej globalnej premiery modelu pogodowego w ciągu ostatnich 72 godzin.

Ogłoszenia, które faktycznie są, skupiają się na końcu października i początku listopada, a większość pochodzi od dostawców.

Envision podało, że jego bazowy model pogodowy Tianji wygrał AI Weather Quest Europejskiego Centrum Prognoz Średnioterminowych. Tak wynika z depeszy Kyodo News z 2 listopada. Niemcy uruchomiły globalny model pogodowy oparty na AI, według relacji Radar.am z 1 listopada. Vaisala sfinalizowała przejęcie firmy AI pogodowej Atmo, o czym The Manila Times pisał 29 października. Każda z tych informacji to oświadczenie firmy albo rządu o własnym systemie i żadna z trzech nie podaje w tekście dossier niezależnego wyniku błędu.

Co właściwie mierzą benchmarki

Tam, gdzie dossier podaje liczby, pochodzą one z badań, nie z marketingu. Praca przesłana do arXiv 29 października, FABench, buduje środowisko backtestingu dla agentów prognozujących i w pierwszym wydaniu stawia 287 pytań w dziewięciu dziedzinach. Autorzy ocenili agentów zbudowanych na ośmiu niedawnych modelach. Wyszukiwanie informacji poprawiło Brier score wszystkich ośmiu w każdym wariancie wyszukiwania i podniosło czołowych agentów do poziomu konsensusu rynkowego w 54 pytaniach powiązanych z Polymarket. Najlepsza trójka wypadła nieco powyżej niego. To wynik ostrożny i ograniczony. Mówi, że wyszukiwanie pomaga, a nie że AI bije fizykę.

Dwie inne prace wyostrzają obraz. QUAL, przesłana 30 października, donosi, że wyrównanie kwantyli w puli bazowych modeli szeregów czasowych obniżyło średni MASE członków o 7,4% i CRPS o 9,8% na GIFT-Eval, bez treningu i bez modyfikacji modeli. Praca o modelach świata webowego, także przesłana 29 października, wykazała zaś, że w dopasowanej ocenie ludzkiej 3 000 predykcji z dziesięciu zamrożonych otwartych modeli 86,1% uznano za semantycznie wiarygodne. Kilka modeli zachowywało się jednak asymetrycznie przy autoryzacji: rzadko wykonywały fałszywie bezpieczne działania, ale słabo wychwytywały przypadki, które powinny wywołać prośbę o doprecyzowanie. Wiarygodne nie znaczy bezpieczne i autorzy mówią to wprost.

„Dziewięć na dziesięć kroków w przepływie pracy agenta jest rutynowych, a modele z otwartymi wagami radzą sobie z nimi tak samo dobrze za jedną czwartą ceny najtańszego modelu zamkniętego” – napisali Mark Petty i Raymond Paquet z Gartnera w dokumencie zatytułowanym „Open-Weight Models Will Run 90% of Enterprise Agentic Workflow Steps”, cytowanym przez The Register 3 listopada.

Nota Gartnera dotyczy agentów, nie pogody, ale ma znaczenie dla każdego, kto planuje budżet potoku prognoz. Analitycy szacują oszczędność na modelach frontier na zaledwie jedną dwudziestą w najlepszym przypadku. Przyznają potem, że obecne otwarte modele „potrafią być bardziej rozwlekłe i częściej ponawiać próby, więc oszczędność na zadanie względem modelu frontier jest bliższa pięciu czy sześciu razy”. The Register opublikował to 3 listopada. Jeśli tanie otwarte modele wykonują większość rutynowej pracy numerycznej, drogie zostają na trudne przypadki, a prognozowanie pogody pełne jest trudnych przypadków.

Infrastruktura pod spodem

Jakość prognoz zależy też od tego, co trafia do modelu. 19 października CNN podało, że cięcia w programie satelitów rządu Trumpa cofną amerykańskie prognozowanie pogody o dekadę; stacja zaktualizowała tę historię 27 października. To ograniczenie, którego nie dotyka żaden benchmark: model AI wytrenowany na obserwacjach nie przebije obserwacji, które dostaje, a dekady gorszych danych satelitarnych nie naprawi lepsza architektura.

Nvidia tymczasem wprowadza swoje otwarte modele Earth-2 do wdrożeń w Europie, według wpisu na firmowym blogu z 22 października. Osobno opublikowała 22 października tekst o europejskich instytucjach finansowych, które przyjmują otwarte modele, by budować własną inteligencję. Oba są blogami dostawcy, więc ramę trzeba traktować odpowiednio, ale pokazują, dokąd zmierza moc obliczeniowa i dystrybucja. IBM Research opublikował 22 października własne podejście do prognoz zespołowych z modelami szeregów czasowych Granite na Hugging Face. To zgadza się z ustaleniem pracy QUAL, że łączenie modeli bije wybór jednego.

Argument sceptyczny nietrudno znaleźć. Nathan Lambert pytał 30 października na Interconnects, czy mylił się co do otwartych modeli i ryzyk cybernetycznych. To pytanie warto czytać obok wpisu Bruce’a Schneiera z 27 października o ukrywaniu zdolności w modelach AI i jego tekstu z 26 października o stronniczości modelu Qwen3-Coder. Twierdzenia o zdolnościach i twierdzenia o bezpieczeństwie zwykle wychodzą z tych samych biur prasowych. Dossier zawiera też przegląd Interconnects z 20 października o DeepSeek V4.1 Flash 1017 i nowych kontrolach regulacyjnych w USA i Chinach, czyli tło polityczne dla tego wszystkiego.

W kwestii pogody uczciwe podsumowanie jest krótkie. Kilka organizacji twierdzi, że ich modele AI biją ustalone benchmarki. Jeden benchmark w stylu recenzowanym, FABench, pokazuje, że wyszukiwanie pomaga agentom prognozującym dojść do konsensusu rynkowego. Jedna praca o bezpieczeństwie pokazuje, że wiarygodne predykcje nie gwarantują trafnych decyzji. Nikt w tym dossier nie publikuje niezależnej weryfikacji samych twierdzeń pogodowych w tych samych warunkach. Dopóki ktoś tego nie zrobi, ogłoszenia są wkładem do historii, a nie jej wnioskiem.