Audyt Stanforda wykazał, że 44 procent twierdzeń o LLM już wygasło

Laboratoria, które kupują automatyzację, mają budować procesy na modelach, których udokumentowane zachowanie potrafi się zmienić w ciągu mniej więcej roku. Z 50 twierdzeń, które Queen i Zou sprawdzili, 44 procent wygasło, 16 procent nadal się trzymało, a 6 procent się wzmocniło. Walidacja zrobiona przy zakupie może nie opisywać systemu pół roku później. Pytanie kupującego jest wąskie: na której wersji modelu zmierzono dane twierdzenie i kiedy.

Co wygasło i jak szybko

Dwaj badacze sprawdzili 50 szeroko cytowanych twierdzeń o dużych modelach językowych na 20 modelach wydanych między lipcem 2024 a wrześniem 2026 roku przez ośmiu deweloperów.

Kolejne 34 procent twierdzeń wyraźnie osłabło, wynika z badania. Wśród 22 wyników z oszacowaną datą ważności średni czas życia wyniósł 15,7 miesiąca. Wygasanie przyspiesza z czasem: po roku wygasło 16 procent, a po dwóch latach odsetek ten wzrósł do 39 procent.

Najgorzej starzeją się twierdzenia o rozumowaniu. Pięć z dziewięciu wyników dotyczących rozumowania jest przeterminowanych, żaden się nie utrzymał ani nie wzmocnił. Lista obejmuje liczenie liter w „strawberry”, arytmetykę w nieznanych systemach liczbowych, gubienie informacji w środku kontekstu i porzucanie poprawnej odpowiedzi, gdy użytkownik się nie zgadza. Badacze podejrzewają, że te błędy mają „poprawne” rozwiązanie, co daje deweloperom jasny cel treningowy.

Twierdzenia o preferencjach i skłonnościach trzymają się dłużej. Z 11 wyników, które się utrzymały lub wzmocniły, trzy dotyczą modeli działających jako oceniający, a trzy dotyczą schlebiania użytkownikom. Z uprzedzeniami społecznymi jest różnie: lewicowe nachylenie polityczne się utrzymuje, stereotypy płciowe i skojarzenia niejawne osłabły, a uprzedzenie wobec osób mówiących afroamerykańską odmianą angielskiego odwróciło kierunek w danych trendu.

Pieniądze, które płyną do zautomatyzowanych laboratoriów

Opentrons Labworks poinformował, że zebrał 40 mln dol. w finansowaniu serii E, któremu przewodził Avego, z udziałem BroadOak Capital Partners. Firma nie ujawniła wyceny ani udziałów, jakie objęli inwestorzy. AI Insider podał informację o rundzie 30 października.

Liczba wdrożonych urządzeń to główny argument. Opentrons twierdzi, że rozstawił ponad 11 000 robotów w laboratoriach w ponad 80 krajach, w tym u 90 procent z 20 największych firm farmaceutycznych świata. Spółka powstała w 2014 roku i sprzedaje platformę Flex, która łączy instrumenty robotyczne z oprogramowaniem do standaryzacji pracy laboratorium.

Pieniądze mają pójść na eksperymenty prowadzone przez AI, głębszą integrację z instrumentami i oprogramowaniem innych firm oraz wejście na kolejne rynki. Otwarta architektura oparta na API ma wpasowywać się w istniejące środowiska badawcze, a nie je zastępować.

„Miliony naukowców spędzają większość dnia na pracy ręcznej, którą może wykonać robot”, powiedział w ogłoszeniu o finansowaniu prezes James Atwood. Partner zarządzający Avego James Flexner ujął zakład tak samo: „Każde odkrycie napędzane przez AI i tak trzeba sprawdzić w prawdziwym laboratorium”.

Warstwa oprogramowania przechodzi na open source

OpenScience to otwarty agent badawczy działający jako aplikacja desktopowa, środowisko w przeglądarce albo polecenie w terminalu, z powłoką oraz jądrami Pythona i R. Ma konektory do ChEMBL, UniProt, PubMed i arXiv oraz dziesięć adapterów bring-your-own-key do endpointów NVIDIA BioNeMo NIM.

Dokumentacja projektu wprost mówi o ograniczeniach. Każdy krok jest widoczny, a użytkownicy powinni sprawdzić źródła, założenia, kod i wyniki, zanim wyciągną na ich podstawie wniosek naukowy. Adaptery BioNeMo są oznaczone jako eksperymentalne i wymagają własnego klucza API Nvidii.

Gdzie modele nadal zawodzą

Zmyślone przypisy pokazują, jak nierówny jest postęp. W badaniu Waltersa i Wildera z 2023 roku GPT-3.5 wymyślił 55 procent swoich odnośników. Na tych samych pytaniach GPT-6.1 Sol wymyślił 0 procent, a Claude Sonnet 5.5, 1 procent. Qwen3.7-Flash, również model z 2026 roku, wciąż wymyślał 69 procent.

Pytania dwuskokowe, w których model musi połączyć dwa znane fakty, pozostają słabym punktem. Claude Sonnet 5.5 nadal myli się w około 10 procent przypadków, w których poprawnie odpowiada na oba pytania osobno, wobec 43 procent podanych dla ChatGPT w pierwotnej pracy.

Wybór modelu ma takie samo znaczenie jak generacja. Wśród modeli wydanych między lipcem a wrześniem 2026 roku liczba przeterminowanych wyników wahała się od 11 dla DeepSeek V4 Pro do 30 dla GPT-6.1 Sol. Ani data wydania, ani dostawca, ani rozmiar modelu nie pozwalają wiarygodnie przewidzieć tego wzorca.

Co zakładają prognozy

Prognozy rynkowe zakładają, że narzędzia będą się dalej poprawiać. The Business Research Company szacuje, że rynek AI w naukach przyrodniczych wzrośnie z 3,59 mld dol. w 2025 roku do 4,44 mld dol. w 2026 roku, co komunikat opisuje jako 23,6-procentowe CAGR. Do 2030 roku firma prognozuje 10,43 mld dol. przy CAGR na poziomie 23,8 proc., wymieniając wśród czynników automatyzację laboratoriów napędzaną przez AI.

Ta prognoza obejmuje AI w całych naukach przyrodniczych, od zdalnego monitorowania pacjentów po odkrywanie leków, a nie same roboty laboratoryjne.

Queen i Zou wyciągają węższy wniosek niż prognozy. Twierdzą, że ustalenia empiryczne o LLM należy przedstawiać jako obserwacje o konkretnych modelach w konkretnym momencie, a nie jako prawdy ogólne. Dla laboratorium, które standaryzuje się na robocie, oznacza to powtarzanie walidacji, a nie dziedziczenie jej.