Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Nowe benchmarki pokazują, że modele AI wciąż ustępują ekspertom w rozumowaniu naukowym

Opublikowany 3 października benchmark ScholarCatalyst pokazuje, że narzędzia wyszukiwania agentowego wypadają nie lepiej niż zwykłe wyszukiwanie embeddingowe, gdy trzeba znaleźć prace naukowe inspirujące nowe badania. Najlepsze modele osiągają tylko 0,51 Recall@20.

AI i modeleNewsAnna KaczmarekOpublikowano: 3 października 20264 min czytaniaŹródła 15
Nowe benchmarki pokazują, że modele AI wciąż ustępują ekspertom w rozumowaniu naukowym

ScholarCatalyst opublikowano 3 października. Benchmark sprawdza, czy AI potrafi znaleźć konkretną wcześniejszą pracę, która staje się katalizatorem nowego projektu naukowego. Obecne duże modele językowe mają kłopot z intuicyjnym skokiem, jakiego wymaga połączenie mglistego pytania badawczego z użytecznym artykułem ukrytym w ogromnym archiwum.

W badaniu wzięło udział 184 autorów głównych 207 niedawnych prac z informatyki. Naukowcy oznaczyli, które z proponowanych artykułów rzeczywiście popchnęły ich ukończone projekty, i szczegółowo uzasadnili każdy wybór. Chodziło o stworzenie zbioru danych odzwierciedlającego „badawczy smak” ekspertów, umiejętność, która wciąż wymyka się systemom AI.

Luka między wyszukiwaniem a intuicją

Modele miały odnaleźć te katalizujące prace w korpusie 191 000 artykułów, korzystając wyłącznie z literatury sprzed rozpoczęcia projektu. Taki układ zmusza AI do pracy w tych samych warunkach, w jakich jest badacz zaczynający nowy projekt: nie znając odpowiedzi, musi znaleźć kluczowy trop pośród tysięcy nieistotnych dokumentów.

Wyniki otrzeźwiają. Wyszukiwanie agentowe, w którym agent AI używa narzędzia do iteracyjnego przeszukiwania informacji, nie wypadło lepiej niż proste wyszukiwanie embeddingowe. Wyszukiwanie agentowe osiągnęło wynik Recall@20 równy 0,42, a standardowe wyszukiwanie embeddingowe 0,48. Dodatkowa złożoność zachowania agentowego nie pomogła modelowi wskazać właściwych prac.

Nawet bardziej zaawansowana próba z agentem zbudowanym na Claude Fable 5.1 dała tylko niewielką poprawę. Model ten, który w fazie treningu mógł zetknąć się z ukończonymi pracami, osiągnął Recall@20 na poziomie 0,51. To więcej niż w przypadku baseline'u, ale wynik nadal pokazuje dużą lukę między skutecznością AI a zdolnością ekspertów do wyczucia, jakiej wcześniejszej myśli potrzebuje nowy problem.

„Te wyniki pokazują, że potrzebne są nowe przepisy treningowe, które wyposażą modele w ekspercką intuicję do przeszukiwania szerokich korpusów” – napisali autorzy w raporcie. Benchmark ma być krokiem w stronę agentów naukowych, które potrafią wziąć na wpół uformowany pomysł i wskazać potrzebne wcześniejsze badania, ale obecne modele nie są jeszcze gotowe do tej roli.

Inne wyzwania rozumowania pozostają

ScholarCatalyst to nie jedyna ostatnia ocena pokazująca, że zdolności rozumowania AI są nierówne. 3 października Anthropic opublikował raport, w którym twierdzi, że model GLM-5.3 firmy Zhipu AI ma „Mythos-class” zdolności hakerskie. Według raportu GLM-5.3 opracował pełne exploity dla Google Chrome 50 razy na 410 prób w środowisku piaskownicy o nazwie Exploitbench. W tym samym teście nieudostępniony model Claude Mythos firmy Anthropic osiągnął 56 udanych exploitów na 410 prób.

Ten sam raport zauważa jednak, że zabezpieczenia GLM-5.3 były słabe. Anthropic podał, że bariery ochronne modelu można obejść zwodniczymi promptami, co dało 64% skuteczności, albo przez wstępne wypełnienie tokenów myślowych modelu, co dało 92% skuteczności. Wynika z tego, że choć niektóre modele stają się coraz lepsze w złożonych, wieloetapowych zadaniach, takich jak tworzenie exploitów, ich mechanizmy bezpieczeństwa mogą nie nadążać.

W pokrewnym wątku 28 września zaktualizowano pracę „PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTX”. Badanie oceniało duże modele językowe pod kątem pisania zoptymalizowanych jąder GPU z użyciem instrukcji PTX specyficznych dla architektury. Autorzy stwierdzili, że „wskaźniki sukcesu znacznie spadają w złożonych obciążeniach attention backward, a wykonanie docelowych instrukcji nie przekłada się automatycznie na konkurencyjną wydajność”. Żaden z ocenianych modeli nie dorównywał konsekwentnie wiodącym bibliotekom w całym zestawie testów.

Ludzki wgląd pozostaje złotym standardem

Mimo tych postępów w konkretnych dziedzinach technicznych szersze pytanie o rozumowanie pozostaje nierozstrzygnięte. W opublikowanym 3 października gościnnym wpisie na blogu „What's new” matematyk Terence Tao zastanawia się nad rolą AI w matematyce. Tao zauważył, że modele AI pomogły poprawić błędne lematy i zasugerowały nowe kierunki, ale nie udało mu się jeszcze nakłonić żadnego do rozwiązania jednego z jego długoterminowych problemów.

„Matematyka jest ludzkim zajęciem, a wyniki generowane przez maszyny wymagają znacznej interwencji człowieka, aby wnieść wkład w naszą bazę wiedzy” – głosi wpis. To echo wniosków z benchmarku ScholarCatalyst: AI może pomagać w wykonaniu i wyszukiwaniu, ale strategiczna decyzja, którą drogę wybrać, często wymaga ludzkiego wglądu.

Gdy modele AI będą się dalej rozwijać, benchmarki takie jak ScholarCatalyst i PTXBench okażą się niezbędne do mierzenia postępu. Dostarczają konkretnych wskaźników tego, co modele potrafią, a czego nie, i przenoszą rozmowę poza deklaracje marketingowe w stronę dowodów empirycznych. Na razie dane sugerują, że choć AI staje się potężnym narzędziem do konkretnych zadań, nie zastąpiła jeszcze ludzkiej zdolności do naukowej intuicji.

Komentarze 0

Źródła

15
  1. 01ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  2. 02Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  3. 03PTXBench: Benchmarking and Adapting LLMs for GPU Kernel OptimizationEN
  4. 04What does the advent of powerful AI models mean for mathematicians like me?EN
  5. 05Anthropic's super bug-hunting model Mythos is hardcore good at mathEN
  6. 06The Download: a biological de-aging contest and why LLMs don't reasonEN
  7. 07OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break inEN
  8. 08New in Llama.cpp: Decision ModelsEN
  9. 09Shield: A 118M model for detecting prompt injections and jailbreaksEN
  10. 10Kolibri: A Sovereign Open-Weight ModelEN
  11. 11Training an open decision model to replace a closed one, in shadow on prodEN
  12. 12Open 10-player CS:GO dataset for multiplayer world modelsEN
  13. 13Changes to Gemini model access and limitsEN
  14. 14A Beginner's Guide to Running AI Models LocallyEN
  15. 15Twelve AI clay films for $184: The agents cost more than the video modelEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.