Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Benchmarki halucynacji zaostrzają się, gdy Gemini 4 Argon trafia do wybranych

Google zaczął w środę 30 września udostępniać Gemini 4 Argon, swój najpotężniejszy model do tej pory, wyselekcjonowanej grupie ekspertów od cyberbezpieczeństwa. Firma wstrzymuje model przed szerokim udostępnieniem z obawy o nadużycia.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 2 października 20268 min czytaniaŹródła 13
Benchmarki halucynacji zaostrzają się, gdy Gemini 4 Argon trafia do wybranych

Google zaczął w środę 30 września udostępniać Gemini 4 Argon, swój najpotężniejszy model do tej pory, wyselekcjonowanej grupie ekspertów od cyberbezpieczeństwa. Firma wstrzymuje model przed szerokim udostępnieniem z obawy o nadużycia. We wpisie na blogu poinformowała, że dobrowolnie daje rządowi USA wczesny dostęp. Zanim model trafi do szerszego grona odbiorców, zbiera opinie testerów, podał The Guardian.

Ta ostrożna postawa kłóci się z tym, co Google twierdzi o modelu. W blogu premierowym, cytowanym przez TechCrunch, firma napisała, że Argon wypadł znacznie lepiej niż GPT-6 Astra od OpenAI oraz Fable i Opus od Anthropic w rozmaitych benchmarkach AI, powołując się na startup benchmarkingowy Vals. Dodała, że Argon potrafi samodzielnie znajdować, weryfikować i łatać krytyczne luki w oprogramowaniu. To twierdzenia o możliwościach, nie o niezawodności. To dwie różne rzeczy.

I tu dochodzimy do kwestii halucynacji. Model, który dobrze wypada w benchmarkach rozumowania czy kodowania, wciąż może produkować pewne siebie błędne odpowiedzi. Najnowsze materiały oscylujące wokół halucynacji wskazują w obie strony. Kontrolowany audyt metryk konfliktu gradientów w zunifikowanych modelach multimodalnych, złożony na arXiv 29 września, jest ciekawszy z ostatnich prac. Sprawdza, czy szeroko stosowana metryka zastępcza rzeczywiście przewiduje to, co badacze zakładają, że przewiduje. Okazuje się, że nie.

Autorzy zbudowali stanowisko testowe o nazwie GRIDUMM, które odzwierciedla kluczowe elementy strukturalne treningu zunifikowanych modeli multimodalnych. Dzięki temu kompromis między rozumieniem a generowaniem da się policzyć dokładnie. W 63 konfiguracjach i 372 zmierzonych punktach kontrolnych żadna kierunkowa metryka konfliktu nie osiągnęła bezwzględnej korelacji Spearmana 0,3 przy przedziale ufności wykluczającym zero. Interwencja typu dawka-odpowiedź, która monotonicznie tłumi konflikt, pozostawiła kompromis bez zmian, co oddziela korelację od przyczynowości. Miary zakłóceń funkcjonalnych wypadły lepiej niż kierunkowe metryki konfliktu, a strata treningowa silnie śledziła kompromis. Autorzy nie twierdzą, że konflikt jest bezużyteczny. Twierdzą, że jego ważność jako celu diagnostycznego trzeba ustalić, a nie zakładać.

To wąski wynik dotyczący wąskiej klasy modeli. Ale właśnie takie odkrycie powinno skłonić do pauzy każdego, kto czyta ranking.

Co właściwie mierzą nowsze benchmarki

Dwie inne prace na arXiv, opublikowane w tym samym oknie, przyjmują podobnie sceptyczne stanowisko. ChartDensity-Bench, złożony 30 września, ocenia multimodalne duże modele językowe w odtwarzaniu danych liczbowych z wykresów naukowych przy kontrolowanej gęstości wizualnej. Zmienia liczbę wykresów pokazywanych naraz dla k równego 1, 3, 6 i 9. Eksperymenty na pięciu najnowszych MLLM pokazują, że rekonstrukcja liczb pogarsza się wraz ze wzrostem gęstości wizualnej. Skala tego pogorszenia różni się znacznie między modelami. Porównania par wykresów na poziomie wykresu wykazały, że ten sam wykres źródłowy może dawać większy błąd rekonstrukcji, gdy jest osadzony w gęstszym kontekście wizualnym. To tryb awarii bliski halucynacji, który da się czysto zmierzyć. Model nie odmawia. Produkuje liczby.

Trzecia praca, Reverse Scoring for Diffusion Language Model Agents, złożona 29 września, śledzi konkretną awarię w agentach opartych na dyfuzyjnych modelach językowych. Wpadają one w pętle ponawiania, wydając ponownie akcję długo po tym, jak zawiodła. Autorzy przypisują to zamaskowanemu dekodowaniu, które obsadza pozycje, co do których jest najbardziej pewne, a odkłada niepewne. W stanie awarii kontekst już oferuje pewne wypełnienie dla odłożonej decyzji, mianowicie samą nieudaną akcję. Modelują to zniekształcenie jako korupcję niezależną od zadania. Proponują remedium niewymagające treningu o nazwie Reflect Reverse, które oceniają na czterech wieloturowej benchmarkach ucieleśnionych.

W tych trzech pracach widać pewien wzorzec. Każda izoluje konkretny sposób, w jaki model może się pewnie mylić, mierzy go w kontrolowanych warunkach i stwierdza, że popularna metryka zastępcza nie śledzi wyniku. Żadna nie oferuje ogólnego wskaźnika halucynacji. Wszystkie sugerują, że ogólne wskaźniki halucynacji robią mniej, niż sugerują ich wydawcy.

Aby zobaczyć, jak bardzo benchmark może poruszyć dyskusję, spójrzmy na przestrzeń modeli decyzyjnych. InfoQ poinformował, że TypeSafe AI wydało Jev, który w ogóle nie generuje tekstu, tylko zwraca typowane, probabilistyczne decyzje z wartością pewności. Kod wywołujący może działać powyżej progu i eskalować poniżej. Koszt wejścia wynosi 0,042 dolara za 2 000 000 000 tokenów, wyjście jest darmowe, okno kontekstu to 32 000 tokenów, a TypeSafe podaje opóźnienie end-to-end od 70 ms do 500 ms. Vercel dodał Jev do AI Gateway drugiego dnia. Firma podała, że model osiągnął prawie 13% płacących zespołów w ciągu 24 godzin, dwa razy więcej niż udział rodziny GPT-5.6.

Amazon poszedł w ślady. TechCrunch poinformował 1 października, że AWS wydało Strands Decider 2B, otwarty model decyzyjny inspirowany Jevem, zbudowany na bazie Qwen3.5-2B. Rozróżnia wcześniej ustalone opcje i zwraca miarę pewności. Marc Brooker, inżynier wyróżniony w Amazonie, powiedział TechCrunchowi, że model na krótko zajął pierwsze miejsce w rankingu Jevbench dla modeli swojej wielkości. Jego zdaniem atutem jest etap przepływu pracy, który jest bardziej niezawodny dzięki ocenom pewności i zamkniętej domenie odpowiedzi, przy niższym opóźnieniu i potencjalnie niższym koszcie.

Założyciel TypeSafe, Diogo Almeida, był bezpośredni w sprawie tłoku. "Rozumiem, że ludzie myślą, że to gorączka złota, ale mogą nie doceniać trudności zrobienia modeli naprawdę inteligentnymi" powiedział TechCrunchowi. Obecna partia, dodał, "wygląda bardziej na" falę naśladowców. Czy to się utrzyma, czy nie, kierunek jest jasny: niektórzy twórcy odpowiadają na problem niezawodności, zawężając przestrzeń wyjściową, zamiast obiecywać lepszy ogólny model.

Argument o bezpieczeństwie pojawia się przed dowodami

Samo uzasadnienie Google dla ograniczenia Argonu mówi, że zdolności frontierowe na tym poziomie wymagają podejścia etapowego. Koray Kavukcuoglu, główny architekt AI Google, napisał to we wpisie ogłaszającym model. Google podało, że Argon zaprojektowano tak, by odmawiał realizacji próśb, które mogłyby pomóc w przeprowadzeniu cyberataków lub opracowaniu broni chemicznej, biologicznej czy jądrowej. Firma monitoruje też rozumowanie modelu, by nie wykraczało poza intencje użytkowników, co badacze nazywają niedopasowaniem.

The Guardian podał, że ostrożne wdrożenie przypomina Anthropic, które utrzymuje Claude Mythos Preview w ograniczeniu do niewielkiej liczby zaufanych organizacji. W czerwcu Waszyngton na krótko zmusił Anthropic do zawieszenia dostępu do publicznie udostępnionych modeli Claude Mythos i Claude Fable. Od tego czasu ustanowił dobrowolny proces weryfikacji najpotężniejszych modeli AI przed wydaniem. Ogłoszenie przyszło dzień po tym, jak Donald Trump gościł w Białym Domu czołowych przedstawicieli branży technologicznej, w tym Sundara Pichaia i Dario Amodeiego z Anthropic. Tam podpisali dobrowolne porozumienie zobowiązujące do pilnowania ryzyk własnych systemów AI.

Google podało, że wcześni testerzy użyli Argonu do odkrycia luki w oprogramowaniu używanym przez szpitale na całym świecie, która ujawniała wrażliwe dane osobowe. Inne zaawansowane modele to przeoczyły. To jedna anegdota, od dostawcy, o modelu, który nie jest w powszechnym obiegu. Traktuj ją jako twierdzenie o możliwościach od zainteresowanej strony.

Spór o pochodzenie toczy się równolegle. CNBC poinformował, że OpenAI wykryło i zakłóciło skoordynowaną kampanię wydobywania chronionego rozumowania z jego modeli. Firma powiązała główny klaster tej działalności z chińskim startupem Moonshot AI. Działalność zaczęła się na początku lipca i wzrosła do 16 000 żądań od ponad 4 000 użytkowników w ciągu dwóch dni, z powiązaną aktywnością u ponad 15 000 użytkowników. OpenAI podało, że operatorzy nie naruszyli jego szyfrowania, baz danych ani zapisanych rozmów użytkowników. Firma poinformowała, że do 28 lipca całkowicie zakłóciła kampanię.

The Register zauważył niezręczność skargi, biorąc pod uwagę własną historię OpenAI z trenowaniem na danych z sieci. Podał, że The Register zapytał OpenAI, które modele były celem w lipcu, i nie otrzymał odpowiedzi. Poinformował też, że Michael Kratsios, asystent Trumpa ds. nauki i technologii, pod koniec lipca oskarżył Moonshot AI o stworzenie modelu Kimi K3 przez destylację Anthropicowego Fable. Claude Opus 5.5 od Anthropic, wydany tydzień przed tym raportem, zawiera obronę przed destylacją o nazwie preserved thinking, wprowadzoną z Fable 5.1.

Moonshot nie odpowiedział od razu na prośby CNBC o komentarz, a The Register podał, że również nie otrzymał natychmiastowej odpowiedzi. Główne oskarżenie pozostaje więc jednostronne w publicznym zapisie.

Drugi wątek wart uwagi to pochodzenie danych treningowych i warunki, na jakich są używane. The Guardian poinformował 1 października, że Anthropic wezwał rząd Albanesego do rozważenia warunkowej zgody na trenowanie na australijskich utworach chronionych prawem autorskim w modelu opt-out. Przyznał, że nie uzyska ogólnego wyłączenia z prawa autorskiego. ABC i SBS sprzeciwiły się w pismach do federalnego dochodzenia parlamentarnego. ABC ostrzegła przed kanibalizacją australijskiego przemysłu informacyjnego, a obie nadawcy zasugerowały włączenie firm AI do zachęty do negocjacji z mediami.

W piśmie Anthropic twierdził, że technologia może przekształcić australijską gospodarkę. Ostrzegł też przed poważnymi konsekwencjami dla bezpieczeństwa narodowego, odporności infrastruktury krytycznej i bezpieczeństwa publicznego. Wspólny komitet wybierany ds. AI zbiera się na przesłuchaniach w Sydney w przyszłym tygodniu, z udziałem przedstawicieli Anthropic i OpenAI.

Nic z tego nie rozstrzyga, czy jakikolwiek model jest niezawodny. Sugeruje jednak, że branża dostarcza twierdzenia o niezawodności szybciej, niż dostarcza sposoby ich sprawdzania. Istniejące kontrole są zwykle wąskie, kontrolowane i niepochlebne dla metryk zastępczych, które wszyscy cytują.

Komentarze 0

Źródła

13
  1. 01Google rolls out new Gemini AI model but restricts access over safety concernsEN
  2. 02Google releases Gemini 4 Argon, called its most powerful model yetEN
  3. 03Does Gradient Conflict Predict the Understanding-Generation Trade-off? A Controlled Audit of Conflict-Metric Validity in Unified Multimodal ModelsEN
  4. 04ChartDensity-Bench: Benchmarking MLLMs for Numerical Data Reconstruction under Visual DensityEN
  5. 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
  6. 06TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
  7. 07Amazon releases its own Jev clone as decision models flood the webEN
  8. 08AI race heats up as OpenAI flags alleged model-copying campaignEN
  9. 09Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
  10. 10Anthropic pushes for opt-out model for Australian content as ABC warns of 'cannibalisation' of newsEN
  11. 11Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
  12. 12Ideogram says its new model can edit part of an image without messing up the restEN
  13. 13ThreatsDay: AI-Powered Zero-Day Chain, 543K Live Secrets, Model Inspection RCE and 13 More StoriesEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.