„Modele decyzyjne” obiecują szybszą i tańszą AI, ale nie są jeszcze narzędziem bezpieczeństwa

Liquid AI opublikował d1 5 października i nazywa go swoim pierwszym modelem decyzyjnym. Obsługuje teraz tekst i obrazy. Firma twierdzi, że d1 dorównuje GPT-6.1 Sol albo go przewyższa w czterech z sześciu testowanych zastosowań, od filtrowania zgłoszeń do pomocy technicznej po kontrolę płytek drukowanych. Kosztuje od 19 do 200 razy mniej niż tamten model i Claude Opus 5.5. Według wpisu na blogu odpowiada znacznie szybciej w każdym zadaniu.

Założenie jest wąskie z założenia. Liquid opisuje modele decyzyjne tak: biorą nieustrukturyzowane dane i jedno lub więcej pytań, czytają je w jednym przejściu do przodu i zwracają prawdopodobieństwa, nie generując żadnych tokenów. Decyzja tekstowa zajmuje od 200 do 300 ms. Model odpowiada na pytania tak lub nie, wybiera jedną etykietę spośród wielu albo ocenia pozycję na skali.

Tu zespoły bezpieczeństwa mogłyby sensownie spojrzeć. Lista demonstracji firmy obejmuje inteligentny filtr, który zamienia d1 w funkcję wewnątrz zapytania SQL i odpowiada tak lub nie na 150 zgłoszeń. Jest tam też zadanie kompresji kontekstu. d1 czyta w nim każdy wynik narzędzia w sesji agenta kodującego i zachowuje go, przycina albo odrzuca, usuwając 52% tokenów, przy zachowaniu wszystkich wyników potrzebnych do zadania. Żadne z tych zastosowań nie jest produktem obronnym. Oba to rodzaj infrastruktury, na której taki produkt stoi.

Gorący tydzień dla małych, szybkich modeli

Premiera Liquidu wypadła wśród fali zapowiedzi modeli, które robią mniej, ale szybciej. Reflection opublikował 5 października Beam, rzadki model typu Mixture-of-Experts o 501 mld parametrów łącznie i 23 mld aktywnych. Powstał do kodowania, rozumowania i zadań agentowych. Firma podaje, że trenowała go na 23,8 bln tokenów. Przeprowadziła też etap uczenia ze wzmocnieniem o wysokim nakładzie obliczeń, generując ponad 100 mln przebiegów na 10,5 tys. procesorów NVIDIA GB300 w ciągu czterech tygodni. Beam wciąż przechodzi końcowe testy red team i ewaluacje. Reflection zapowiada, że w tym miesiącu udostępni wagi, raport techniczny i kartę modelu.

Ciekawsze jest twierdzenie o wydajności. Reflection pisze, że Beam osiąga wyniki porównywalne z GLM-5.2 w zaawansowanych testach rozumowania, zużywając przy wnioskowaniu 3 do 4 razy mniej mocy obliczeniowej. Firma twierdzi, że różnica rośnie wobec modeli z rodziny powyżej 2 bln parametrów, takich jak Qwen 3.8-Max. Przyznaje też ograniczenia. W SWE Bench Pro v2-Hard Beam zdobywa 77,2 punktu wobec 88,2 Kimi K3, a w Terminal Bench v2.1 80,1 wobec 88,3. We wpisie czytamy, że czołowe modele otwarte wciąż mają przewagę w surowych możliwościach, a atut Beama to wydajność wnioskowania.

Argumenty o wydajności liczą się dla każdego, kto przepuszcza klasyfikatory przez duże ilości logów, alertów albo zgłoszeń. Liczą się mniej, jeśli model się myli.

Problem pewności, którego nikt nie rozwiązał

Badanie Uniwersytetu Kalifornijskiego w Riverside opublikowane 23 września wykazało, że pewność i poprawność w dużych modelach językowych mogą wynikać z różnych cech wewnętrznych. Podważa to założenie, że pewność modelu sygnalizuje trafność. Badacze przyjrzeli się Llama-3.1-8B (8 mld parametrów) firmy Meta i Gemma-2-9B (9 mld parametrów) Google'a. Podzielili odpowiedzi na cztery grupy według poprawności i pewności, a potem użyli rzadkich autoenkoderów, żeby sprawdzić, które cechy się aktywują. W opisie uczelni czytamy, że wyciszenie cech związanych wyłącznie z niepewnością ostro obniżyło trafność, co sugeruje, że te cechy pomagają wytworzyć dobre odpowiedzi.

„Główne założenie w tej dziedzinie jest takie, że kiedy model jest pewny, prawdopodobnie ma rację, a kiedy nie jest pewien, częściej się myli”, powiedział Het Patel, doktorant informatyki na UCR i główny autor badania. „Ale często widzimy dobrze udokumentowane kontrprzykłady”.

Dla modelu decyzyjnego, który zwraca prawdopodobieństwo, ten wynik działa w obie strony. Prawdopodobieństwo jest przynajmniej jawne, inaczej niż zdanie wypowiedziane z niezasłużoną pewnością. Badacze zwracają jednak uwagę, że liczba może nie odzwierciedlać tego, co zakładają praktycy.

Dwa projekty otwartych agentów kodujących opublikowane 5 października przedstawiają podobny argument o miejscu małych modeli. Jeff-Code, fork Pi autorstwa Mario Zechnera i współtwórców, umieszcza model decyzyjny o 800 mln parametrów w pętli agenta. Decyduje on, czy agent może sam zrobić następny krok i czy Qwen 3.8-27B (27 mld parametrów) musi się w danej turze mocno zastanowić. W README projektu czytamy, że zadania kodowania są średnio o 47% szybsze przy tym samym odsetku zaliczonych. Projekt podaje różnicę parami minus 0,2 punktu na 1 242 parach zadań i 95-procentowy przedział od minus 2,6 do plus 2,1. Wyłączenie myślenia w każdej turze było jeszcze szybsze, ale kosztowało 7,6 punktu.

Reika, narzędzie CLI agenta kodującego projektowane przede wszystkim pod małe modele lokalne, opublikowało własny plik z wnioskami. Między innymi: jedno przepisanie w środku kontekstu przetworzyło ponownie 8 453 tokeny promptu i 7,9 minuty wstępnego przetwarzania, podczas gdy dopisanie w tej samej sesji kosztowało 25 tokenów i 3,5 sekundy. Projekt twierdzi, że sformułowanie promptu jest najsłabszą dźwignią. Przy mglistym zadaniu w Q2, dodaje, model zbiega albo się zapętla mniej więcej w proporcji 50 na 50. Otoczka nie zmieni tego wskaźnika, tylko koszt przegranej połowy.

Czym to wszystko nie jest

Żadna z tych premier nie jest modelem obrony cybernetycznej i warto to powiedzieć wprost. Najnowszy element bliski bezpieczeństwu to ogłoszenie OpenAI z 3 listopada o partnerstwach z firmami z branży, którego ten tekst nie potrafi uzasadnić poza nagłówkiem. d1 Liquidu jest klasyfikatorem. Beam Reflection to ogólny model z otwartymi wagami, czekający na testy red team. Jeff-Code i Reika to otoczki agentów.

Powiązaniem jest koszt i opóźnienie, i jest ono nieefektowne. Model decyzyjny może odpowiedzieć na ustrukturyzowane pytanie w 200 do 300 ms za ułamek ceny wywołania modelu czołowego. Jeśli tak, ekonomia przepuszczania modelu przez każdy alert się zmienia. Czy odpowiedzi są dość dobre, by na nich działać, to osobne pytanie. Praca z UCR sugeruje, że liczba pewności im towarzysząca zasługuje na kontrolę, nie na zaufanie.

Liquid twierdzi, że d1 nigdy nie był trenowany do kontroli wizualnej, a mimo to sortuje dobre i wadliwe części z trafnością od 85 do 97% na publicznym zbiorze VisA, rozumiejąc zadanie z krótkiego opisu. To mocne twierdzenie o generalizacji jak na blog dostawcy. To też dokładnie ten rodzaj twierdzenia, który wymaga niezależnego testu, zanim ktokolwiek skieruje model na linię produkcyjną albo do centrum operacji bezpieczeństwa.