Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Aleph Alpha publikuje wagi Kolibri na Hugging Face, a llama.cpp uczy się odpowiadać bez pisania

3 października Aleph Alpha udostępniła Kolibri, model o otwartych wagach z 78 000 000 000 parametrów, z których 3 000 000 000 pracuje przy odpowiedzi. Tego samego dnia llama.cpp dodał obsługę modeli decyzyjnych, które zwracają prawdopodobieństwa zamiast tekstu.

AI i modeleAnalizaMarta ZielińskaOpublikowano: 3 października 20264 min czytaniaŹródła 9
Aleph Alpha publikuje wagi Kolibri na Hugging Face, a llama.cpp uczy się odpowiadać bez pisania

Aleph Alpha opublikowała Kolibri 3 października. To angielsko-niemiecki Transformer typu Mixture-of-Experts z 78 000 000 000 parametrów łącznie i 3 000 000 000 aktywnych. Firma położyła pełne wagi na Hugging Face na licencji Apache 2.0. Model przyjmuje okno kontekstu do 1 000 000 tokenów.

Termin ma znaczenie dla kupujących z sektorów regulowanych. Kolibri jest adresowany do administracji publicznej, przemysłu i lotnictwa. Aleph Alpha twierdzi, że klienci mogą uruchomić go na własnej infrastrukturze, więc dane wewnętrzne nie trafiają do zewnętrznej usługi inferencji. Ceny ani liczby klientów nie podano.

Firma opiera komunikat na integralności łańcucha dostaw. Deklaruje, że potrafi rozliczyć każdy etap: od pobrania danych, przez pre- i post-training, po końcowe ewaluacje. Kolibri idzie za wcześniejszym modelem 30 000 000 000, Kolibri Origin, zbudowanym na tym samym procesie. Aleph Alpha twierdzi, że Kolibri dorównuje modelom o nawet czterokrotnie większej liczbie aktywnych parametrów, podając jako przykład Nemotron 3 Super, i że plasuje się na granicy Pareto w stosunku jakości do kosztu serwowania, zarówno po angielsku, jak i po niemiecku. To benchmarki dostawcy z jego własnych ewaluacji wewnętrznych, nie niezależnych.

Wagi tanieją w dostawie i maleją w uruchomieniu

Ten sam weekend przyniósł drugi rodzaj otwartej publikacji. Ciekawszy. Projekt llama.cpp poinformował 2 października, że jego serwer obsługuje teraz modele decyzyjne przez endpoint /v1/systemone. Tak wynika z wpisu Xuan-Sona Nguyena i Victora Mustara na forum Hugging Face. Wysyłasz stan, tekst, JSON albo zrzut ekranu oraz pytania z typami, a model zwraca prawdopodobieństwo dla każdej opcji po jednym przebiegu w przód. Żadne tokeny nie są generowane. Istniejącym klientom mówiącym formatem Jev firmy TypeSafe wystarczy nowy bazowy adres URL.

Tabela modeli z tego wpisu to część, którą warto czytać uważnie. Laya, model angielski z 421 000 000 parametrów na licencji Apache 2.0, odpowiada na jedno pytanie w medianie 5 ms na karcie NVIDIA RTX PRO 6000. Clef ma 27 000 000 000 parametrów, przyjmuje obrazy i jest na Apache 2.0. OpenJev ma 27 000 000 000 parametrów i obsługuje wiele języków, ale wychodzi na CC BY-NC 4.0, co wyklucza użycie komercyjne. Kev-4B odpowiada w 12 ms, lev w 36 ms. Model decyzyjny, który kieruje zgłoszenie do właściwego działu albo sprawdza krok agenta, nie musi pisać prozy, a różnica w koszcie wynika właśnie z tego.

Kitsuno, które używa Jev na produkcji, opublikowało 3 października własne liczby i tną one w obie strony. Od 23 września Jev obsłużył 35 812 zalogowanych wywołań za 76 000 000 tokenów wejściowych, przy łącznym koszcie 3,68 USD. Na zestawie testowym zbudowanym tego samego dnia nietrenowana Laya odpowiedziała poprawnie na 44 procent pytań, wobec 94 procent w przypadku Jev. Kitsuno podaje, że nie trenowało Layi na wynikach Jev, bo umowa klienta TypeSafe, sekcja 2.3(b) w wersji z 23 września, zabrania trenowania podobnego lub konkurencyjnego produktu na wynikach usługi. Firma nazywa to swoją interpretacją kontraktu, nie poradą prawną.

Obok pojawiły się dwie mniejsze otwarte publikacje. ZeroLeaks udostępniło 2 października Shield Small, klasyfikator z 118 000 000 parametrów do wykrywania prompt injection i jailbreaków, z wagami int8 ONNX o rozmiarze 118 445 560 bajtów, które działają na procesorze. Karta modelu podaje 84,3 procent średniej dokładności wyrównanej kategoriami i 71,8 procent wykrywalności ataków w połączeniu z regułami Shield v2. Zaznacza też, że porównanie objęło 35 publicznych zbiorów danych, które współtworzyły rozwój modelu, a nie test na niewidzianych danych. To samo zastrzeżenie dotyczy odsetka fałszywych alarmów na poziomie 7,2 procent.

Nie wszyscy zgadzają się, że otwarte wagi zwiększają bezpieczeństwo

Anthropic użyło własnego raportu, żeby argumentować w przeciwną stronę. Tom's Hardware poinformował 3 października, że według Anthropic GLM-5.3 firmy Zhipu AI potrafi generować złośliwe treści przy słabych zabezpieczeniach. W testach Exploitbench Anthropic GLM-5.3 wyprodukował pełne exploity na Chrome 50 razy w 410 próbach, wobec 56 dla niewydanego modelu Mythos od Anthropic. W wewnętrznym benchmarku pełnych przejęć przepływu sterowania zdobył 4 procent, przy 6 procent dla Mythos, podczas gdy Kimi K3 i DeepSeek V4.1 Flash zdobyły po 0 procent. Anthropic twierdzi, że zwodniczy prompt omijał zabezpieczenia w 64 procent przypadków, a wstępne wypełnianie tokenów myślenia działało w 92 procent przypadków. To liczby Anthropic o modelu konkurenta, a Zhipu AI nie odpowiedziało w materiałach tu przejrzanych.

Spór o politykę też nie jest rozstrzygnięty. WIRED poinformował 3 października, że Nathan Lambert i Tom Zick założyli Trillium Labs, organizację non-profit, która będzie publikować szczegóły eksperymentów m.in. w obszarach samodoskonalenia rekurencyjnego i agentów.

Komentarze 0

Źródła

9
  1. 01Kolibri Has Landed: A Sovereign Open-Weight ModelEN
  2. 02New in llama.cpp: Decision ModelsEN
  3. 03Laya in shadow: training an open decision model to replace JevEN
  4. 04Shield: A 118M model for detecting prompt injections and jailbreaksEN
  5. 05Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  6. 06These AI Experts Want to Do High-Stakes Research Out in the OpenEN
  7. 07Anthropic's super bug-hunting model Mythos is hardcore good at mathEN
  8. 08As Part of Ongoing Investigation, Attorney General Bonta Serves Investigative Subpoena on OpenAIEN
  9. 09OpenAI safety leader David Robinson resignsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.