Wolontariusze trenują 145-milionowy model Coop, Google wstrzymuje Gemini 4 Argon
Wolontariusze wytrenowali na użyczonym sprzęcie 145-milionowy model językowy i opublikowali go 30 września. W tym samym tygodniu Google ograniczył swój najbardziej zaawansowany model do sprawdzonych partnerów z dziedziny cyberbezpieczeństwa, a Amazon udostępnił na otwartej licencji model decyzyjny o 2 mld parametrów.

Coop, projekt opublikowany na GitHubie 30 września, pretrenuje 145-milionowy model językowy na FineWeb-Edu. Bez serwera, bez finansowania, bez daemona.
Trening odbywa się na użyczonym sprzęcie konsumenckim oraz w darmowych planach Hugging Face i GitHub Actions, jak podaje README projektu. Ciekawy jest mechanizm. Wolontariusze pobierają checkpoint i wykonują kilka lokalnych kroków AdamW na własnym fragmencie danych. Wynik wysyłają jako pseudo-gradient w pull requeście do publicznego repozytorium zbiorów danych na Hugging Face. Zadanie cron w GitHub Actions czyta potem checkpoint i otwarte pull requesty. Odrzuca nieaktualne zgłoszenia, obcina i bramkuje pozostałe, a następnie agreguje je średnią ucinaną albo medianą geometryczną. Wykonuje jeden krok Niestierowa, wgrywa nowy checkpoint i zamyka przetworzone PR-y. Coop twierdzi, że pętla została sprawdzona w praktyce, a nie zaprojektowana.
Kilku wolontariuszy na Apple Silicon i zwykłych procesorach wytrenowało ten sam krok zewnętrzny. Uśredniono go w jedną aktualizację. Zgłoszenie, które wyprzedziło tick, przyjęto o krok później, z mniejszą wagą nieaktualności. Powtórzone rundy jednego użytkownika scalono w jeden głos. „Coop stop” dokończył połowiczną rundę, zamiast ją wyrzucić.
Projekt ostrożnie podchodzi do ewaluacji. Każdy tick ocenia nowy checkpoint na stałym wydzielonym fragmencie z ustalonym ziarnem losowości. Zmiana między krokami odzwierciedla wtedy model, a nie losowanie próbek, a tick dopisuje jeden punkt do pliku rejestru. Pojedyncza strata walidacyjna nic nie mówi, zauważa README. Kroki zewnętrzne podnoszą ją równie często, co obniżają, więc tabela wyników dopasowuje nachylenie do liczby tokenów, a nie do kroków zewnętrznych.
Czołowe laboratoria idą w drugą stronę
Kontrast z komercyjnymi laboratoriami jest wyraźny. Alphabet uruchomił Gemini 4 Argon 30 września i nazwał go swoim najbardziej zaawansowanym modelem. CNBC podało, że model trafia najpierw tylko do wybranych partnerów z dziedziny cyberbezpieczeństwa. The Guardian napisał 1 października, że Google wstrzymuje model przed publiką, powołując się na ryzyko nadużyć. Cytuje Koraya Kavukcuoglu, głównego architekta AI w Google, który napisał, że „bezpieczne udostępnianie zdolności frontier na tym poziomie wymaga podejścia etapowego”. Tulsee Doshi, odpowiedzialna w Google za produkt Gemini, powiedziała CNBC, że takie rozpoczęcie wdrożenia „daje nam więcej pewności, ale też pozwala jak najszybciej oddać w ręce obrońców model wytrenowany i mocny w cyberobronie”. Google twierdzi, że Argon dorównuje GPT-6 Astra od OpenAI i Grok 4.7 w testach cyberbezpieczeństwa, a prowadzi w Vals Index. Firma podaje też, że model jest już używany wewnętrznie do optymalizacji pamięci w centrach danych i uwalnia setki terabajtów.
Małe, otwarte i lokalne to drugi biegun. TechCrunch podał 1 października, że AWS wydał Strands Decider 2B, model decyzyjny o 2 mld parametrów na otwartej licencji, zbudowany na szkielecie Qwen3.5-2B, który zwraca skalibrowane wybory zamiast tekstu. Marc Brooker, distinguished engineer w Amazonie, powiedział TechCrunchowi, że model wyszedł z rozmów z klientami. Daje „krok przepływu pracy, który można ustrukturyzować w bardziej niezawodny sposób dzięki ocenom pewności i zamkniętej dziedzinie odpowiedzi, a przy tym ma mniejsze opóźnienie i potencjalnie niższy koszt”.
„Rozumiem, że ludzie myślą, że to gorączka złota, ale mogą nie doceniać trudności w uczynieniu tych modeli naprawdę mądrymi”, powiedział TechCrunchowi Diogo Almeida, prezes TypeSafe.
Jev od TypeSafe jest punktem odniesienia. InfoQ podało 1 października, że Jev zwraca typowane decyzje probabilistyczne i wycenia wejście na 0,042 dol. za milion tokenów. Wyjście jest darmowe, okno kontekstu wynosi 32 000 tokenów, a opóźnienie end-to-end od 70 ms do 500 ms. Vercel podał, że Jev dotarł do prawie 13% płacących zespołów w ciągu 24 godzin, dwa razy więcej niż rodzina GPT-5.6. Analiza 12 759 tweetów z premiery, którą przygotował OpenChamber, dała medianę przyspieszenia deklarowanego przez użytkowników na poziomie 7x wobec nagłówkowych 193,6x, a oszczędności kosztów medianę 30x.
Bezpieczeństwo to niewygodna część
Tanie, lokalne modele oznaczają też tanie, lokalne wyciąganie wiedzy. OpenAI podało we wpisie na blogu z 30 września, że udaremniło kampanię „destylacji adwersaryjnej”, która zaczęła się 1 lipca. Kampania osiągnęła szczyt 16 000 żądań od ponad 4 000 użytkowników 24 i 25 lipca, a do 28 lipca została całkowicie wyłączona. CNBC podało, że OpenAI powiązało główny klaster z osobami związanymi z chińskim Moonshot AI, twórcą Kimi. Operatorzy nie złamali szyfrowania, baz danych ani zapisanych rozmów.
The Register zauważył 30 września, że samo OpenAI trenowało na ogromnych ilościach treści z sieci. Dodał też, że Claude Opus 5.5 od Anthropic ma zabezpieczenie przed destylacją o nazwie „preserved thinking”. The Decoder podał 1 października, że ten sam trik działał tygodniami na Microsoft Azure. Cytuje badacza Joachima Schaeffera, który napisał na X: „Ukradliśmy rozumowanie. Znowu”.
Tymczasem sprzęt wciąż się kurczy. Tom's Hardware podał 30 września, że deweloper o pseudonimie „stmonty” wytrenował 12,5-milionowy model świata na jednej karcie RTX 3080 Ti, żeby grać w Pokémon Red. Model nauczył się funkcji przycisków, przewidując skompresowane 192-liczbowe podsumowania następnego ekranu na 42 382 klatkach w odcieniach szarości. Ideogram podał 1 października, że Ideogram 4.5 oferuje cztery poziomy jakości od 0,8 do 22 centów za obraz w natywnej rozdzielczości 2K, a wydanie z otwartymi wagami ma się pojawić wkrótce.
Źródła
11- 01Coop: A small language model pretrained by volunteersEN
- 02Google rolls out Gemini 4 Argon, its most advanced AI modelEN
- 03Google rolls out new Gemini AI model but restricts access over safety concernsEN
- 04Amazon releases its own Jev clone as decision models flood the webEN
- 05TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
- 06OpenAI says actors linked to China-based Moonshot AI spearheaded a campaign to extract its models' hidden reasoningEN
- 07AI race heats up as OpenAI flags alleged model-copying campaignEN
- 08Irony alert: OpenAI whines that Chinese model stole its special IP that it stole from everybody elseEN
- 09OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on AzureEN
- 10Developer trains a small AI on a single RTX 3080 Ti gaming GPU to 'play' Pokémon RedEN
- 11Ideogram says its new model can edit part of an image without messing up the restEN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.