Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Model Coop z 145 mln parametrów trenowany przez wolontariuszy. Wokół niego rosną małe modele

Model językowy z 145 parametrów trenuje się od zera na komputerach użyczonych przez wolontariuszy. Projekt nie ma serwerów ani finansowania, wynika z jego repozytorium na GitHubie aktualizowanego 30 września.

AI i modeleAnalizaAnna KaczmarekOpublikowano: 2 października 20264 min czytaniaŹródła 8
Model Coop z 145 mln parametrów trenowany przez wolontariuszy. Wokół niego rosną małe modele

Projekt nazywa się Coop. Jego repozytorium opisuje pętlę treningową, która działa w całości na maszynach wolontariuszy. Wykorzystuje też darmowe plany Hugging Face i GitHub Actions.

Etap 2 trwa: model z 145 000 000 parametrów trenuje na FineWeb-Edu. Etap 1, przebieg na 15 000 000 parametrów na TinyStories, zakończył się po przekroczeniu optymalnego budżetu tokenów według Chinchilli. Przy tej samej regule, która zakłada około 20 tokenów na parametr, etap 2 potrzebuje rzędu 2 000 000 000 tokenów. Wolontariusze pobierają checkpoint i wykonują lokalne kroki AdamW na własnym fragmencie danych. Potem wysyłają pseudo-gradient jako pull request do publicznego repozytorium zbioru danych na Hugging Face. Zadanie cron w GitHub Actions uruchamia się co pięć minut. Czyta otwarte pull requesty i odrzuca nieaktualne. Resztę przycina i filtruje, a następnie agreguje średnią uciętą albo medianą geometryczną. Wykonuje jeden krok Niestierowa i wgrywa nowy checkpoint. Repozytorium zaznacza, że wspólny scheduler GitHuba odpala zadania w odstępach od kilku minut do kilku godzin. Protokół znosi każde tempo.

Autorzy twierdzą, że pętla jest sprawdzona w praktyce, a nie tylko zaprojektowana. Kilku wolontariuszy, na Apple Silicon i na zwykłym procesorze, wytrenowało ten sam krok zewnętrzny. Ten krok uśredniono w jedną aktualizację. Zgłoszenie, które wyprzedziło takt, przyjęto o krok później z mniejszą wagą nieaktualności. Powtórzone rundy jednego użytkownika scalały się w jeden głos. Niedokończoną rundę wypchnięto zamiast wyrzucić.

Ma to znaczenie, bo dolna półka rynku gęstnieje. 2 października Microsoft AI udostępnił MAI-Transcribe-2-Streaming, model transkrypcji w czasie rzeczywistym dla 60 języków. Pierwsze częściowe wyniki zwraca w nieco ponad 100 milisekund, podał The Decoder. W tej samej publikacji znalazł się MAI-Voice-2.1, który mówi w 23 językach jednym głosem. Był też wariant Flash z opóźnieniem 150 milisekund i ceną 15 dol. za milion znaków, wcześniej 22 dol.

Drugie skrzydło to modele decyzyjne. AWS udostępnił Strands Decider 2B, otwarty model, który zwraca skalibrowane wybory zamiast tekstu. Powstał na bazie Qwen3.5-2B, podał TechCrunch 1 października. Marc Brooker, distinguished engineer w Amazonie, powiedział TechCrunchowi, że ta klasa modeli jest „idealnym decydentem dla jednego kroku workflow”. TypeSafe nazwał swój model Jev po ekonomiście Williamie Stanleyu Jevonsie. Pracuje nad kolejnymi wersjami. Prezes Diogo Almeida powiedział TechCrunchowi, że nie widzi jeszcze realnej konkurencji.

Wąskim gardłem jest sprzęt. Apple dostarcza teraz Foundation Model na makach z chipem M1 lub nowszym. Da się go wywołać z terminala komendą fm, gdy Apple Intelligence jest skonfigurowane, podał t3n 2 października. Model odpowiada lokalnie i nie przenosi kontekstu między zapytaniami.

Badacze sprawdzają, gdzie te systemy się psują. Praca wysłana 29 września wiąże pętle ponowień w agentach opartych na modelach dyfuzyjnych z maskowanym dekodowaniem. Proponuje regułę odwrotnego punktowania bez treningu o nazwie Reflect Reverse, według streszczenia na arXiv. Inna praca, wysłana 1 października, donosi, że rankingi modeli odwracają się w zależności od harnessu agentowego. Na Terminal-Bench 4 Claude prowadzi nad GPT o 7,94 punktu w OpenHands, ale traci 30,16 punktu w PI, w 66 ocenianych konfiguracjach, piszą autorzy.

Szachy są nowym tanim poligonem do optymalizacji promptów: 1 118 zagadek z Lichess i łączny koszt badania około 800 dol., według pracy wysłanej 30 września. Najmocniejszy oceniany model, Gemini 3.5 Flash, użyty jako meta-model, rozwiązuje tylko około 55% zagadek. Osobno kontroler pamięci oparty na rangach ściął tokeny promptu o 5,9%. Zmniejszył błąd predykcji w dolnej połowie ogona o 13,6% względem bazowej pamięci grafowej na Synthetic Graph World. Obniżył też liczbę tokenów o 24,48% na LongMemEval przy tej samej dokładności, według autorów.

Coop leży na końcu tej krzywej: bez centrum danych, bez pozycji w budżecie. Tabela wyników jest dopasowana do straty walidacyjnej względem tokenów, a nie względem kroków zewnętrznych. Repozytorium zaznacza, że pojedyncza strata walidacyjna nic nie mówi, bo kroki zewnętrzne podnoszą ją równie często, jak obniżają. Kierunek jest właściwością całej serii.

Komentarze 0

Źródła

8
  1. 01Coop: A small language model pretrained by volunteersEN
  2. 02Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
  3. 03Amazon releases its own Jev clone as decision models flood the webEN
  4. 04Versteckter KI-Chatbot auf dem Mac: So greifst du auf Apples lokales Modell zuDE
  5. 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
  6. 06Finding the Right Fit: Model-Harness Interactions across Agent TasksEN
  7. 07Benchmarking Prompt Optimization of Large Language Models With ChessEN
  8. 08Heavy-Tailed Memory Traces in Long-Horizon Language AgentsEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Anna Kaczmarek

Anna Kaczmarek

AI, modele i technologie

Anna Kaczmarek pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, repozytoriach i danych źródłowych, a nie na komunikatach prasowych. Przy testach modeli sprawdza karty techniczne, parametry wejściowe i liczy wyniki na tych samych zbiorach, zamiast powtarzać liczby od producentów. Czeka na premiery API i aktualizacje wag, rozmawia z inżynierami oraz porównuje wersje modeli pod kątem kosztów i opóźnień. Prywatnie self-hostuje usługi i konfiguruje sieci domowe, więc do redakcji wnosi praktykę z własnego serwera. Nie publikuje zapowiedzi ani parametrów, których nie może odtworzyć na własnym środowisku.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.