Przejdź do treści
Czas na świecieEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal o AI i technologiiwydarzenia · analizy · wywiady · tło techniczne

Szukaj
NA ŻYWO
›

Trillium Labs chce prowadzić badania nad ryzykowną AI jawnie

Nathan Lambert i Tom Zick założyli 3 października Trillium Labs. To organizacja non-profit, która będzie publikować szczegóły eksperymentów nad rekurencyjnym samodoskonaleniem i agentami AI, żeby zewnętrzni naukowcy mogli je powtórzyć. Poinformował o tym WIRED.

AI i modeleWyjaśnienieMarta ZielińskaOpublikowano: 3 października 20265 min czytaniaŹródła 9
Trillium Labs chce prowadzić badania nad ryzykowną AI jawnie

Nathan Lambert i Tom Zick założyli Trillium Labs 3 października. Organizacja non-profit zamierza pracować nad rekurencyjnym samodoskonaleniem i agentami AI, a szczegóły tych eksperymentów publikować, żeby zewnętrzni naukowcy mogli je odtworzyć. Tak podaje WIRED.

Start wypada w środku sporu o to, jak wiele z laboratorium ma być widoczne. Z jednej strony czołowi deweloperzy trzymają najmocniejsze modele za aplikacją albo API. Z drugiej rośnie grupa, która chce, by przebieg treningu, dane i ewaluacje dało się czytać z zewnątrz. Lambert, były badacz Ai2 i Hugging Face, powiedział WIRED, że zamknięty rozwój „cofa nas o krok” i że metoda naukowa lepiej służy ograniczaniu szkód.

Zick, która wcześniej pracowała na Uniwersytecie Harvarda i pomagała Charlesowi Schwabowi tworzyć polityki dotyczące odpowiedzialnej AI, mówi, że organizacja zajmie się najpierw post-trainingiem, czyli dostrajaniem po zbudowaniu dużego modelu. Drugi obszar to RSI, gdzie AI dokłada się do badań, z których powstają nowe modele.

Dlaczego moment ma znaczenie

Stawka nie jest abstrakcyjna. WIRED zauważa, że czołowe modele potrafią zautomatyzować wykrywanie luk w oprogramowaniu oraz sondować i hakować systemy, a głośne ostatnio serie ataków hackerskich zaostrzyły pytanie o to, kto dostaje dostęp. Trillium odpowiada ujawnianiem, nie zamykaniem: publikuje tyle metody, żeby inni badacze mogli sprawdzić twierdzenia.

To nie jedyny otwarty obóz. WIRED wskazuje Xiaomi, które niedawno na bieżąco publikowało szczegóły dużego treningu jednego ze swoich modeli, oraz badaczy ze Stanford, którzy jawnie pretrenowali model o nazwie Marin. Lambert założył też American Truly Open Models, inicjatywę, która ma nakłaniać amerykańskie firmy do wypuszczania większej liczby otwartych modeli. Panowie poznali się jako doktoranci UC Berkeley w czasie pandemii.

Zakład laboratorium jest taki, że wspólne rozumienie ryzyka bije mały zaufany krąg. Czy publikowanie szczegółów eksperymentów nad agentami i samodoskonaleniem zmniejsza ryzyko, czy tylko czyni je widoczniejszym, to otwarte pytanie, na które nikt w artykule nie odpowiada.

Sześć prac Meta

Tymczasem dział badawczy Meta opublikował 3 października inny model otwartości: sześć prac z współpracy z matematykami, którzy używali Muse Spark 1.1 i 1.2 w trybie Thinking Mode przez zwykły interfejs czatu meta.ai, bez własnej infrastruktury badawczej. Pięć prac przedstawia odpowiedzi na wcześniej otwarte pytania badawcze, podaje blog Meta AI Research. Firma twierdzi, że prace oznaczają, które fragmenty napisali głównie badacze, a które AI, i podają źródła wcześniejszych prac, na których się opierają.

Po zakończeniu pracy dowiedzieliśmy się, że inne zespoły spoza Meta niezależnie ogłosiły rozwiązania niektórych z tych samych problemów, używając innych podejść.

To zdanie z bloga jest tu najważniejsze. Przy problemie dopasowania elipsoidy Gaussa Meta wymienia trzy równoległe prace: Misiakiewicza i Wena, de la Cerdy, Potechina, Tulsianiego i Xu oraz Koehlera i Sohna. Blog podaje, że podejścia się różnią i powstały niezależnie. Meta deklaruje, że nie chodziło o masową produkcję prac, ale o pomoc badaczom w rozwijaniu wniosków, na których inni mogą budować.

Problem wyszukiwania pod spodem

Jeśli AI ma pomagać w badaniach, najpierw musi znaleźć właściwą wcześniejszą pracę. Benchmark ScholarCatalyst, opublikowany 3 października, mierzy dokładnie to. Jego autorzy poprosili 184 pierwszych autorów 207 niedawnych prac z informatyki o wskazanie, które kandydatury posunęły ich projekty albo mogły to zrobić, każdą z uzasadnieniem. Potem zbudowali zadanie wyszukiwania ograniczone do literatury dostępnej w momencie startu każdego projektu.

Wyniki są skromne. Wyszukiwanie agentowe uzyskało 0,42 Recall@20 wobec 0,48 dla zwykłego wyszukiwania opartego na osadzeniach, choć agent wywoływał ten sam retriever jako narzędzie. Agent zbudowany na Claude Fable 5.1, który mógł widzieć ukończone prace w trakcie treningu, doszedł tylko do 0,51 R@20. Korpus liczył 191 000 prac.

Ta różnica ma znaczenie dla twierdzeń o automatycznym odkrywaniu. Wybór pracy, która otwiera ledwie zarysowany pomysł, to wciąż ludzka umiejętność, przekonują autorzy, a obecne systemy jej nie mają.

Widok od biurka

Z dala od granicy badań ten sam wzorzec widać w skali biurka. Pewien deweloper opisał 3 października, jak spędził około czterech godzin na skanowaniu i edycji rolki 36 klatek filmu 35 mm, a potem oddał robotę agentowi. W pierwszej próbie Claude sterował skanerem przez SANE z odwróconymi kierunkami X i Y skanbedu i omal nie rozwalił mechanizmu zębatego. Autor zostawił VueScan do przechwytywania obrazu i zautomatyzował obróbkę po nim. Wykrywanie kurzu i korekcję kolorów robią teraz kod i modele, a pusta pierwsza klatka służy jako odniesienie do ważenia koloru w całej rolce.

To nie jest automatyzacja laboratorium w sensie z nagłówków. Chodzi o tę samą wymianę: człowiek decyduje, co warto zrobić, a oprogramowanie przejmuje powtarzalny środek. Tak samo czyta się historię Academy of Natural Sciences, tylko od drugiej strony. Uniwersytet Drexela ogłosił we wtorek, że muzeum, otwarte od 1828 roku i liczące ponad 19 000 000 okazów, zamknie się 30 września, a ostatni dzień zwykłych godzin przypada na niedzielę 27 września. Władze podały jako powód frekwencję, która nigdy nie wróciła po pandemii. Zbiory pozostaną dostępne dla badań.

Trillium Labs to najnowszy test otwartego podejścia i najmniej sprawdzony. Pierwsze publikacje pokażą, czy przejrzystość w sprawie agentów i samodoskonalenia wywoła kontrolę, czy tylko dostarczy więcej materiału do sporów.

Komentarze 0

Źródła

9
  1. 01AI Experts Want to Do High-Stakes Research Out in the OpenEN
  2. 02Solving Open Research Problems TogetherEN
  3. 03ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  4. 04Automating my 35mm film scanning pipelineEN
  5. 05Academy of Natural Sciences is shutting down its museum after nearly 200 yearsEN
  6. 06Some topics are off limits inside popular Chinese-made free AI, researchers findEN
  7. 07EventMaxxer – Automatically apply to events to get you in the right roomEN
  8. 08Swiss scientist soils underpants, wins silly science prizeEN
  9. 09PL research is dead, the age of PL exploration is just beginningEN

Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.

Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.

Marta Zielińska

Marta Zielińska

AI, modele i technologie

Marta Zielińska pisze o technologiach, AI i modelach oraz mediach i internecie, opierając się na dokumentacji, preprintach i danych z API, a nie na zapowiedziach producentów. Przy każdej publikacji sprawdza karty modeli, parametry treningowe i benchmarki, a liczby porównuje z niezależnymi testami i wynikami z repozytoriów. Rozmawia z badaczami i inżynierami, czeka na kolejne wydania modeli i zestawia ich działanie z wcześniejszymi wersjami. Prywatnie drukuje w 3D, naprawia stare komputery i sprawdza, jak modele uczą się na śmieciach z internetu. Nie publikuje wyników, których nie może odtworzyć na własnym sprzęcie.

Redakcja →

Komentarze

0
  1. Brak komentarzy — bądź pierwszy.

Dodaj komentarz

Komentarze są widoczne publicznie. Nie publikujemy wulgaryzmów, spamu i treści reklamowych.