Trillium Labs publikuje ryzykowne badania nad AI. Z OpenAI odchodzą kolejni ludzie od bezpieczeństwa
Dwoje naukowców z branży założyło Trillium Labs, organizację non-profit, która będzie publikować szczegóły eksperymentów wysokiego ryzyka, w tym nad rekurencyjnym samodoskonaleniem i agentami, żeby zewnętrzni badacze mogli je odtwarzać. Informuje o tym WIRED.

Premiera wypada w niezręcznym tygodniu dla laboratoriów, przeciw którym Trillium pośrednio argumentuje. W sobotę David Robinson, jeden z liderów zespołu Safety Systems w OpenAI, opublikował esej w The Atlantic. Napisał, że firma nie zachowuje wystarczającej ostrożności. Business Insider, który jako pierwszy podał informację o jego odejściu w piątek, twierdzi, że zrezygnował tydzień wcześniej.
Założyciele Trillium, Nathan Lambert i Tom Zick, chcą odwrotności takiego układu: badań, które outsiderzy mogą sprawdzić. Ich argument jest taki, że tajemnica ma swoją cenę. Jeśli tylko garstka osób widzi, jak powstał i jak dostrojono model frontier, nikt inny nie sprawdzi, czy deklaracje o bezpieczeństwie się trzymają. To cała teza w jednym zdaniu i zarazem część najtrudniejsza do udowodnienia. Laboratorium, które publikuje metody, zaprasza rywali do kopiowania. Laboratorium, które milczy, nie zaprasza nikogo do sprawdzenia czegokolwiek. Trillium zakłada, że druga cena jest wyższa.
Dla czytelników zmienia się miarka. Kupujący produkty AI, a także regulatorzy, którzy się nimi zajmują, oceniają dziś bezpieczeństwo głównie po kartach systemowych i oświadczeniach firm. Trillium obiecuje eksperymenty, które zewnętrzni naukowcy mogą zbadać i odtworzyć. To zamienia deklarację marketingową w coś bliższego testowi. Wciąż nie wiadomo, jak dużą część własnych badań organizacja opublikuje i kto za to płaci. Żaden z założycieli nie powiedział, skąd pochodzą pieniądze.
Lambert powiedział WIRED, że zamknięty rozwój to zły kierunek. "Przez ostatnie kilka tysiącleci ludzkość miała w swoim warsztacie metodę naukową jako sposób ograniczania szkód i budowania lepszej przyszłości" - mówił, cytowany przez WIRED. "Obecna zamknięta trajektoria rozwoju frontier AI cofa nas o krok."
Otwarte wagi już zdobywają użytkowników
Otwarte podejście nie jest już marginesem, bo otwarte modele przejęły dużą część rzeczywistego użycia. Chińskie modele z otwartymi wagami urosły z poniżej 2% globalnego użycia pod koniec 2 024 roku do ponad 45% do czerwca tego roku, wynika z danych OpenRouter, na które powołuje się CBS News. Do sierpnia Qwen od Alibaby przekroczył trzy miliardy pobrań na świecie. Te dwie liczby trudno pogodzić: skok o ponad czterdzieści punktów w globalnym użyciu w niespełna dwa lata i jedna rodzina modeli, która w ciągu kilku miesięcy od tego badania przekracza trzy miliardy pobrań. Niezależnie od tego, co rozstrzygnie debata o bezpieczeństwie, bardzo wielu ludzi uruchamia już wagi, które może pobrać i obejrzeć albo niewłaściwie użyć, nie pytając nikogo o zgodę.
Ta skala ma znaczenie dla argumentu o bezpieczeństwie. CBS News podało, że Hirundo, izraelski startup z branży cyberbezpieczeństwa, odkrył, iż Qwen nie chce rozmawiać o protestach w Hongkongu w 2 019 roku ani o placu Tiananmen w 1 989 roku. Model nazywa Falun Gong "niebezpieczną sektą" i uchyla się od pytań o Kubusia Puchatka. Gdy CBS zapytało model o obozy pracy przymusowej dla Ujgurów, odpowiedział, że takie nie istnieją. Alibaba nie odpowiedziała na prośbę o komentarz, podała stacja. Uber Eats twierdzi, że jego funkcje wyszukiwania i dostaw działają "na bazie Qwen". Brian Chesky z Airbnb powiedział LA Times, że jego firma mocno opiera obsługę klienta na tym modelu.
Mówiąc wprost: pobranie modelu nie czyni jego zachowania przejrzystym. Trillium zakłada, że publikowane metody pozwolą badaczom wychwycić tego rodzaju wpisane uprzedzenie albo przynajmniej publicznie o nim dyskutować.
Założyciele mają doświadczenie. Lambert pracował w Allen Institute for AI i w Hugging Face, prowadzi blog techniczny i założył American Truly Open Models, inicjatywę na rzecz tego, by amerykańskie firmy wydawały więcej otwartych modeli. Zick pracował na Harvardzie i pomagał Charlesowi Schwabowi pisać politykę odpowiedzialnej AI. Poznali się na Zoomie w czasie pandemii jako doktoranci na UC Berkeley.
Trillium zacznie od post-treningu, czyli dostrajania po zbudowaniu modelu, oraz od rekurencyjnego samodoskonalenia, w którym AI dokłada się do własnych badań. W obu tych obszarach laboratoria zwykle milczą. WIRED zauważył, że Xiaomi publikowało na bieżąco szczegóły dużego treningu, a badacze ze Stanford w otwarty sposób pretrenują model o nazwie Marin.
W OpenAI odejścia nie ustają
Odejście Robinsona to najświeższy punkt danych w sporze o to, kto może sprawdzać pracę. Brał udział w tworzeniu kart systemowych, które OpenAI publikuje razem z modelami. W eseju dla The Atlantic napisał, że zgadza się z innymi niedawno odeszłymi pracownikami. Firmy budujące tę technologię "nie zachowują nawet w przybliżeniu wystarczającej ostrożności", stwierdził. Gdy OpenAI "pędzi od premiery do premiery, nie osiąga poziomu staranności, który uważam za konieczny" - dodał.
OpenAI odpowiedziało w oświadczeniu. Firma twierdzi, że "dopilnowuje, by nasze modele nie stawały się zdolniejsze, niż potrafimy bezpiecznie zarządzać i zabezpieczać, i wstrzymujemy trening albo zatrzymujemy modele, kiedy musimy zwolnić". Firma podała, że rozszerza współpracę z zewnętrznymi ewaluatorami. Ulepsza też monitoring w czasie rzeczywistym, żeby wcześniej wychwytywać niepokojące zachowania w trakcie treningu.
"Środowisko, w którym może dojść do czegoś takiego, nie jest miejscem, w którym powinny rosnąć sztuczne umysły, które mogą być mądrzejsze od nas i mogą nie robić tego, czego chcemy."
To zdanie z eseju Robinsona pojawia się po serii incydentów związanych z bezpieczeństwem, które OpenAI przyznało. Firma poinformowała też w czwartek, że "rozstała się" z trzema badaczami z powodu naruszenia polityki udostępniania informacji wrażliwych. Johannes Heidecke, szef działu bezpieczeństwa, odszedł wcześniej w tym roku. Na konferencji deweloperskiej OpenAI we wtorek prezes Sam Altman powiedział, że bezpieczeństwo i alignment muszą wyprzedzać możliwości modeli. Jeśli czytać te zdarzenia po kolei, wzór trudno przeoczyć. Szef bezpieczeństwa odszedł, trzech badaczy wyleciało za udostępnianie informacji, weteran kart systemowych złożył rezygnację, wszystko w ciągu jednego roku. Publiczna odpowiedź firmy to więcej zewnętrznych ewaluatorów i lepszy monitoring.
Istnieje kontrargument i nie jest to margines. Krytycy spowalniania ostrzegają, że jeśli Dolina Krzemowa naciśnie hamulce, zyskają międzynarodowi rywale i osoby o złych zamiarach. To napięcie leży u podstaw każdej propozycji ewaluacji. Ludzie najlepiej przygotowani do audytu modelu często mają do niego najmniejszy dostęp.
Ewaluacjom coraz trudniej ufać
Prace akademickie pokazują tę samą lukę z innej strony. Benchmark o nazwie ScholarCatalyst powstał na etykietach od 184 głównych autorów 207 niedawnych prac z informatyki. Sprawdzał, czy systemy AI potrafią znaleźć wcześniejszą pracę, która ukształtowała projekt. Wyszukiwanie agentowe wypadło nie lepiej niż zwykłe wyszukiwanie embeddingowe, 0,42 wobec 0,48 Recall@20, mimo że agent wywoływał ten sam retriever jako narzędzie. Agent zbudowany na Claude Fable 5.1, który mógł widzieć gotowe prace podczas treningu, osiągnął tylko 0,51.
Autorzy opisują to zadanie jako krok w stronę agentów naukowych, które potrafią wziąć ledwie zarysowany pomysł i wskazać badania, których potrzebuje. Wynik jest też ostrzeżeniem o projektowaniu ewaluacji: model może wyglądać na zdolnego w zadaniu, gdy w rzeczywistości tylko przypomina sobie treści.
Dział badawczy Mety przyznał coś podobnego. Opublikował sześć prac przygotowanych z matematykami przy użyciu modeli Muse Spark w trybie Thinking Mode przez zwykły interfejs czatu meta.ai, pięć z nich odpowiadało na wcześniej otwarte pytania. Meta podała, że po zakończeniu pracy dowiedziała się, iż inne zespoły niezależnie ogłosiły rozwiązania niektórych z tych samych problemów. Firma twierdzi, że prace oznaczają, które fragmenty napisali badacze, a które AI. Jedną strategię dowodu, dla progu dopasowania elipsoidy Gaussa, opracowano z modelem pod kierunkiem matematyka i sprawdziło ją czterech innych.
Publikowanie metody, autorstwa i prac równoległych to dokładnie ten standard, który Trillium chce upowszechnić. Otwarte pozostaje pytanie, czy organizacja non-profit zdoła to robić w przypadku agentów i samodoskonalenia, gdzie ryzyko jest mniej uporządkowane niż dowód geometryczny.
Nastroje w środowisku akademickim nie pomagają. W niedawnym wątku na liście mailingowej TYPES, streszczonym 2 października przez jednego z badaczy języków programowania, opisano gwałtowny spadek morale w tej dziedzinie jesienią 2 026 roku, ze stresem porównywalnym do pandemii. Ten sam badacz przekonywał, że narzędzia czynią większe problemy rozwiązywalnymi. Oba odczytania prowadzą w to samo miejsce: sprawdzanie AI przenosi się poza laboratoria, czy się to laboratoriom podoba, czy nie.
Źródła
8- 01These AI Experts Want to Do High-Stakes Research Out in the OpenEN
- 02OpenAI safety leader David Robinson resignsEN
- 03Some topics are off limits inside popular Chinese-made free AI, researchers findEN
- 04Solving Open Research Problems TogetherEN
- 05ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
- 06PL research is dead, the age of PL exploration is just beginningEN
- 07How to apply to AI safety fellowships (and beyond)EN
- 08Memory safety for Postgres extensions in C/C++EN
Wszystkie liczby i cytaty w tym tekście pochodzą z poniższych źródeł. Nie dopisujemy danych, których w źródłach nie ma.
Materiały zostały przygotowane przez zespół redakcyjny wspierane przez AI.
Komentarze
0- Brak komentarzy — bądź pierwszy.