Badacze z MIT pokazują, że GPT-6 Astra przepisuje wagi innych modeli

Badacze nazywają metodę „programowaniem przestrzeni wag” (Weight-Space Programming): model językowy działa jak mechanik, który kręci pojedynczymi pokrętłami, zamiast płacić za pełny trening od zera. W zależności od eksperymentu Astra pracowała bezpośrednio na listach liczb albo sięgała po narzędzia programistyczne i informację zwrotną z próbnych uruchomień. To blog badawczy, nie gotowy produkt.

Co Astra zrobiła z Qwen

Najbardziej praktyczny test dotyczył Qwen3.5-0.8B, modelu z 800 mln parametrów. Astrę poproszono o poprawę jego umiejętności matematycznych w środowisku programistycznym, z 50 iteracjami na zadaniach ćwiczeniowych. Potem sprawdzono ją na problemach, których wcześniej nie widziała. Znalazła usterkę, przed którą ostrzega sama dokumentacja Qwen: pętle myślowe, w których model powtarza ten sam tekst zamiast dojść do odpowiedzi. Astra zmieniła 0,016% wszystkich wag. Dokładność w MATH-500 wzrosła z 7,9 do 48,1%, a trzymanie się instrukcji z 21 do 62%.

Pętli nie udało się usunąć całkowicie. Jedna trzecia odpowiedzi nadal dobijała do maksymalnej długości tekstu, wcześniej było to 93%. Z Gemma 3 o 3,27 mld parametrów, modelem, który rzadko wpadał w takie pętle, Astra nie osiągnęła mierzalnej poprawy. Badacze przypuszczają, że usunęła blokadę tłumiącą zdolności, które Qwen już miał. Umiejętności, których modelowi zasadniczo brakuje, nie dało się dodać przez przepisanie pojedynczych wag w tym eksperymencie.

Czytanie wag i pisanie ich

Kiedy Astra dostała surowe wagi wytrenowanych sieci, poprawnie rozpoznała, w którą z czterech gier komputerowych każda z nich została zbudowana. Rozpoznała podstawowe kształty generowane przez generator obrazów, choć pomyliła kształty wypełnione z konturami. Dopasowała też język treningu małych modeli językowych bez danych treningowych i bez ich uruchamiania.

Przy dwóch dostrojonych modelach językowych nie potrafiła rozpoznać po samych wagach, który z nich trenowano tak, by zawsze zgadzał się z użytkownikiem. Dopiero gdy mogła obserwować, na co modele zwracają uwagę podczas przetwarzania tekstu, wskazała model schlebiacki we wszystkich trzech parach.

Astra pisała też wagi od zera. Mając reguły gry i kod źródłowy, stworzyła modele do trzech prostych gier. W Breakout jej model zdobywał średnio 517 punktów, podczas gdy model bazowy trenowany przez 100 mln rund zdobywał 25. W dwóch pozostałych grach ustąpiła wersjom trenowanym najdłużej. W Go na planszy 9x9 napisała wagi sieci o około 1,5 mln parametrów; przy 50 iteracjach testowych pokonała model o podobnej wielkości trenowany na około 20 mln gier.

Stara śpiewka czy nowe spojrzenie na zachowanie modeli

Pionier AI Jürgen Schmidhuber nazwał metodę „starą śpiewką” na X, wskazując na własne prace z lat 1990. Khattab odpowiedział, że badacze linkują do tych artykułów, które były „daleko przed swoim czasem”. Nowe, jego zdaniem, jest to, jak dobrze dzisiejsze modele językowe przekładają język ludzki na wartości liczbowe sieci.

Badacze widzą zastosowania w audytach bezpieczeństwa prowadzonych bezpośrednio na wagach modeli oraz w punktowych zmianach zachowania bez kosztownego ponownego trenowania. Przyznają też ograniczenia i zapowiadają, że następny krok to test porównawczy do systematycznego pomiaru. Logi eksperymentów są na GitHubie, a zmodyfikowany model Qwen na Hugging Face.