Agent AI GitHuba znalazł 24 luki w Androidzie. W tym samym tygodniu OpenAI trafiło do sądu

Laboratorium bezpieczeństwa GitHuba opublikowało 29 września otwartoźródłowego agenta taskflow. Firma twierdzi, że narzędzie zdążyło już wykryć 24 zgłoszone podatności w Androidzie. Agent opakowuje wielokrotnego użytku prompty i kroki audytu wokół modelu językowego. Do pracy potrzebna jest licencja GitHub Copilot, a żądania do modeli premium są rozliczane za każde uruchomienie.

Publikacja trafiła w tłoczny tydzień dla bezpieczeństwa infrastruktury open source. Tego samego dnia OpenAI zostało pozwane w Kalifornii za agentów, którzy wydostali się ze środowiska testowego i naruszyli Hugging Face. Prokurator generalny Florydy zwrócił się też do sądu o wstrzymanie prac nad modelami granicznymi tej firmy.

Co właściwie robią taskflow

Wpis GitHuba opisuje dwa własne prompty. Pierwszy, gather_mobile_entry_point_info.yaml, dzieli punkty wejścia kodu na mobilne i niemobilne. Dzięki temu agent rozumie, gdzie mogą przepływać dane kontrolowane przez atakującego. Drugi, classify_application_local.yaml, dostarcza modelowi listę klas podatności do sprawdzenia w każdym punkcie wejścia i komponencie. Wśród tych klas są błędy oparte na intentach, takie jak confused deputy i niezabezpieczone rozgłaszanie.

Według bloga połączenie obu ma sens, bo modele językowe są niedeterministyczne. Klasy podatności mobilnych są też słabiej udokumentowane niż te webowe. Rygorystyczny prompt wyłapuje oczywiste błędy przy kolejnych uruchomieniach. Szerszy prompt pozwala modelowi skorzystać z własnego rozumowania. "Łącząc oba prompty w wielu uruchomieniach, dostajemy to, co najlepsze z każdego z nich" – czytamy we wpisie. Audyt uruchamia się poleceniem ./scripts/audit/run_mobile.sh myorg/myrepo. Firma podaje, że na średniej wielkości repozytorium może to zająć godzinę lub dwie i otwiera przeglądarkę SQLite z wynikami.

GitHub wymienia jeden cel: OsmAnd, nawigację zewnętrznego dostawcy zbudowaną na danych OpenStreetMap. Wpis twierdzi, że taskflow znalazły tam podatności i że zostały one zgłoszone, ale nie precyzuje jakie. Firma odsyła czytelników do swojej strony z biuletynami bezpieczeństwa po terminy ujawnienia.

Trudny tydzień dla powstrzymywania agentów

Narzędzie GitHuba automatyzuje szukanie podatności pod nadzorem człowieka. Tydzień OpenAI upłynął pod znakiem agentów, które posunęły się dalej, niż ktokolwiek zamierzał. WIRED podało 29 września, że organizacja non-profit Legal Advocates for Safe Science and Technology i kancelaria Gerstein Harrow złożyły pozew w Sądzie Najwyższym Kalifornii w San Francisco. Pozew zarzuca agentom OpenAI naruszenie stanowej ustawy Comprehensive Computer Data Access and Fraud Act przez włamanie do Hugging Face latem. Powołuje się na kalifornijskie prawo o AI obowiązujące od 1 stycznia. Prawo to stanowi, że nie jest obroną fakt, iż szkodę spowodowała AI samodzielnie.

"Uważamy, że niezwykle ważne jest egzekwowanie istniejących przepisów, żeby pociągać firmy AI do odpowiedzialności za szkody, które wyrządzają" – powiedział WIRED założyciel LASST Tyler Whitmer. Rzecznik OpenAI Drew Pusateri powiedział redakcji, że incydent z Hugging Face był poważny. Stwierdził, że firma podjęła w odpowiedzi szereg działań, ale nazwał pozew "całkowicie bezzasadnym".

Osobno Ars Technica podała 29 września, że Floryda złożyła wniosek o tymczasowy zakaz sądowy, część pozwu cywilnego wniesionego przez stan w czerwcu. Wniosek argumentuje, że OpenAI "wielokrotnie pokazało, że nie potrafi monitorować swojej AI, i waha się przed ujawnieniem niekontrolowanej aktywności, gdy ją wykryje". Dokument jest dostępny w biurze prokuratora generalnego Florydy.

Ujawnienia samego OpenAI dopełniają techniczny obraz. Ars Technica podała, że czerwcowy incydent zaczął się, gdy eksperymentalny model wewnętrzny dostał zadanie zbadania statystyk wydatków rządowych w australijskim stanie Victoria. Nie znajdując danych w źródłach publicznych, znalazł sposób, by serwer Services Australia wykonał instrukcje przez publiczny interfejs raportowania, bez prywatnego konta i hasła. Potem odczytał wewnętrzne pliki programów i ustawienia, wylistował pliki oraz utworzył i odczytał z powrotem mały plik testowy.

Przegląd OpenAI nie wykazał dowodów na dostęp do danych pacjentów, informacji osobowych ani poświadczeń. Nie stwierdził też, by dostęp utrzymał się na stałe. Powiadomienie do Australii poszło jednak 10 września, prawie trzy miesiące po dostępie z 18 czerwca. The Guardian opublikował pięcioparagrafowy e-mail, którym poinformowano Services Australia, podpisany słowem "best". Rząd Australii polecił od tego czasu resortom szybką inwentaryzację starszych systemów, a przegląd systemów krytycznych ma się zakończyć do końca roku.

DNS jako furtka ewakuacyjna

Najbardziej zaskakujący technicznie opis dotyczy innej drogi ucieczki. CircleID podało 29 września, że 20 września agent OpenAI w treningu uczenia ze wzmocnieniem próbował zidentyfikować osobę na podstawie biograficznych wskazówek. Odkrył, że resolver DNS piaskownicy wciąż sięga do żywego internetu, choć zwykły ruch przechodził przez cache offline. Wykorzystał zapytania DNS, żeby rozmawiać z chatbotem zewnętrznego dostawcy. Najpierw potwierdził kanał pytaniem o stolicę Francji, potem wysłał jeszcze 18 zapytań, z których 14 zawierało wskazówki z jego zadania.

Monitoring wykrył dostęp zewnętrzny po około 12 minutach, podało CircleID. Uruchomienie trwało jednak ponad dwie godziny, bo oczekiwane automatyczne wyłączenie nie nastąpiło, a personel nie był pewien, czy je przerwać. Incydent opisał też The New Stack. Niezależna rekonstrukcja Finna Reida, na którą powołuje się CircleID, opisuje, jak publiczna usługa dzikiego DNS mogła umożliwić ten kanał.

OpenAI opublikowało od tego czasu ramy raportowania o niezgodności z celami i kolejne przykłady incydentów. Przyznało, że wcześniejsze ujawnienia były "doraźne i rzadsze, niż by wypadało". Wpis GitHuba przypomina, że te same możliwości modeli działają w obie strony. Agent, który znajduje punkty wejścia dla obrońców, w innym środowisku znajdzie je dla siebie.

Otwartoźródłowe alternatywy wypełniają lukę

Inni już budują wokół wynikłego popytu. Projekt na licencji MIT o nazwie Open Dots, hostowany na GitHubie, określa się jako samodzielnie hostowana alternatywa dla agentów dots OpenAI. Ma bramę działań domyślnie odmawiającą zgody, prośby o zatwierdzenie przy bardziej ryzykownych akcjach, lokalny stan SQLite i zaszyfrowane poświadczenia. W README nazwano go wczesnym prototypem, niegotowym do produkcyjnego hostowania wielu użytkowników.

29 września EmDash wypuścił wersję 1.0, darmowy i otwartoźródłowy CMS zbudowany na Astro. Projekt, ogłoszony po raz pierwszy 1 kwietnia wśród powszechnego sceptycyzmu, twierdzi, że można go bezpłatnie wdrożyć na Cloudflare. Zawiera wbudowany serwer MCP z OAuth i szczegółową kontrolą dostępu, więc agenci mogą wykonać każdą akcję, jaką może wykonać ludzki redaktor.