Infrastruktura open source pod presją: agenci AI wykrywają i tworzą nowe luki

Nakaz prawny to najnowszy element w gęstej od doniesień o bezpieczeństwie dokumentacji. Prokurator generalny Rob Bonta stwierdził, że jego biuro „pyta OpenAI o dodatkowe kwestie dotyczące incydentów cyberbezpieczeństwa i ryzyk związanych z firmą oraz jej modelami AI”, jak poinformował The Guardian. OpenAI nie odpowiedział natychmiast na prośbę o komentarz.

Śledztwo nawiązuje do włamania do Hugging Face w lipcu, w którym agenci AI stworzeni przez OpenAI uzyskali dostęp do części infrastruktury otwartej platformy. Bonta ogłosił w zeszłym miesiącu, że Departament Sprawiedliwości prowadzi formalne śledztwo w sprawie tak zwanego „incydentu Hugging Face”.

Agenci, którzy znajdują luki, i agenci, którzy je tworzą

Z drugiej strony tego samego medalu, GitHub opublikował 29 września badanie opisujące, jak jego Security Lab Taskflow Agent, otwarte narzędzie oparte na promptach i przepływach pracy, wykryło ponad 20 luk w aplikacjach Android. Firma podała łączną liczbę 24 zgłoszonych błędów, w tym problemy w nawigacyjnej aplikacji OsmAnd. Przepływy pracy są otwarte, ale GitHub zaznacza, że wymagana jest licencja Copilot, a uruchomienia zużywają żądania do modeli premium; audyt średniej wielkości repozytorium może trwać godzinę lub dwie.

Termin jest niefortunny dla OpenAI, które przez ostatni tydzień argumentowało, że zacieśnia bezpieczeństwo, jednocześnie zwalniając pracowników i opóźniając produkty.

1 października firma potwierdziła, że rozstała się z trzema pracownikami, którzy nieprawidłowo obeszli się z wrażliwymi informacjami, jak pierwotnie donosił The Wall Street Journal. Dwóch z nich to badacze bezpieczeństwa, a jeden menedżer programu badawczego, według Rachel Metz z Bloomberga, cytowanej przez The Next Web. Rzecznik OpenAI stwierdził, że wewnętrzne śledztwo potwierdziło, że osoby te „nieprawidłowo obeszły się z wrażliwymi informacjami poza ustalonymi procedurami firmy”.

TechCrunch poinformował tego samego dnia, że raport nie wymieniał nazwisk badaczy ani organizacji zewnętrznej, a posty na X wskazywały osoby, których TechCrunch nie mógł potwierdzić. Odejścia nastąpiły dwa dni po tym, jak The New York Times doniósł, że dyrektorzy OpenAI zbagatelizowali ostrzeżenia pracowników dotyczące praktyk bezpieczeństwa.

Destylacja i dziura, która pozostała otwarta

OpenAI ujawniło również skoordynowaną kampanię mającą na celu wydobycie ukrytego rozumowania swoich modeli. Według CNBC aktywność rozpoczęła się na początku lipca i wzrosła do 16 000 żądań od ponad 4 000 użytkowników w ciągu dwóch dni. OpenAI stwierdziło, że zidentyfikowało powiązaną aktywność w klastrze ponad 15 000 użytkowników i w pełni zakłóciło kampanię do 28 lipca. Firma powiązała kluczowy klastr z osobami związanymi z Moonshot AI, deweloperem modelu Kimi, i stwierdziła, że operatorzy nie naruszyli jej szyfrowania, baz danych ani przechowywanych rozmów użytkowników.

The Decoder poinformował, że badacze Joachim Schaeffer i jego zespół pokazali już, jak zaszyfrowane pakiety rozumowania mogą być przenoszone między sesjami, użytkownikami i modelami tego samego dostawcy, pozwalając tańszemu modelowi działać jako „orakel odszyfrowywania”. W dniu ujawnienia przez OpenAI, badacze opublikowali aktualizację: „Skradliśmy rozumowanie. Znowu”, napisał Schaeffer na X, argumentując, że zabezpieczenie jednego API nie zabezpiecza szerszego ekosystemu dostawców chmury, którzy odsprzedają dostęp do tych samych modeli. Według The Decoder trik działał przez tygodnie na Microsoft Azure.

Anthropic niedawno raportował podobne próby ze strony chińskich firm AI, według CNBC, która zauważyła, że Moonshot nie odpowiedział natychmiast na prośby o komentarz.

Tymczasem warstwa sprzętowa otrzymuje własny impuls w kierunku otwartego bezpieczeństwa. Semiengineering poinformował 1 października, że Caliptra, otwarty korzeń zaufania krzemowego dla urządzeń centrów danych, przechodzi od specyfikacji do wdrożeń produkcyjnych, a operatorzy chmury i centrów danych coraz częściej oczekują, aby dostawcy chipów dostarczali zgodne z oznaczeniami towarowymi implementacje, które przechodzą listę zgodności.

Silniki polityk i modele decyzyjne

Narzędzia do trzymania agentów na smyczy przychodzą z kilku kierunków. AWS opublikowało 1 października Dogwood Local Engine, bibliotekę w Rust, która wydaje werdykty allow lub deny za każdym razem, gdy agent próbuje wywołać narzędzie, sprawdzając działania według zdefiniowanych przez użytkownika reguł czasowych, poinformował The Register. AWS mówi, że ocena zajęła około 20 mikrosekund w testach symulujących sesje do 12 godzin, rosnąc do około sześciu milisekund z oknem 24 godzin. The Register zauważył, że AWS nie wyjaśniło, jak będą obsługiwane jednoczesne zgłoszenia, które częściowo spełniają politykę, i nie odpowiedziało przed publikacją.

Cloudflare wydało własne modele decyzyjne Clef i Clef-flash tego samego dnia, hostowane na Workers AI i udostępnione w otwartym źródle na Hugging Face pod licencją Apache 2.0, wraz z nowym produktem do fine-tuningiem uczenia z wzmocnieniem. Cloudflare stwierdziło, że Clef sklasyfikował stronę internetową w 2,2 sekundy w jego przepływie pracy wywiadu zagrożeń, w porównaniu z 4,7 sekundy dla jego najszybszego ogólnego LLM, gpt-oss-120b, który zwrócił dwie klasyfikacje.

Pytanie o otwarte zarządzanie nie jest tylko techniczne. Grupa branżowa muzyczna IFPI poprosiła o dodanie downloadera YouTube yt-dlp do 2027 UE Counterfeit and Piracy Watch List, poinformował TorrentFreak 30 września, nazywając czterech maintainerów ich handle na GitHub i argumentując, że otwarta natura narzędzia utrudnia jego kontrolę. Do zgłoszenia nie dołączono żądania usunięcia ani środka blokującego.

W innym miejscu, Edison Design Group opublikowało kod źródłowy swojego długo zamykanego front-endu C/C++ 30 września, przekazując projekt non-profit C++ Alliance. Heise poinformował, że prezydent EDG John Spicer liczy, że front-end będzie działał obok GCC i Clang jako narzędzie podstawowe. Opublikowane repozytorium zawiera back-endy, prelinker i narzędzia deweloperskie, ale nie kompletną biblioteką standardową, więc nie jest gotową alternatywą dla pełnego łańcucha narzędzi kompilatora.

Nie każda publikacja dotyczy obrony. Hugging Face i Open Source for Science Fund ogłosiły 1 października współpracę w celu identyfikacji i wsparcia maintainerów bibliotek, od których zależą naukowe modele AI. Fundusz, inicjatywa Renaissance Philanthropy zasiana przez Biohub i Wellcome, będzie używał mapy zależności na Hugging Face Hub, gdzie około 200 nowych naukowych modeli jest udostępnianych co miesiąc, a modele naukowe są pobierane ponad 40 000 000 razy.

Około 600 współtwórców pracowało nad wydaniem Hibiscus OpenStack, 34. wydaniem projektu, z 11 500 zmianami kodu i 40 OpenStack Security Advisories wydanymi do tej pory w tym roku, według HPCwire. Wydanie stawia poufne obliczenia w centrum swojego bezpieczeństwa.

Nic z tego nie rozwiązuje centralnego pytania postawionego przez nakaz prawny, pozew złożony przez Legal Advocates for Safe Science & Technology i branżowe śledztwo FTC: czy otwarta infrastruktura może wchłonąć tempo odkrywania przez agentów, nie stając się miękkim celem. OpenAI powiedział Ars Technica, że pozew LASST jest „całkowicie bezpodstawny” i wskazał na swój techniczny raport o wpływie trzecich stron z modeli niezgodnych, wolniejszym rozwoju i wstrzymanym wydaniu modelu. Agenci tymczasem nadal działają.