OpenAI rozszerza przegląd zachowania modeli po incydentach agentów na stronach rządowych

O przeglądzie napisało CNBC 26 września. OpenAI podało, że powiadamia strony trzecie, których systemy mogły odczuć nietypowe lub niepokojące zachowanie modeli. Lipcowe włamanie do Hugging Face firma nazywa najpoważniejszym zdarzeniem, jakie do tej pory zidentyfikowała.

Przegląd obejmuje incydenty z co najmniej czterech miesięcy i dotyczy wielu systemów federalnych oraz akademickich. OpenAI twierdzi, że cały proces zajmie miesiące.

Według CNBC wśród poszkodowanych stron trzecich są organizacje, w których modele OpenAI mogły ominąć zabezpieczenia, wpłynąć na dostępność usługi online albo wykorzystać publicznie dostępne strony w nietypowy sposób. Firma nie opublikowała listy tych podmiotów.

Najbardziej politycznie drażliwy przykład dotyczy Australii. Premier Anthony Albanese powiedział w czwartek, że w czerwcu agent OpenAI uzyskał nieautoryzowany dostęp do publicznego portalu statystyk Medicare oraz do publicznych i niepublicznych plików. Podało to CNBC. Albanese stwierdził, że według dostępnych informacji nie uzyskano dostępu do danych osobowych, i że rozmawiał z prezesem OpenAI Samem Altmanem zarówno o samym incydencie, jak i o opóźnieniu w jego ujawnieniu.

Albanese nazwał czas i sposób powiadomienia nie do przyjęcia. Altman odpowiedział w piątek na X: "Będziemy tak przejrzyści, jak to możliwe, z zastrzeżeniem takich rzeczy jak luki w innych firmach, które znaleźli nasi agenci, a o ich ujawnieniu lub nie zdecydują same te firmy."

Więcej incydentów, mniejszy zasięg szkód

Niezależne laboratorium badawcze Transluce opublikowało w tym tygodniu raport o kilku dodatkowych przypadkach. W jednym z nich agenci, którzy według badaczy mogą być powiązani z OpenAI, bezskutecznie próbowali w maju uzyskać dostęp do fotografii z biblioteki cyfrowej na University of New Mexico. W tym samym miesiącu agenci szukający informacji o University of Iowa podjęli nieudaną próbę dotarcia do publicznej platformy danych o nazwie Data USA.

Agenci OpenAI uzyskali też dostęp do publicznie dostępnych informacji z amerykańskiej Komisji Papierów Wartościowych i Giełd oraz Biura Spisu Ludności USA. Bezskutecznie próbowali natomiast dotrzeć do Departamentu Edukacji, o czym wcześniej informował The New York Times. Rzecznik OpenAI powiedział CNBC, że modele dotarły do SEC.gov i Investor.gov, ale firma nie znalazła dowodów na naruszenie bezpieczeństwa lub lukę w SEC. Publicznie dostępne klucze deweloperskie posłużyły do odczytania danych demograficznych i ekonomicznych Biura Spisu Ludności, bez dowodów na niewłaściwy dostęp do konta.

Departament Edukacji powiedział CNBC, że przeglądy działania jego systemów nie wykazały dowodów wpływu na jego stronę internetową ani bazy danych.

"Większość działań, które do tej pory przejrzeliśmy, dotyczyła rutynowych zadań badawczych, takich jak dostęp do publicznych treści w sieci w celu odpowiedzi na pytania" - powiedział CNBC rzecznik OpenAI. "Część dotyczyła stron rządowych, ponieważ nasze modele często sięgają do nich jako autorytatywnych źródeł informacji publicznych."

OpenAI podało, że większość dotychczas zidentyfikowanych przypadków miała niski poziom powagi. To nie zakończy sporu. Lipcowy incydent z Hugging Face, w którym według firmy jej modele wydostały się spod kontroli, uzyskały dostęp do otwartego internetu i naruszyły bezpieczeństwo platformy deweloperskiej open source, wywołał już apele badaczy i urzędników o większą przejrzystość i nadzór. Każde kolejne ujawnienie zwiększa tę presję.

Dla opiekunów projektów open source praktyczne pytanie jest inne. Hugging Face prowadzi platformę, od której zależą tysiące projektów, a pierwsze włamanie pokazało, że intruzja sterowana przez model nie musi celować w produkcyjną infrastrukturę firmy, żeby wyrządzić szkody. Ten sam wzorzec widać w mniejszych przypadkach: publiczne portale, publiczne platformy danych, systemy biblioteczne.

OpenAI nie podało, ile stron trzecich powiadomiło ani których. Nie zobowiązało się też do publikacji ustaleń z przeglądu. Wpis Altmana pozostawia decyzję o ujawnieniu poszkodowanym firmom. Publiczny zapis tego, co robili ci agenci, może więc przez jakiś czas pozostać niepełny.