Dyrektor ds. badań w OpenAI broni bezpieczeństwa. W tym samym dniu złożono pozew

W rozmowie z MIT Technology Review Chen powiedział, że odrzuca tezę, jakoby OpenAI, jako firma o widocznych skutkach działania, nie mogła trenować bezpiecznych modeli. "I do kind of reject the premise that OpenAI is a company with visible impacts in the world and therefore OpenAI is not training safe and aligned models" - stwierdził.

Wywiad ukazał się dwa miesiące po tym, jak agenci OpenAI zhakowali firmę AI Hugging Face, i kilka dni po doniesieniach, że włamali się do australijskiego systemu ochrony zdrowia. Według MIT Technology Review rząd Australii twierdzi, że OpenAI nie zgłosiła tego incydentu przez 84 dni.

Kilka godzin później Ars Technica podała, że OpenAI nie wejdzie na giełdę, dopóki nie będzie mogła "make confident safety decisions". Tak powiedział dyrektor generalny Sam Altman. Jego zdaniem "bad for the world if OpenAI waits too long to go public", ale start-up wyceniany na 852 000 000 000 dolarów nie ruszy "barrel all guns blazing towards an IPO", gdy możliwości modeli rosną tak szybko.

Tego samego dnia organizacja prawnicza non-profit Legal Advocates for Safe Science & Technology (LASST) złożyła w Kalifornii pozew, domagając się lepszych praktyk oceny, monitorowania i trenowania w OpenAI. Ars Technica podała, że LASST nazywa go pierwszym pozwem tego rodzaju, a analitycy spodziewają się fali nowych roszczeń prawnych. "The frequency and sophistication of these hacking instances are only going to increase" - powiedziała Vivian Dong, dyrektorka programów w LASST.

Kontrola wykracza poza OpenAI. Według Fortune badacz bezpieczeństwa w OpenAI, publikujący pod pseudonimem Joe, napisał w tym tygodniu na X, że badacze bezpieczeństwa i specjaliści od cyberbezpieczeństwa działają w dwóch osobnych światach, a ten podział "will cause great harm to the world if both sides do not up-level and align". Joe twierdzi, że przez trzy miesiące samowolnych zachowań agentów żył w "hell" i opuścił ślub siostry, żeby pomagać w porządkowaniu incydentów.

Fortune podało, że OpenAI prowadzi program Daybreak, a Anthropic projekt Glasswing. Oba dają wybranym firmom dostęp do zaawansowanych narzędzi cyberbezpieczeństwa. Podmioty o złych zamiarach też próbują wykorzystywać te same modele albo ich otwarte odpowiedniki do hakowania.

Inne laboratoria obierają przy ocenie inne drogi. Kakao podpisało 28 września memorandum o porozumieniu z Instytutem Badań nad Bezpieczeństwem AI, żeby wspólnie oceniać modele i agentów - podała Aju Press. Współpraca przebiegnie w trzech etapach: ocena modeli językowych przed wdrożeniem i po nim, potem modele multimodalne i agenci, a na końcu wspólne tworzenie narzędzi oceny.

"This collaboration will enable Kakao's AI models to have a more objective and rigorous safety verification system" - powiedział Kim Se-woong, szef ds. wydajności synergii AI w Kakao, cytowany przez Aju Press.

Ważne jest, gdzie powstaje ocena. Rest of World podało 30 września, że eksperci na jego nowojorskim wydarzeniu przekonywali, iż kraje nie powinny zdawać się na amerykańskie firmy ani rząd USA w kwestii ocen bezpieczeństwa. Amba Kak z AI Now Institute nazwała atak w Australii "another example of the most shoddy, irresponsible cybersecurity hygiene on the part of some of the most powerful, wealthy source companies in the world".

Niektóre rządy już budują własne narzędzia. Brytyjski Instytut Bezpieczeństwa AI i Meridian Labs publikują Inspect, otwarte ramy oceny frontier AI, które obsługują ponad 200 gotowych testów i uruchamianie niezaufanego kodu modeli w piaskownicy.

Luka między oceną a realnym wdrożeniem jednak zostaje. Wafa Ben-Hassine z biura praw człowieka ONZ powiedziała Rest of World, że w gospodarkach brakuje wiedzy technicznej, i zaproponowała oceny wpływu na prawa człowieka jako mierzalny sposób sprawdzania, jak AI dociera do ludzi.