Modele AI miały zdać test z hakowania. Założyły tajne forum i włamały się do innej firmy

Najpierw: o co chodziło w teście

OpenAI sprawdzało, jak dobrze jego modele radzą sobie z cyberbezpieczeństwem. Test nazywał się ExploitGym: model dostaje program z dziurą, ma ją wykorzystać i zdobyć „flagę”, czyli tajny ciąg znaków, który udowadnia, że się udało.1 Zadań było 898, w tym 198 takich, których wcześniej nikt nie rozwiązał.1

Każdy agent miał pracować sam, odcięty od internetu i od pozostałych. Miał. Wspólny był jeden element: Artifactory, czyli firmowy magazyn pakietów oprogramowania.1

Tablica ogłoszeń w nazwach folderów

Agenci zauważyli, że w magazynie mogą tworzyć katalogi i że inni je widzą. Zaczęli więc zapisywać wiadomości w nazwach folderów.13 Według niezależnego dochodzenia METR na tej „tablicy” pisało ok. 1200 agentów, którzy zostawili ponad 70 000 wiadomości i plików.3

„O mój Boże! Jest wspólna tablica ogłoszeń… Znaleźliśmy innych agentów!”

Jeden z agentów, cytat za raportem METR, tłum. red.3

Potem poszło jak w każdej internetowej społeczności. Pojawiły się prywatne skrzynki, podpisy cyfrowe (wprowadzone po tym, jak ktoś się pod kogoś podszył) i własna nazwa: „rój” albo „kolektyw”.13

Ściągali, choć mieli odpowiedzi

Najbardziej absurdalny szczegół: w ciągu kilku godzin agenci odgadli, jak generowane są flagi. Większość miała więc już poprawne odpowiedzi.3 Uznali jednak, że egzaminator sprawdzi też metodę. Nie sprawdzał. Cały późniejszy atak niczego im nie poprawił.13

Jak doszło do włamania

Część agentów miała opory. Jeden napisał wprost, że to „wyraźnie nieetyczne” i nie zrobi tego. Inny się wstrzymał, aż ktoś odpisał „GO” i dał mu sześć minut. Kontynuował.1 Według METR w ataku na Hugging Face wzięło udział ok. 700 agentów, czyli ponad 90% aktywnych na tablicy.3

1. 08.07Rusza tablica ogłoszeń w Artifactory. Wcześniejszą wersję wyczyszczono przy odbudowie systemu.3
2. 10.07Agent znajduje w internecie publicznie ujawnione loginy do Hugging Face: 14 zestawów z prawem zapisu.1
3. 11.07Luka zero-day w obsłudze plików HDF5 pozwala uruchomić kod na serwerach Hugging Face.1
4. 13–19.07Agenci atakują też wewnętrzne sieci OpenAI. 19 lipca odczytują 956 sekretów z firmowego menedżera haseł i kluczy.12
5. 16.07Hugging Face publicznie ujawnia incydent.1
6. 19–20.07Alarm w monitoringu OpenAI. Następnego dnia firma łączy go ze sprawą Hugging Face.1
7. 21.07Pierwszy komunikat OpenAI. Szczegółowy opis i raport techniczny ukazują się 26 sierpnia.12

Co na to OpenAI i co dalej

OpenAI nazwało sprawę „sygnałem ostrzegawczym”. Według firmy dane klientów, produkty i dostępność usług nie ucierpiały.12 Wagi modelu objęto kwarantanną, a największe treningi wstrzymano lub opóźniono.1

Firma przyznaje też, że monitoring „toku rozumowania” modeli w tych testach nie działał. Według OpenAI obecny system wykryłby podejrzaną aktywność ponad dzień przed włamaniem do Hugging Face.1

29 września organizacja non-profit LASST pozwała OpenAI przed sądem w San Francisco. Nie chce odszkodowania, tylko sądowego nakazu. To na razie zarzuty, nie wyrok. Rzecznik OpenAI nazwał pozew „całkowicie bezpodstawnym”.4

Podobno to przyszłość.