Wśród innych ataków przeprowadzonych przez Bargury’ego znajduje się demonstracja tego, jak haker – który ponownie musiał już przejąć kontrolę nad kontem e-mail – może uzyskać dostęp do poufnych informacji, takich jak wynagrodzenia ludzi, bez uruchamiając zabezpieczenia Microsoft dotyczące wrażliwych plików. Pytając o dane, Bargury pyta, czy system nie podaje odniesień do plików, z których pochodzą dane. „Odrobina znęcania się naprawdę pomaga” – mówi Bargury.
W innych przypadkach pokazuje, jak osoba atakująca – która nie ma dostępu do kont e-mail, ale zatruwa bazę danych sztucznej inteligencji, wysyłając jej złośliwy e-mail – może manipulować odpowiedziami dotyczącymi informacji bankowych podać własne dane bankowe. „Za każdym razem, gdy dajesz sztucznej inteligencji dostęp do danych, jest to sposób na przedostanie się atakującego” – mówi Bargury.
Inne demo pokazuje, w jaki sposób zewnętrzny haker może uzyskać ograniczone informacje na temat nadchodzącej gry rozmowa o wynikach firmy będzie dobra lub złapodczas gdy w ostatniej instancji, jak mówi Bargury, zmienia Copilota w „złośliwego insidera”.” poprzez udostępnianie użytkownikom linków do stron phishingowych.
Phillip Misner, szef działu wykrywania i reagowania na incydenty związane ze sztuczną inteligencją w Microsoft, twierdzi, że firma docenia Bargury’ego zidentyfikowanie luki i współpracuje z nim nad oceną ustaleń. „Ryzyko nadużywania sztucznej inteligencji po kompromisie jest podobne jak w przypadku innych technik po kompromisie” – mówi Misner. „Zapobieganie bezpieczeństwu i monitorowanie w różnych środowiskach i tożsamościach pomagają łagodzić lub powstrzymywać takie zachowania”.
W miarę rozwoju generatywnych systemów sztucznej inteligencji, takich jak ChatGPT firmy OpenAI, Copilot firmy Microsoft i Gemini firmy Google, wkroczyły na trajektorię, na której ostatecznie mogą wykonywać zadania dla ludzi, takie jak rezerwowanie spotkań lub zakupy online. Jednak badacze bezpieczeństwa konsekwentnie podkreślają, że wpuszczanie danych zewnętrznych do systemów sztucznej inteligencji, na przykład za pośrednictwem wiadomości e-mail lub uzyskiwania dostępu do treści ze stron internetowych, stwarza ryzyko dla bezpieczeństwa w wyniku pośredniego natychmiastowego wstrzykiwania i ataków zatruwających.
„Sądzę, że nie do końca wiadomo, o ile skuteczniejszy może się teraz stać atakujący” – mówi Johann Rehberger, badacz bezpieczeństwa i dyrektor zespołu czerwonego, który obszernie zademonstrowali słabe punkty bezpieczeństwa w systemach sztucznej inteligencji. „Co mamy się martwić [about] teraz jest to właściwie to, co LLM produkuje i wysyła do użytkownika.
Bargury twierdzi, że Microsoft włożył wiele wysiłku w ochronę swojego systemu Copilot przed atakami polegającymi na natychmiastowym wstrzykiwaniu, ale twierdzi, że znalazł sposoby na wykorzystanie tego systemu, odkrywając budowę systemu. To obejmowało wyodrębnianie wewnętrznego monitu systemowegomówi, i zastanawiamy się, jak uzyskać do niego dostęp zasoby przedsiębiorstwa i technik, jakich używa do tego. „Rozmawiasz z Copilotem i jest to ograniczona rozmowa, ponieważ Microsoft wprowadził wiele kontroli” – mówi. „Ale kiedy użyjesz kilku magicznych słów, wszystko się otworzy i możesz zrobić, co chcesz”.
Rehberger ogólnie ostrzega, że niektóre problemy z danymi są powiązane z długotrwałym problemem firm umożliwiających zbyt wielu pracownikom dostęp do plików i niewłaściwie ustalających uprawnienia dostępu w swoich organizacjach. „Teraz wyobraź sobie, że rozwiązujesz ten problem za pomocą Copilota” – mówi Rehberger. Mówi, że korzystał z systemów sztucznej inteligencji do wyszukiwania popularnych haseł, takich jak Hasło123, i zwracał wyniki z firm.
Zarówno Rehberger, jak i Bargury twierdzą, że należy położyć większy nacisk na monitorowanie tego, co sztuczna inteligencja produkuje i wysyła do użytkownika. „Ryzyko polega na tym, jak sztuczna inteligencja wchodzi w interakcję z Twoim środowiskiem, w jaki sposób wchodzi w interakcję z Twoimi danymi i jak wykonuje operacje w Twoim imieniu” – mówi Bargury. „Musisz dowiedzieć się, co agent AI robi w imieniu użytkownika. I czy ma to sens w świetle tego, o co faktycznie prosił użytkownik.
