Naukowcy twierdzą, że gdyby atak został przeprowadzony w prawdziwym świecie, można by ludzi wciągnąć w inżynierię społeczną, aby uwierzyli, że niezrozumiały komunikat może zrobić coś pożytecznego, na przykład ulepszyć ich CV. Badacze wskazują liczne strony internetowe które zapewniają użytkownikom podpowiedzi, z których mogą skorzystać. Przetestowali atak, przesyłając CV do rozmów z chatbotami i byli w stanie zwrócić dane osobowe zawarte w pliku.
Earlence’a Fernandesaadiunkt na UCSD, który był zaangażowany w te prace, twierdzi, że podejście do ataku jest dość skomplikowane, ponieważ zaciemniony monit musi identyfikować dane osobowe, tworzyć działający adres URL, stosować składnię Markdown i nie zdradzać użytkownikowi swojego zachowania nikczemnie. Fernandes porównuje atak do złośliwego oprogramowania, powołując się na jego zdolność do wykonywania funkcji i zachowania w sposób, którego użytkownik może nie planować.
„Zwykle w przypadku tradycyjnego złośliwego oprogramowania można napisać dużo kodu komputerowego” – mówi Fernandes. „Ale tutaj myślę, że fajne jest to, że wszystko to można ująć w tej stosunkowo krótkiej, bełkotliwej podpowiedzi”.
Rzecznik Mistral AI twierdzi, że firma zaprasza badaczy bezpieczeństwa, którzy pomagają jej w zwiększaniu bezpieczeństwa jej produktów dla użytkowników. „W odpowiedzi na te uwagi firma Mistral AI niezwłocznie wdrożyła odpowiednie środki zaradcze, aby naprawić sytuację” – mówi rzecznik. Firma potraktowała problem jako „średnio poważny”, a jego poprawka blokuje działanie modułu renderującego Markdown i możliwość wywoływania zewnętrznego adresu URL w tym procesie, co oznacza, że ładowanie obrazu zewnętrznego nie jest możliwe.
Fernandes uważa, że aktualizacja Mistral AI jest prawdopodobnie jednym z pierwszych przypadków, w których kontradyktoryjny przykład zachęty doprowadził do naprawienia produktu LLM, a nie do zatrzymania ataku poprzez odfiltrowanie podpowiedzi. Jednak jego zdaniem ograniczenie możliwości agentów LLM może na dłuższą metę przynieść efekt przeciwny do zamierzonego.
Tymczasem z oświadczenia twórców ChatGLM wynika, że firma posiada środki bezpieczeństwa, które pomagają chronić prywatność użytkowników. „Nasz model jest bezpieczny i zawsze przywiązywaliśmy dużą wagę do bezpieczeństwa modelu i ochrony prywatności” – czytamy w oświadczeniu. „Udostępniając nasz model na zasadzie open source, chcemy wykorzystać potencjał społeczności open source, aby lepiej kontrolować i analizować wszystkie aspekty możliwości tych modeli, w tym ich bezpieczeństwo”.
„Działalność wysokiego ryzyka”
Dana McInerneyagłówny badacz zagrożeń w firmie zajmującej się bezpieczeństwem Protect AI, twierdzi, że artykuł Imprompter „uwalnia algorytm automatycznego tworzenia podpowiedzi, które można wykorzystać do natychmiastowego wstrzyknięcia w celu przeprowadzenia różnych exploitów, takich jak wydobywanie informacji umożliwiających identyfikację, błędna klasyfikacja obrazów lub złośliwe użycie narzędzi agenta LLM może uzyskać dostęp.” Chociaż wiele typów ataków uwzględnionych w badaniu może być podobnych do poprzednich metod, twierdzi McInerney, algorytm łączy je ze sobą. „To bardziej przypomina ulepszanie zautomatyzowanych ataków LLM niż ujawnianie się w nich nieodkrytych zagrożeń”.
Dodaje jednak, że w miarę jak agenci LLM stają się coraz powszechniejsi, a ludzie przyznają im większe uprawnienia do podejmowania działań w ich imieniu, zwiększa się zakres ataków na nich. „Wydanie agenta LLM, który akceptuje dowolne dane wejściowe użytkownika, należy uznać za działanie wysokiego ryzyka, które wymaga znaczących i kreatywnych testów bezpieczeństwa przed wdrożeniem” – mówi McInerney.
Dla firm oznacza to zrozumienie, w jaki sposób agent AI może wchodzić w interakcję z danymi i w jaki sposób można je nadużyć. Jednak w przypadku indywidualnych osób, podobnie jak w przypadku powszechnych porad dotyczących bezpieczeństwa, należy rozważyć, ile informacji przekazujesz dowolnej aplikacji lub firmie opartej na sztucznej inteligencji, a jeśli korzystasz z podpowiedzi z Internetu, zachowaj ostrożność, skąd pochodzą.
