Atak GAZEploit składa się z dwóch części, mówi Zhan, jeden z głównych badaczy. Po pierwsze, badacze opracowali sposób rozpoznawania, kiedy osoba nosząca Vision Pro pisze, poprzez analizę udostępnianego przez nią awatara 3D. W tym celu wytrenowali rekurencyjną sieć neuronową, rodzaj modelu głębokiego uczenia się, z nagraniami awatarów 30 osób wykonujących różne zadania na klawiaturze.
Gdy ktoś pisze przy użyciu Vision Pro, jego wzrok utrwala na klawiszu, który najprawdopodobniej wcisną – twierdzą naukowcy – wcześniej poruszający do następnego klawisza. „Kiedy piszemy, w naszym spojrzeniu pojawiają się pewne regularne wzorce” – mówi Zhan.
Wang twierdzi, że te wzorce występują częściej podczas pisania, niż gdy ktoś przegląda stronę internetową lub ogląda wideo, mając na sobie zestaw słuchawkowy. „Podczas zadań takich jak pisanie na klawiaturze częstotliwość mrugania zmniejsza się, ponieważ jesteś bardziej skupiony” – mówi Wang. W skrócie: patrzenie na klawiaturę QWERTY i poruszanie się między literami to dość charakterystyczne zachowanie.
Druga część badań, wyjaśnia Zhan, wykorzystuje obliczenia geometryczne, aby ustalić, gdzie ktoś umieścił klawiaturę i jaki jej rozmiar. „Jedynym wymaganiem jest to, że jeśli otrzymamy wystarczającą ilość informacji o spojrzeniu, która pozwala dokładnie odzyskać klawiaturę, możliwe będzie wykrycie wszystkich kolejnych naciśnięć klawiszy”.
Łącząc te dwa elementy, udało im się przewidzieć, jakie klawisze ktoś najprawdopodobniej będzie wpisywał. Seria testów laboratoryjnych wykazała, że nie mieli żadnej wiedzy na temat zwyczajów ofiary, szybkości pisania ani miejsca, w którym znajdowała się klawiatura. Jednak badacze byli w stanie przewidzieć, jakie litery zostaną wpisane, w maksymalnie pięciu odgadnięciach, z dokładnością w przypadku wiadomości wynoszącą 92,1%, w przypadku haseł w 77% przypadków, w przypadku kodów PIN w 73% i w przypadku e-maili i adresów URL w 86,1% przypadków. i strony internetowe. (Na pierwszy rzut oka litery będą prawidłowe w 35–59% przypadków, w zależności od rodzaju informacji, jakie próbowali uzyskać). Powielone litery i literówki stanowią dodatkowe wyzwanie.
„Wiedza, gdzie ktoś patrzy, bardzo pomaga” – mówi Alexandra Papoutsaki, profesor informatyki w Pomona College, która ma przez lata zajmował się śledzeniem wzroku i dokonał przeglądu badań GAZEploit dla WIRED.
Papoutsaki twierdzi, że praca wyróżnia się tym, że opiera się wyłącznie na przekazie wideo czyjejś Persony, co czyni ją bardziej „realistyczną” przestrzenią do przeprowadzenia ataku w porównaniu z sytuacją, w której haker ma do czynienia z czyimś zestawem słuchawkowym i próbuje uzyskać dostęp do danych śledzenia wzroku . „Fakt, że teraz ktoś, po prostu przesyłając strumieniowo swoją Personę, może potencjalnie ujawnić to, co robi, powoduje, że luka staje się znacznie bardziej krytyczna” – mówi Papoutsaki.
Chociaż atak został przeprowadzony w warunkach laboratoryjnych i nie został wykorzystany przeciwko nikomu korzystającemu z Personas w prawdziwym świecie, badacze twierdzą, że hakerzy mogą nadużyć w wyniku wycieku danych. Mówią, że przynajmniej teoretycznie przestępca może udostępnić ofierze plik podczas rozmowy na Zoomie, w wyniku czego może ona zalogować się na przykład na konto Google lub Microsoft. Osoba atakująca może następnie zarejestrować Personę, gdy cel loguje się, i zastosować metodę ataku w celu odzyskania hasła i uzyskania dostępu do konta.
Szybkie poprawki
Badacze z GAZEpolit przekazali Apple swoje ustalenia w kwietniu, a następnie przesłali firmie kod potwierdzający koncepcję, aby można było powtórzyć atak. Apple naprawiło błąd w aktualizacji oprogramowania Vision Pro z końca lipca, który uniemożliwiał udostępnianie Persony, jeśli ktoś korzystał z wirtualnej klawiatury.
Rzecznik Apple potwierdził, że firma naprawiła lukę, twierdząc, że została ona usunięta w wersji VisionOS 1.3. Notatki dotyczące aktualizacji oprogramowania firmy nie wspominaj o naprawie. Badacze twierdzą, że Apple przypisał tę lukę CVE-2024-40865 i zalecają pobieranie najnowszych aktualizacji oprogramowania.
