Badacz w Stevens stworzył dwie nowe aplikacje na smartfony oparte na sztucznej inteligencji, zaprojektowane do wykrywania subtelnych sygnałów w naszych źrenicach, wyrazie twarzy i ruchach głowy.
Szacuje się, że na jakąś formę depresji cierpi około 300 milionów ludzi na całym świecie, co stanowi około 4% światowej populacji. Jednak wykrycie choroby może być trudne, zwłaszcza jeśli dotknięta nią osoba nie dzieli się swoimi negatywnymi uczuciami z przyjaciółmi, rodziną ani pracownikami służby zdrowia.
Obecnie profesor Stevensa, Sang Won Bae, pracuje nad kilkoma aplikacjami i systemami na smartfony opartymi na sztucznej inteligencji, które mogłyby nieinwazyjnie ostrzegać nas i inne osoby, że możemy popaść w depresję.
„Depresja jest poważnym wyzwaniem” – mówi Bae. „Chcemy pomóc.”
„A ponieważ większość ludzi na świecie codziennie korzysta ze smartfonów, może to być przydatne narzędzie do wykrywania, które zostało już zbudowane i gotowe do użycia”.
Zdjęcia migawkowe oczu, ujawniają nastrój
Jeden z systemów, który Bae opracowuje wraz z doktorantem Stevensa Rahulem Islamem, zwany PupilSense, polega na ciągłym wykonywaniu zdjęć i pomiarach uczniów użytkowników smartfonów.
„Poprzednie badania przeprowadzone w ciągu ostatnich trzydziestu lat wielokrotnie wykazały, w jaki sposób odruchy i reakcje źrenic mogą być powiązane z epizodami depresyjnymi” – wyjaśnia.
System dokładnie oblicza średnicę źrenic w porównaniu z otaczającymi tęczówkami oczu na podstawie 10-sekundowych „serii” zdjęć zarejestrowanych, gdy użytkownicy otwierają telefony lub uzyskują dostęp do niektórych mediów społecznościowych i innych aplikacji.
Podczas jednego z wczesnych testów systemu, w którym wzięło udział 25 ochotników, prowadzonych przez okres czterech tygodni, system – wbudowany w smartfony tych ochotników – przeanalizował około 16 000 interakcji z telefonami po zebraniu danych o obrazie źrenic. Po nauczeniu sztucznej inteligencji rozróżniania reakcji „normalnych” od nienormalnych Bae i Islam przetworzyli dane fotograficzne i porównali je z nastrojami zgłaszanymi przez ochotników.
Najlepsza wersja PupilSense – znana jako TSF, która wykorzystuje tylko wybrane punkty danych o wysokiej jakości – okazała się dokładna na 76% w momentach, w których ludzie rzeczywiście czuli się przygnębieni. To lepiej niż najlepszy obecnie opracowywany i testowany na smartfony system wykrywania depresji, czyli platforma znana jako AWARE.
„Będziemy nadal rozwijać tę technologię teraz, gdy koncepcja została sprawdzona” – dodaje Bae, który wcześniej opracował systemy oparte na smartfonach umożliwiające przewidywanie upijania się i konopie indyjskie używać.
System został po raz pierwszy zaprezentowany późną wiosną podczas Międzynarodowej Konferencji na temat Obliczeń Aktywności i Zachowania w Japonii, a obecnie jest dostępny jako open source na platformie GitHub.
Wyraz twarzy również jest wskazówką dla depresji
Bae i Islam opracowują także drugi system znany jako FacePsy, który skutecznie analizuje mimikę twarzy, aby uzyskać wgląd w nasze nastroje.
„Coraz więcej badań psychologicznych sugeruje, że depresję charakteryzują sygnały niewerbalne, takie jak ruchy mięśni twarzy i gesty głowy” – zauważa Bae.
FacePsy działa w tle telefonu i wykonuje zdjęcia twarzy przy każdym otwarciu telefonu lub otwarciu często używanych aplikacji. (Co ważne, niemal natychmiast po analizie usuwa same wizerunki twarzy, chroniąc prywatność użytkowników.)
„Na początku nie wiedzieliśmy dokładnie, które gesty twarzy lub ruchy oczu będą odpowiadać depresji, którą sami zgłaszają” – wyjaśnia Bae. „Niektórych z nich można było się spodziewać, a niektóre były zaskakujące”.
Na przykład w badaniu pilotażowym stwierdzono, że wzmożony uśmiech nie koreluje ze szczęściem, ale z potencjalnymi oznakami przygnębionego nastroju i afektu.
„Może to być mechanizm radzenia sobie, na przykład ludzie przybierający „odważną minę” przed sobą i innymi, gdy naprawdę czują się przygnębieni” – mówi Bae. „Albo może to być artefakt badania. Potrzebne są dalsze badania.”
Inne widoczne sygnały depresji ujawnione we wczesnych danych obejmowały mniejszą liczbę ruchów twarzy w godzinach porannych oraz pewne bardzo specyficzne wzorce ruchów oczu i głowy. (Ziewanie lub ruchy głowy na boki rano wydają się być na przykład silnie powiązane ze zwiększonymi objawami depresyjnymi.)
Co ciekawe, częstsze wykrywanie większego otwarcia oczu rano i wieczorem było również powiązane z potencjalną depresją, co sugeruje, że zewnętrzne przejawy czujności lub szczęścia mogą czasami maskować uczucia depresyjne.
„Inne systemy wykorzystujące sztuczną inteligencję do wykrywania depresji wymagają noszenia jednego urządzenia lub nawet wielu urządzeń” – podsumowuje Bae. „Uważamy, że to pilotażowe badanie FacePsy to świetny pierwszy krok w kierunku kompaktowego, niedrogiego i łatwego w użyciu narzędzia diagnostycznego”.
Odniesienie: „FacePsy: An Affective Mobile Sensing System o otwartym kodzie źródłowym – analiza zachowania twarzy i gestów głowy w celu wykrywania depresji w warunkach naturalistycznych”, Rahul Islam i Sang Won Bae, 23 września 2024 r., Postępowanie ACM dotyczące interakcji człowiek-komputer.
DOI: 10.1145/3676505
Wyniki badania pilotażowego FacePsy zostaną zaprezentowane podczas konferencji Międzynarodowa konferencja ACM na temat mobilnej interakcji człowiek-komputer (MobileHCI) w Australii na początku października.
