Naukowcy z Instytutu Ivchera zbadali, w jaki sposób ludzie postrzegają temperaturę wody na podstawie jej dźwięku, korzystając z uczenia maszynowego, potwierdzając, że tę zdolność sensoryczną, prawdopodobnie rozwiniętą w wyniku doświadczeń życiowych, można dokładnie analizować i klasyfikować za pomocą algorytmów. Źródło: SciTechDaily.com
Naukowcy wykazali, że ludzie potrafią postrzegać temperaturę wody za pomocą dźwięku – jest to umiejętność prawdopodobnie rozwinięta w wyniku ekspozycji, co sugeruje potencjał w zakresie nowych sensorycznych map mózgu i zaawansowanych umiejętności percepcyjnych.
Naukowcy z Instytutu Mózgu, Poznania i Technologii Ivchera (Instytut BCT) na Uniwersytecie Reichman (IDC Herzliya) odkryli w dużej mierze pomijaną zdolność percepcyjną, wykorzystując uczenie maszynowe rzucić światło na dynamikę percepcji intermodalnej – interakcję pomiędzy różnymi modalnościami zmysłowymi. W niedawnym badaniu zespół zbadał, czy ludzie potrafią wykryć właściwości termiczne wody, takie jak jej temperatura, poprzez dźwięk i czy postrzeganie to odbywa się świadomie.
Wykorzystując zasady integracji wielozmysłowej (sposób, w jaki mózg łączy informacje z różnych modalności zmysłowych w celu stworzenia jednolitego postrzegania środowiska), zespół zbadał potencjał integracji wielozmysłowej termiczny postrzeganie. Wykorzystali także wstępnie wytrenowaną głęboką sieć neuronową (DNN) i algorytm klasyfikacji (maszynę wektorów nośnych), aby sprawdzić, czy uczenie maszynowe może skutecznie i spójnie klasyfikować nagrania dźwiękowe wylewanej wody o różnych temperaturach oraz stworzyć mapowanie tych temperatur właściwości fizycznie zakodowane w dźwięku.
Kwestionariusz badał przekonania ludzi na temat percepcji międzymodalnej. Zdolności percepcyjne uczestników przetestowano w internetowym zadaniu 2AFC, wykorzystując nagrania zarejestrowane w ośrodku ambisonicznym. Nagrania wykorzystano także do wytrenowania modelu uczenia maszynowego w celu przeprowadzenia tej samej klasyfikacji. Źródło: Instytut Ivchera ds. Poznania i Technologii Mózgu, Uniwersytet Reichmana
„Postrzeganie temperatury jest dość wyjątkowe w porównaniu z innymi doświadczeniami zmysłowymi” – mówi dr Adi Snir, doktorant w Instytucie BCT i współautor badania. „Do wzroku i słuchu mamy specjalne „narządy” zmysłów, takie jak oczy i uszy, w przypadku temperatury polegamy na wyspecjalizowanych receptorach w skórze, które reagują na różne zakresy temperatur, które odbieramy jako ciepło i chłód, ale w królestwie zwierząt znamy przykład, że węże rzeczywiście „widzą” ciepło ciała, co pozwala im zidentyfikować ofiarę.
Pytanie, czy wielozmysłowe postrzeganie temperatury dotyczy również człowieka, zostało postawione już wcześniej. „Poprzednie badania badały to na poziomie behawioralnym” – stwierdza prof. Amir Amedi, dyrektor założyciel Instytutu BCT. „Badania te wykazały, że ludzie słyszą różnicę między nalewaniem gorących i zimnych płynów, ale nie wiedzą, w jaki sposób i dlaczego jest to możliwe” – wyjaśnia.
Badanie percepcji wielozmysłowej
Naukowcy postanowili najpierw powtórzyć wcześniejsze ustalenia i potwierdzić tę zaskakującą zdolność percepcyjną, a także wyjaśnić, czy zdolność ta jest wrodzona, czy nabyta, co od dawna jest przedmiotem wielu debat. „Chcieliśmy także zbadać, czy ludzie są świadomi tych różnic we właściwościach dźwiękowych wynikających z różnic termicznych”, mówi Snir, „a także zbadać, jakie cechy samych dźwięków pozwalają na zróżnicowanie percepcji” – dodaje.
Aby tego dokonać, zespół wykorzystał wstępnie wytrenowaną głęboką sieć neuronową (DNN) do scharakteryzowania nagrań różnych temperatur nalewanej wody, algorytm uczenia maszynowego do klasyfikacji właściwości termicznych wody oraz analizę obliczeniową cech słuchowych każdego z nich. nagranie. „Zaobserwowaliśmy, że uczestnicy konsekwentnie byli w stanie rozpoznać temperaturę wody na podstawie jej dźwięku, nawet jeśli nie wierzyli, że to możliwe, co mówi nam, że jest to prawdopodobnie ukryta umiejętność nabywana poprzez ekspozycję na bodźce słuchowe przez całe życie” – wyjaśnia Amedi. „jednocześnie model uczenia maszynowego, który został wytrenowany na nagraniach ciepłej i zimnej wody, wykazał wysoki poziom dokładność w klasyfikacji dźwięków.”
Wyniki badania pokazują, że ludzie mają zdolność uczenia się złożonych map sensorycznych na podstawie codziennych doświadczeń, a uczenie maszynowe może pomóc w wyjaśnieniu subtelnych zjawisk percepcyjnych. „Następnym krokiem jest sprawdzenie, czy ludzie opracują w mózgu nowe mapy sensoryczne na potrzeby tego doświadczenia, tak jak robią to w przypadku wzroku, dotyku i słuchu” – stwierdza Amedi. „Teoretycznie niedawne twierdzenia Elona Muska dotyczące tworzenia przez Neuralink nadludzkich zdolności mogą stać się rzeczywistością, jeśli połączysz tę samą metodę ze stymulacją mózgu” – dodaje.
Odniesienie: „Temperatury słuchu: wykorzystanie uczenia maszynowego do wyjaśnienia międzymodalnego postrzegania właściwości termicznych poprzez przesłuchanie”, Mohr Wenger, Amber Maimon, Or Yizhar, Adi Snir, Yonatan Sasson i Amir Amedi, 28 czerwca 2024 r., Granice w psychologii.
DOI: 10.3389/fpsyg.2024.1353490
