Uniwersytet Kalifornijski w Davis Health opracował przełomowy interfejs mózg-komputer (BCI), który umożliwia skuteczną komunikację osobom z zaburzeniami mowy, zwłaszcza cierpiącym na ALS.
Ten innowacyjny system przekłada sygnały mózgowe na mowę z szybkością do 97% dokładnośćco stanowi znaczący przełom w neuroprotetyce. Uczestnik badań klinicznych, Casey Harrell, chory na ALS, z powodzeniem użył urządzenia, aby odzyskać zdolność komunikowania się. Technologia wykorzystująca układy mikroelektrod wszczepionych do mózgu wykazała niezwykłe rezultaty w dekodowaniu mowy w czasie rzeczywistym, dając nadzieję i wzmocnienie tym, którzy utracili zdolność mówienia.
Rewolucyjny interfejs mózg-komputer umożliwia komunikację
Nowy interfejs mózg-komputer (BCI) opracowany na Uniwersytecie Kalifornijskim w Davis Health przekłada sygnały mózgowe na mowę z dokładnością do 97% — jest to najdokładniejszy system tego rodzaju.
Naukowcy wszczepili czujniki do mózgu mężczyzny z poważnymi zaburzeniami mowy spowodowanymi stwardnieniem zanikowym bocznym (ALS). Mężczyzna był w stanie przekazać zamierzoną mowę w ciągu kilku minut od aktywacji systemu.
Opracowanie na temat tej pracy zostało opublikowane dzisiaj (14 sierpnia) w czasopiśmie „ New England Journal of Medicine.
Zrozumienie ALS i jego wpływu na mowę
ALS, znane również jako choroba Lou Gehriga, wpływa na komórki nerwowe kontrolujące ruch w całym ciele. Choroba prowadzi do stopniowej utraty możliwości stania, chodzenia i używania rąk. Może również spowodować utratę kontroli nad mięśniami używanymi do mówienia, co prowadzi do utraty zrozumiałej mowy.
Najnowocześniejsza technologia przywraca komunikację
Nowa technologia jest opracowywana w celu przywrócenia komunikacji osobom, które nie mogą mówić z powodu paraliżu lub schorzeń neurologicznych, takich jak ALS. Potrafi interpretować sygnały mózgowe, gdy użytkownik próbuje mówić, i zamienia je na tekst, który jest „wypowiadany” na głos przez komputer.
„Nasza technologia BCI pomogła sparaliżowanemu mężczyźnie komunikować się z przyjaciółmi, rodziną i opiekunami” – powiedział neurochirurg z UC Davis, David Brandman. „Nasz artykuł przedstawia najdokładniejszą neuroprotezę mowy (urządzenie), jaką kiedykolwiek opracowano”.
Brandman jest współgłównym badaczem i współautorem tego badania. Jest adiunktem na Wydziale Chirurgii Neurologicznej Uniwersytetu Kalifornijskiego w Davis i współdyrektorem Laboratorium Neuroprotetyki Uniwersytetu Kalifornijskiego w Davis.
Jak działa urządzenie BCI
Kiedy ktoś próbuje mówić, nowe urządzenie BCI przekształca aktywność jego mózgu w tekst wyświetlany na ekranie komputera. Komputer może następnie przeczytać tekst na głos.
Aby opracować system, zespół włączył Caseya Harrella, 45-letniego mężczyznę chorego na stwardnienie zanikowe boczne, do badania klinicznego BrainGate. W momencie zapisania się do badania Harrell miał osłabienie rąk i nóg (tetrapareza). Jego mowa była bardzo trudna do zrozumienia (dyzartria) i poprosił innych o pomoc w tłumaczeniu.
W lipcu 2023 r. Brandman wszczepił eksperymentalne urządzenie BCI. Umieścił cztery układy mikroelektrod w lewym zakręcie przedśrodkowym, obszarze mózgu odpowiedzialnym za koordynację mowy. Tablice zaprojektowano do rejestrowania aktywności mózgu za pomocą 256 elektrod korowych.
„Naprawdę wykrywamy ich próby poruszania mięśniami i mówienia” – wyjaśnił neurobiolog Siergiej Stavisky. Stavisky jest adiunktem w Katedrze Chirurgii Neurologicznej. Jest współdyrektorem Laboratorium Neuroprotetyki na Uniwersytecie Kalifornijskim w Davis i jednym z głównych badaczy badania. „Nagrywamy z części mózgu, która próbuje wysłać te polecenia do mięśni. Zasadniczo tego słuchamy i tłumaczymy wzorce aktywności mózgu na fonem – na przykład sylabę lub jednostkę mowy – a następnie na słowa, które mózg próbuje wypowiedzieć”.
Szybszy trening, lepsze wyniki
Pomimo niedawnego postępu w technologii BCI wysiłki mające na celu umożliwienie komunikacji były powolne i podatne na błędy. Dzieje się tak, ponieważ działanie programów uczenia maszynowego, które interpretowały sygnały mózgowe, wymagało dużej ilości czasu i danych.
„W poprzednich systemach mowy BCI często pojawiały się błędy słowne. Utrudniało to użytkownikowi spójne zrozumienie i stanowiło barierę w komunikacji” – wyjaśnił Brandman. „Naszym celem było opracowanie systemu, który umożliwiłby zrozumienie, gdy ktoś chciał coś powiedzieć”.
Dekodowanie mowy w czasie rzeczywistym: przełomowe osiągnięcie
Harrell korzystał z systemu zarówno podczas rozmów podpowiadanych, jak i spontanicznych. W obu przypadkach dekodowanie mowy odbywało się w czasie rzeczywistym, w systemie ciągłym aktualizacje, aby zapewnić jego dokładne działanie.
Odszyfrowane słowa zostały pokazane na ekranie. Co zaskakujące, odczytano je na głos głosem, który brzmiał jak głos Harrella, zanim chorował na ALS. Głos skomponowano przy użyciu oprogramowania przeszkolonego na podstawie istniejących próbek dźwiękowych jego głosu przed ALS.
Podczas pierwszej sesji szkoleniowej dotyczącej danych mowy system potrzebował 30 minut, aby osiągnąć 99,6% dokładności słów przy słownictwie składającym się z 50 słów.
„Kiedy po raz pierwszy wypróbowaliśmy system, płakał z radości, gdy na ekranie pojawiały się słowa, które próbował poprawnie wypowiedzieć. Wszyscy to zrobiliśmy” – powiedział Stavisky.
Podczas drugiej sesji wielkość potencjalnego słownictwa wzrosła do 125 000 słów. Dzięki dodatkowym 1,4 godzinom danych szkoleniowych BCI osiągnęło dokładność słów na poziomie 90,2% przy znacznie rozszerzonym słownictwie. Po dalszym gromadzeniu danych BCI zachowało dokładność na poziomie 97,5%.
Transformacyjny wpływ na komunikację dla pacjentów z ALS
„W tym momencie możemy odszyfrować to, co Casey próbuje poprawnie powiedzieć w około 97% przypadków, co jest lepszym wynikiem niż wiele dostępnych na rynku aplikacji na smartfony, które próbują zinterpretować głos danej osoby” – powiedział Brandman. „Ta technologia ma charakter transformacyjny, ponieważ daje nadzieję ludziom, którzy chcą mówić, ale nie mogą. Mam nadzieję, że technologia taka jak to przemówienie BCI pomoże przyszłym pacjentom rozmawiać z rodziną i przyjaciółmi.”
Badanie opisuje 84 sesje gromadzenia danych w ciągu 32 tygodni. W sumie Harrell używał mowy BCI w samodzielnych rozmowach przez ponad 248 godzin, komunikując się osobiście i za pośrednictwem czatu wideo.
Przywracanie godności poprzez komunikację
„Brak możliwości komunikowania się jest frustrujący i demoralizujący. To tak, jakbyś był w pułapce” – powiedział Harrell. „Coś w rodzaju tej technologii pomoże ludziom wrócić do życia i społeczeństwa”.
„To niezwykle satysfakcjonujące widzieć, jak Casey odzyskuje zdolność rozmawiania z rodziną i przyjaciółmi dzięki tej technologii” – powiedział główny autor badania, Nicholas Card. Card jest doktorantem na Wydziale Chirurgii Neurologicznej Uniwersytetu Kalifornijskiego w Davis.
„Casey i pozostali uczestnicy BrainGate są naprawdę niezwykli. Zasługują na ogromne uznanie za przyłączenie się do tych wczesnych badań klinicznych. Robią to nie dlatego, że mają nadzieję zyskać jakiekolwiek osobiste korzyści, ale aby pomóc nam opracować system, który przywróci komunikację i mobilność innym osobom z paraliżem” – powiedział współautor i sponsor badania BrainGate, Leigh Hochberg. Hochberg jest neurologiem i neurobiologiem w Massachusetts General Hospital, Brown University i VA Providence Healthcare System.
Odniesienie: „Dokładna i szybko kalibrująca neuroproteza mowy?” 14 sierpnia 2024, New England Journal of Medicine.
DOI: 10.1056/NEJMoa2314132
Finansowanie: Biuro Zastępcy Sekretarza Obrony ds. Zdrowia, NIH/Narodowy Instytut ds. Głuchoty i Innych Zaburzeń Komunikacyjnych, Fundacja AP Gianniniego, Simons Collaboration for the Global Brain, The Searle Scholar Program, Burroughs Wellcome Fund, Szkoła Davisa na Uniwersytecie Kalifornijskim medycyny, Departament Spraw Weteranów, Instytut Medyczny Howarda Hughesa, Instytut Neuronauki Wu Tsai
