BiomedParse, nowe narzędzie AI opracowane przez Shenga Wanga i współpracowników, ułatwia diagnozowanie chorób ogólnoustrojowych poprzez przetwarzanie różnorodnych obrazów medycznych i obsługę zapytań w prostym języku angielskim.
Sztuczna inteligencja robi szybki postęp w zakresie umiejętności odczytywania obrazów medycznych. Z niedawnego testu przeprowadzonego przez brytyjską państwową służbę zdrowia wynika, że narzędzie AI przeanalizowało mammogramy ponad 10 000 kobiet i prawidłowo zidentyfikował, u których pacjentów stwierdzono raka, a także 11 przypadków przeoczonych przez lekarzy. Większym wyzwaniem dla tych układów są jednak choroby ogólnoustrojowe, takie jak toczeń i cukrzyca, ponieważ ich diagnozowanie często wymaga analizy różnego rodzaju obrazów medycznych, od rezonansu magnetycznego po tomografię komputerową.
Teraz rozwinął się zespół naukowców BiomedParsemodel analizy obrazów medycznych oparty na sztucznej inteligencji, który działa na dziewięciu typach obrazów medycznych, aby lepiej przewidywać choroby ogólnoustrojowe. Specjaliści medyczni mogą ładować obrazy do systemu i zadawać pytania systemowi AI prostym językiem angielskim.
Zespół, w skład którego wchodzą Sheng Wang, a Uniwersytet Waszyngtoński adiunkt w Paul G. Allen School of Computer Science & Engineering, a także współautorzy w Microsoft Research i Providence Genetics and Genomics, opublikowali swoje ustalenia 18 listopada w czasopiśmie Metody natury.
UW News rozmawiało z Wangiem o narzędziu oraz o etyce i obietnicach związanych ze sztuczną inteligencją w opiece zdrowotnej.
Co bada twoje laboratorium?
Sheng Wanga: Koncentrujemy się na multimodalnej, generatywnej sztucznej inteligencji, co oznacza, że pracujemy nad przetwarzaniem wielu rodzajów obrazów medycznych. Poprzednie badania uwzględniały tylko jeden typ obrazu na raz — na przykład obrazy patologiczne w badaniach nad rakiem. Nasze nowe podejście polega na łącznym uwzględnieniu wszystkich rodzajów obrazów w celu przewidywania chorób ogólnoustrojowych. Choroba taka jak cukrzyca może ujawnić się na całym ciele – w oczach, zębach, nerkach i tak dalej. Jeśli masz tylko model, który może patrzeć na obrazy oczu, może przeoczyć informacje o chorobach ogólnoustrojowych.
Właśnie opublikowałeś artykuł z udziałem badaczy z Microsoft i Providence Genomics, którzy potrafią przetwarzać dziewięć różnych rodzajów obrazów medycznych i tłumaczyć tekst na obraz. Firmy takie jak OpenAI i organizacje takie jak Instytutu Sztucznej Inteligencji Allena wypuścili ostatnio modele sztucznej inteligencji, które mogą poruszać się między tekstem i obrazami. Czym różnią się obrazy medyczne?
SW: gdy na przykład ChatGPT lub Google Gemini modelują zdjęcie kota, obraz ten jest bardzo mały — powiedzmy, o średnicy 256 pikseli. Ale obrazy medyczne są znacznie większe, mogą mieć średnicę około 100 000 pikseli. Jeśli wydrukujesz oba obrazy, różnica w wielkości będzie równa różnicy między piłką tenisową a kortem tenisowym. Zatem tej samej metody nie można zastosować do obrazów medycznych.
Ale ChatGPT jest bardzo dobry w rozumieniu i podsumowywaniu długich dokumentów. Dlatego używamy tej samej techniki, aby podsumować bardzo duże obrazy patologiczne. Dzielimy je na wiele małych obrazów, każdy o wymiarach 256 na 256. Te małe obrazy tworzą coś w rodzaju „zdania” małych obrazów, ale tutaj podstawowym elementem nie jest słowo ani znak — jest to mały obraz. Następnie generatywna sztuczna inteligencja może bardzo dokładnie podsumować ten zestaw małych obrazów. W maju ogłosiliśmy GigaPathmodel przetwarzający obrazy patologiczne przy użyciu tej metody.
W naszym najnowszym artykule łączymy narzędzia, aby zbudować BiomedParse, który działa w dziewięciu modalnościach, co pozwala nam na włączenie modeli obejmujących tomografię komputerową, rezonans magnetyczny, prześwietlenia rentgenowskie i tak dalej.
Odkryliśmy, że bardzo trudno jest zbudować jeden model, który uwzględniałby wszystkie modalności, ponieważ ludzie mogą nie chcieć udostępniać wszystkich tych danych. Zamiast tego zbudowaliśmy jeden model dla każdego typu obrazu. Niektóre są naszego autorstwa, inne autorstwa innych ekspertów z Harvardu i Microsoftu, a następnie wyświetlamy je wszystkie we wspólnej przestrzeni.
Inspirowaliśmy się esperantoskonstruowany język stworzony, aby użytkownicy z różnych krajów mogli się porozumiewać — podobnie jak angielski funkcjonuje obecnie w całej Europie. Kluczową ideą naszego artykułu BiomedParse jest użycie ludzkiego języka jako esperanto w różnych modalnościach obrazowania medycznego. Tomografia komputerowa bardzo różni się od rezonansu magnetycznego, ale każdy obraz medyczny ma raport kliniczny. Projektujemy więc wszystko na przestrzeń tekstową. Wtedy dwa obrazy będą podobne nie dlatego, że oba są na przykład tomografią komputerową, ale dlatego, że dotyczą podobnych pacjentów.
Jakie są potencjalne zastosowania tego narzędzia? Czy umożliwiłoby to lekarzom pierwszego kontaktu lepsze zrozumienie wielu różnych typów obrazów?
SW: Tak, to coś w rodzaju wyszukiwarki obrazów medycznych. Umożliwia niespecjalistom rozmowę z modelem na temat bardzo specjalistycznych obrazów medycznych, które wymagają specjalistycznej wiedzy dziedzinowej. Może to umożliwić lekarzom znacznie lepsze zrozumienie obrazów, ponieważ na przykład odczytywanie obrazów patologicznych często wymaga dużej wiedzy specjalistycznej.
Nawet bardzo doświadczeni lekarze mogą używać naszego modelu do szybszej analizy obrazów i wykrywania subtelnych różnic. Na przykład nie muszą oglądać każdego obrazu piksel po pikselu. Nasz model może najpierw dać pewne wyniki, a następnie lekarze będą mogli skupić się na tych ważnych regionach. Dzięki temu mogą pracować wydajniej, ponieważ automatycznie zapewniamy bardzo spójne wyniki — ponad 90% dokładność w porównaniu z adnotacjami wykonanymi przez eksperta — w zaledwie 0,2 sekundy. Ponieważ jest to narzędzie, które wykrywa lokalizację obiektów biomedycznych i zlicza liczbę komórek, często tolerujemy dokładność 90%, aby prawidłowo wykryć obiekt i przewidzieć dalsze choroby. Jednak wskazówki lekarzy są nadal konieczne, aby zapewnić prawidłowe wykorzystanie tych narzędzi sztucznej inteligencji. Jest to sposób na zwiększenie ich umiejętności, a nie ich zastąpienie.
Czy będzie to dostępne dla lekarzy?
SW: Wydaliśmy już wersję demonstracyjną. W dalszej kolejności mamy nadzieję nawiązać współpracę z UW Medicine w celu dalszego rozwoju modelu, a następnie wdrożyć go za zgodą pacjentów w systemie UW Medicine. To bardzo duży wysiłek na terenie całego UW. Zebraliśmy wiele danych dotyczących różnych regionów ludzkiego ciała, różnych modalności i różnych chorób. Mamy zatem nadzieję, że uda nam się przyspieszyć wykrywanie chorób ogólnoustrojowych.
Oczywiście generatywne systemy AI mają różne problemy. Modele tekstowe halucynują informacje, zwracają błędne odpowiedzi i wymyślają fakty. Generatory obrazów zniekształcają rzeczy. Czy istnieją obawy dotyczące zastosowania tych danych do czegoś tak wrażliwego, jak obrazowanie medyczne?
SW: Aktualnie składamy kolejny artykuł, który dotyczy w szczególności problemów etycznych związanych z generatywną sztuczną inteligencją w medycynie. Jednym z problemów są halucynacje. Na przykład możesz przekazać obraz tomografii komputerowej klatki piersiowej niektórym modelom AI i zapytać, na czym polega problem stomatologiczny. To pytanie nie ma żadnego sensu, ponieważ nie możemy odróżnić problemów stomatologicznych od tomografii komputerowej, ale niektóre istniejące modele sztucznej inteligencji faktycznie odpowiedzą na to pytanie i oczywiście jest to zła odpowiedź.
Kolejnym problemem jest etyka. Możemy dać generatywnej sztucznej inteligencji obraz zębów i zapytać: „Jaka jest płeć i wiek tego pacjenta?” To są informacje prywatne. Możesz też poprosić go o zrekonstruowanie twarzy danej osoby. Pracujemy więc nad wykryciem tych nieetycznych pytań i upewnieniem się, że modelka odmówi odpowiedzi.
Co takiego jest w zastosowaniu generatywnej sztucznej inteligencji w medycynie, że się nią interesujesz?
SW: Kiedyś zajmowałem się odkrywaniem nowych leków i badaniami genomicznymi z wykorzystaniem sztucznej inteligencji, ale odkryłem, że jest to dość ograniczony obszar, ponieważ opracowanie leku może zająć od 5 do 10 lat, a najbardziej czasochłonną częścią jest testowanie leku — badania na myszach, próby na ludziach i tak dalej. Przeniosłem się na medycynę, ponieważ uważam, że sztuczna inteligencja ma ogromną moc w zakresie analizowania danych obrazów i obrazów wraz z tekstem.
Zamierzam także zmienić przeznaczenie leków. Oznacza to, że na przykład lek stosowany w leczeniu chorób siatkówki, jeśli nie jest przeznaczony do innych celów, może również leczyć niewydolność serca. Jeśli zatem lek ten jest już stosowany w leczeniu chorób siatkówki i okaże się, że jest skuteczny w leczeniu niewydolności serca, możemy go natychmiast zastosować, bo wiemy, że jest bezpieczny. Jest to jedna z potencjalnych korzyści płynących z badania chorób ogólnoustrojowych za pomocą sztucznej inteligencji. Jeśli po połączeniu obrazów siatkówki z obrazami niewydolności serca odkryjemy, że obrazy siatkówki mogą przewidywać niewydolność serca, być może odkryjemy taki lek. To jest tutaj cel długoterminowy.
Odniesienie: „Podstawowy model wspólnej segmentacji, wykrywania i rozpoznawania obiektów biomedycznych w dziewięciu modalnościach” autorstwa Theodore’a Zhao, Yu Gu, Jianwei Yang, Naoto Usuyama, Ho Hin Lee, Sid Kiblawi, Tristan Naumann, Jianfeng Gao, Angela Crabtree, Jacob Abel, Christine Moung-Wen, Brian Piening, Carlo Bifulco, Mu Wei, Hoifung Poon i Sheng Wanga, 18 listopada 2024 r., Metody natury.
DOI: 10.1038/s41592-024-02499-w
