Naukowcy z Uniwersytetu Maryland opracowali kamerę zdarzeń wzmocnioną sztucznymi mikrosaksadami (AMI-EV), inspirowaną ruchami ludzkiego oka, aby poprawić widzenie robotów poprzez zmniejszenie rozmycia ruchu w dynamicznych środowiskach. (Koncepcja artysty.) Źródło: SciTechDaily.com
Nowa kamera naśladuje mimowolne ruchy ludzkiego oka, tworząc ostrzejsze i dokładniejsze obrazy dla robotów, smartfonów i innych urządzeń do rejestrowania obrazu.
Informatycy wynaleźli mechanizm kamery, który poprawia sposób, w jaki roboty widzą i reagują na otaczający ich świat. Zainspirowany działaniem ludzkiego oka zespół badawczy pod kierownictwem Uniwersytetu Maryland opracował innowacyjny system kamer, który naśladuje drobne, mimowolne ruchy oka, aby zachować wyraźne i stabilne widzenie w miarę upływu czasu. Prototypowanie i testowanie przez zespół kamery — zwanej sztuczną kamerą zdarzeń wzmocnioną mikrosakdami (AMI-EV) — zostało szczegółowo opisane w artykule opublikowanym niedawno w czasopiśmie Nauka Robotyka.
Postęp w technologii kamer zdarzeń
„Kamery eventowe to stosunkowo nowa technologia, która lepiej śledzi poruszające się obiekty niż tradycyjne kamery, ale dzisiejsze kamery eventowe mają trudności z rejestrowaniem ostrych, pozbawionych rozmyć obrazów, gdy występuje duży ruch” – powiedział główny autor artykułu Botao He, informatyk Doktorat student UMD. „To duży problem, ponieważ roboty i wiele innych technologii — takich jak samochody autonomiczne — opierają się na dokładnych i aktualnych obrazach, aby prawidłowo reagować na zmieniające się otoczenie. Zadaliśmy sobie zatem pytanie: w jaki sposób ludzie i zwierzęta dbają o to, aby ich wzrok był skupiony na poruszającym się obiekcie?”
Przedstawienie nowatorskiego systemu kamer zdarzeń w porównaniu ze standardowym systemem kamer zdarzeń. Źródło: Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jingxi Chen, Chahat Deep Singh
Naśladowanie ruchów ludzkiego oka
Dla zespołu He rozwiązaniem były mikrosakkady, czyli małe i szybkie ruchy oczu, które pojawiają się mimowolnie, gdy osoba próbuje skupić wzrok. Dzięki tym drobnym, ale ciągłym ruchom ludzkie oko może z biegiem czasu dokładnie skupić się na obiekcie i jego teksturach wizualnych, takich jak kolor, głębia i cienie.
„Doszliśmy do wniosku, że tak jak nasze oczy potrzebują drobnych ruchów, aby zachować ostrość, tak aparat może wykorzystywać podobną zasadę do rejestrowania wyraźnych i dokładnych obrazów bez rozmycia spowodowanego ruchem” – powiedział.
Wdrażanie i testowanie technologiczne
Zespołowi udało się zreplikować mikrosakkady, umieszczając obrotowy pryzmat wewnątrz AMI-EV w celu przekierowania wiązek światła przechwyconych przez obiektyw. Ciągły ruch obrotowy pryzmatu symulował ruchy naturalnie występujące w ludzkim oku, umożliwiając aparatowi stabilizację tekstury rejestrowanego obiektu tak samo, jak zrobiłby to człowiek. Następnie zespół opracował oprogramowanie kompensujące ruch pryzmatu w AMI-EV w celu skonsolidowania stabilnych obrazów ze zmieniających się świateł.
Demonstracja, w jaki sposób mikrosakkady przeciwdziałają blaknięciu obrazu. Po kilku sekundach unieruchomienia (wpatrywania się) w czerwony punkt na tym statycznym obrazie, szczegóły tła tego obrazu zaczynają wizualnie zanikać. Dzieje się tak dlatego, że w tym czasie mikrosakkady zostały stłumione i oko nie jest w stanie zapewnić skutecznej stymulacji wzrokowej, aby zapobiec blaknięciu obwodowemu. Źródło: Laboratorium Wizji Komputerowej UMIACS
Współautor badania, Yiannis Aloimonos, profesor informatyki na UMD, postrzega wynalazek zespołu jako duży krok naprzód w dziedzinie widzenia robotycznego.
„Nasze oczy robią zdjęcia otaczającego nas świata i te obrazy są wysyłane do naszego mózgu, gdzie są analizowane. Percepcja zachodzi w tym procesie i tak rozumiemy świat” – wyjaśnił Aloimonos, który jest także dyrektorem Laboratorium Wizji Komputerowej w Instytucie Zaawansowanych Studiów Komputerowych (UMIACS) Uniwersytetu Maryland. „Kiedy pracujesz z robotami, zamień oczy na kamerę, a mózg na komputer. Lepsze kamery oznaczają lepszą percepcję i reakcje robotów”.
Potencjalny wpływ na różne branże
Naukowcy uważają również, że ich innowacja może mieć znaczące implikacje wykraczające poza robotykę i obronę narodową. Naukowcy pracujący w branżach, które polegają na dokładnym przechwytywaniu obrazu i wykrywaniu kształtów, nieustannie szukają sposobów na ulepszenie swoich kamer, a AMI-EV może okazać się kluczowym rozwiązaniem wielu problemów, z którymi się borykają.
„Dzięki swoim unikalnym funkcjom czujniki zdarzeń i AMI-EV mogą zająć centralne miejsce w dziedzinie inteligentnych urządzeń do noszenia” – powiedziała naukowiec Cornelia Fermüller, starsza autorka artykułu. „Mają wyraźne zalety w porównaniu z klasycznymi kamerami — takie jak doskonała wydajność w ekstremalnych warunkach oświetleniowych, małe opóźnienia i niskie zużycie energii. Funkcje te idealnie nadają się na przykład do zastosowań w rzeczywistości wirtualnej, gdzie konieczne jest płynne działanie i szybkie obliczenia ruchów głowy i ciała.
Przedstawienie nowatorskiego systemu kamer zdarzeń w porównaniu ze standardowym systemem kamer zdarzeń. Źródło: Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jingxi Chen, Chahat Deep Singh
Udoskonalenia w przetwarzaniu obrazu w czasie rzeczywistym
We wczesnych testach AMI-EV był w stanie dokładnie uchwycić i wyświetlić ruch w różnych kontekstach, w tym podczas wykrywania ludzkiego tętna i identyfikacji szybko poruszających się kształtów. Naukowcy odkryli również, że AMI-EV może rejestrować ruch z szybkością dziesiątek tysięcy klatek na sekundę, przewyższając większość typowo dostępnych komercyjnych kamer, które rejestrują średnio od 30 do 1000 klatek na sekundę. To płynniejsze i bardziej realistyczne przedstawienie ruchu może okazać się kluczowe we wszystkim, od tworzenia bardziej wciągających doświadczeń rzeczywistości rozszerzonej i lepszego monitorowania bezpieczeństwa po ulepszenie sposobu, w jaki astronomowie rejestrują obrazy w kosmosie.
Wnioski i perspektywy na przyszłość
„Nasz nowatorski system kamer może rozwiązać wiele konkretnych problemów, na przykład pomóc autonomicznemu samochodowi w ustaleniu, co na drodze jest człowiekiem, a co nie” – powiedział Aloimonos. „W rezultacie ma wiele zastosowań, z którymi ma już kontakt większość ogółu społeczeństwa, takich jak systemy jazdy autonomicznej czy nawet kamery w smartfonach. Wierzymy, że nasz nowatorski system kamer toruje drogę przyszłym bardziej zaawansowanym i wydajnym systemom”.
Odniesienie: „Kamera eventowa inspirowana mikrosakdami do robotyki” autorstwa Botao He, Ze Wang, Yuan Zhou, Jingxi Chen, Chahat Deep Singh, Haojia Li, Yuman Gao, Shaojie Shen, Kaiwei Wang, Yanjun Cao, Chao Xu, Yiannis Aloimonos, Fei Gao i Cornelia Fermüller, 29 maja 2024 r., Nauka Robotyka.
DOI: 10.1126/scirobotics.adj8124
Oprócz He, Aloimonosa i Fermüllera do innych współautorów UMD należą Jingxi Chen (BS ’20, informatyka; MS ’22, informatyka) i Chahat Deep Singh (ME ’18, robotyka; doktorat ’23 , Informatyka).
Badania te są wspierane przez amerykańską Narodową Fundację Nauki (nagroda nr 2020624) i Chińską Narodową Fundację Nauk Przyrodniczych (granty nr 62322314 i 62088101). Artykuł ten niekoniecznie odzwierciedla poglądy tych organizacji.
