Kiedy w 2017 roku wprowadzono Google Lens, funkcja wyszukiwania dokonała czegoś, co jeszcze niedawno wydawałoby się czymś science fiction: skieruj aparat telefonu na obiekt, a Google Lens może go zidentyfikować, pokazać kontekst, a może nawet pozwolić kupujesz to. Był to nowy sposób wyszukiwania, który nie wymagał niezręcznego wpisywania opisów rzeczy, które widziałeś przed sobą.
Lens pokazał także, jak Google planował wykorzystać swoje narzędzia do uczenia maszynowego i sztucznej inteligencji, aby mieć pewność, że jego wyszukiwarka będzie wyświetlana na każdej możliwej powierzchni. Ponieważ Google w coraz większym stopniu wykorzystuje swoje podstawowe modele generatywnej sztucznej inteligencji do generowania podsumowań informacji w odpowiedzi na wyszukiwania tekstowe, ewoluuje także wyszukiwanie wizualne w Google Lens. A teraz firma twierdzi, że Lens, który obsługuje około 20 miliardów wyszukiwań miesięcznie, będzie obsługiwać jeszcze więcej sposobów wyszukiwania, w tym wyszukiwanie wideo i wyszukiwanie multimodalne.
Kolejna zmiana w Lens oznacza, że w wynikach pojawi się jeszcze więcej kontekstu zakupów. Zakupy to, co nie jest zaskoczeniem, jeden z kluczowych zastosowań Lens; Amazon i Pinterest mają również narzędzia wyszukiwania wizualnego, które mają zachęcać do częstszych zakupów. Wyszukaj tenisówki znajomego w starym Obiektywie Google, a być może wyświetli się Ci karuzela podobnych przedmiotów. Google twierdzi, że w zaktualizowanej wersji Lens będzie wyświetlać więcej bezpośrednich linków do zakupów, recenzji klientów, recenzji wydawców i narzędzi porównawczych zakupów.
Wyszukiwanie przez obiektyw jest teraz wielomodalne, co jest obecnie modnym słowem w sztucznej inteligencji, co oznacza, że użytkownicy mogą teraz wyszukiwać za pomocą kombinacji wideo, obrazów i poleceń głosowych. Zamiast kierować aparat smartfona na obiekt, dotykać punktu ostrości na ekranie i czekać, aż aplikacja Lens wyświetli wyniki, użytkownicy mogą skierować obiektyw i jednocześnie wydawać polecenia głosowe, na przykład: „Jaki rodzaj czy to są chmury?” lub „Jakiej marki są te tenisówki i gdzie mogę je kupić?”
Obiektyw zacznie także pracować nad przechwytywaniem wideo w czasie rzeczywistym, co wyniesie narzędzie o krok dalej niż identyfikowanie obiektów na nieruchomych obrazach. Jeśli masz zepsuty gramofon lub widzisz migające światło na nieprawidłowo działającym urządzeniu w domu, możesz nagrać krótki film za pomocą Lens i dzięki generatywnemu przeglądowi AI zobaczyć wskazówki, jak naprawić przedmiot.
Ta funkcja, ogłoszona po raz pierwszy na I/O, jest uważana za eksperymentalną i jest dostępna tylko dla osób, które wyraziły zgodę na korzystanie z laboratoriów wyszukiwania Google, mówi Rajan Patel, 18-letni pracownik Google i współzałożyciel Lens. Inne funkcje Google Lens, tryb głosowy i rozszerzone zakupy, będą wdrażane szerzej.
Funkcja „rozumienia wideo”, jak ją nazywa Google, jest intrygująca z kilku powodów. Chociaż obecnie działa z wideo rejestrowanymi w czasie rzeczywistym, jeśli lub kiedy Google rozszerzy tę funkcję na przechwycone filmy, całe repozytoria filmów — czy to w rolce z aparatu danej osoby, czy w olbrzymiej bazie danych, takiej jak Google — mogą potencjalnie stać się łatwe do oznaczania i w przeważającej mierze łatwe do kupienia.
Po drugie, funkcja Obiektyw ma pewne cechy wspólne z projektem Google Astra, który ma być dostępny jeszcze w tym roku. Astra, podobnie jak Lens, wykorzystuje dane multimodalne do interpretowania otaczającego Cię świata za pomocą telefonu. W ramach demonstracji Astry tej wiosny firma zaprezentowała parę prototypowych inteligentnych okularów.
Poza tym Meta właśnie zrobiła furorę swoją długoterminową wizją przyszłości rzeczywistości rozszerzonej, która obejmuje zwykłych śmiertelników w dziwnych okularach, którzy potrafią inteligentnie interpretować otaczający ich świat i pokazywać im holograficzne interfejsy. Google oczywiście próbował już zrealizować tę przyszłość dzięki Google Glass (które wykorzystuje zasadniczo inną technologię niż najnowsza propozycja Meta). Czy nowe funkcje Lens w połączeniu z Astrą będą naturalnym przejściem do nowego rodzaju inteligentnych okularów?
