Naukowcy z Instytutu Nauk o Świetle im. Maxa Plancka opracowali prostszą i potencjalnie bardziej zrównoważoną metodę wdrażania sieci neuronowych z wykorzystaniem układów optycznych.
Instytut Maxa Plancka opracował nowy system optyczny dla sieci neuronowych, stanowiący prostszą i bardziej energooszczędną alternatywę dla obecnych metod.
System ten wykorzystuje transmisję światła do wykonywania obliczeń, zmniejszając złożoność i zapotrzebowanie na energię związane z tradycyjnymi sieciami neuronowymi.
Optyczne sieci neuronowe
Naukowcy proponują nowy sposób realizacji sieci neuronowej z układem optycznym, który mógłby wykonać nauczanie maszynowe bardziej zrównoważone w przyszłości. Naukowcy z Instytutu Nauk o Świetle Maxa Plancka opublikowali swoją nową metodę w Fizyka Przyrodydemonstrując metodę znacznie prostszą niż poprzednie podejścia.
Uczenie maszynowe i sztuczna inteligencja stają się coraz bardziej powszechne w zastosowaniach od wizji komputerowej po generowanie tekstu, jak wykazało ChatGPT. Jednak te złożone zadania wymagają coraz bardziej złożonych sieci neuronowych; niektóre z wieloma miliardami parametrów.
Szybki wzrost rozmiaru sieci neuronowej sprowadził te technologie na niezrównoważoną ścieżkę ze względu na wykładniczo rosnące zużycie energii i czas szkolenia. Przykładowo szacuje się, że trening GPT-3 pochłonął ponad 1000 MWh energii, co odpowiada dziennemu zużyciu energii elektrycznej w małym miasteczku.
Tendencja ta stworzyła zapotrzebowanie na szybsze, bardziej energooszczędne i opłacalne alternatywy, co zapoczątkowało szybko rozwijającą się dziedzinę obliczeń neuromorficznych. Celem tej dziedziny jest zastąpienie sieci neuronowych na naszych komputerach cyfrowych fizycznymi sieciami neuronowymi. Zostały one zaprojektowane tak, aby fizycznie wykonywać wymagane operacje matematyczne w potencjalnie szybszy i bardziej energooszczędny sposób.
Artystyczna ilustracja neuromorficznego układu falowodów przenoszących światło. Źródło: @ CC Wanjura
Wyzwania w informatyce neuromorficznej
Optyka i fotonika są szczególnie obiecującymi platformami obliczeń neuromorficznych, ponieważ zużycie energii można ograniczyć do minimum. Obliczenia można wykonywać równolegle przy bardzo dużych prędkościach, ograniczonych jedynie prędkością światła. Jednak jak dotąd pojawiły się dwa istotne wyzwania: po pierwsze, realizacja niezbędnych złożonych obliczeń matematycznych wymaga dużej mocy lasera. Po drugie, brak skutecznej ogólnej metody szkolenia takich fizycznych sieci neuronowych.
Obu wyzwaniom można sprostać dzięki nowej metodzie zaproponowanej przez Clarę Wanjurę i Floriana Marquardta z Instytutu Nauk o Świetle Maxa Plancka w ich nowym artykule w Fizyka Przyrody.
Uproszczenie szkolenia sieci neuronowych
„Zwykle wprowadzane dane są nadrukowywane na polu świetlnym. Jednak w naszych nowych metodach proponujemy odciskanie danych wejściowych poprzez zmianę transmisji światła” – wyjaśnia Florian Marquardt, dyrektor Instytutu.
W ten sposób sygnał wejściowy może być przetwarzany w dowolny sposób. Jest to prawdą, mimo że samo pole świetlne zachowuje się w najprostszy możliwy sposób, w którym fale interferują, nie wpływając na siebie w żaden inny sposób. Dlatego ich podejście pozwala uniknąć skomplikowanych interakcji fizycznych w celu realizacji wymaganych funkcji matematycznych, które w przeciwnym razie wymagałyby pól świetlnych o dużej mocy.
Ocena i szkolenie tej fizycznej sieci neuronowej stałoby się wówczas bardzo proste: „Byłoby to tak proste, jak przesłanie światła przez system i obserwacja transmitowanego światła. Dzięki temu możemy ocenić wydajność sieci. Jednocześnie pozwala to na pomiar wszystkich informacji istotnych dla szkolenia” – mówi Clara Wanjura, pierwsza autorka badania.
Autorzy wykazali w symulacjach, że ich podejście można wykorzystać do wykonywania zadań klasyfikacji obrazów za pomocą tego samego narzędzia dokładność jak cyfrowe sieci neuronowe.
W przyszłości autorzy planują współpracę z grupami eksperymentalnymi w celu zbadania możliwości wdrożenia swojej metody. Ponieważ ich propozycja znacznie łagodzi wymagania eksperymentalne, można ją zastosować w wielu fizycznie bardzo różnych systemach. Otwiera to nowe możliwości dla urządzeń neuromorficznych umożliwiających trening fizyczny na szerokiej gamie platform.
Odniesienie: „W pełni nieliniowe obliczenia neuromorficzne z liniowym rozpraszaniem fal”, Clara C. Wanjura i Florian Marquardt, 9 lipca 2024 r., Fizyka Przyrody.
DOI: 10.1038/s41567-024-02534-9
