Największa na świecie symulacja kosmosu stanowi nową podstawę obliczeniową do równoczesnych badań ciemnej materii w ekstremalnej skali i badań astrofizycznych.
Naukowcy wykorzystali superkomputer Frontier do przeprowadzenia największej jak dotąd symulacji astrofizycznej, symulującej zarówno atom, jak i ciemną materię w skalach wielkości Wszechświata. Było to możliwe dzięki postępom w HACC, kodzie opracowanym do działania na superkomputerach klasy eksaskalowej, obecnie zdolnych do wykonywania obliczeń kwintylionowych na sekundę. Ten przełom w kosmologicznych symulacjach hydrodynamiki pomoże w dopasowaniu danych obserwacyjnych do modeli teoretycznych.
Przełom w symulacji wszechświata
Wszechświat właśnie się rozszerzył – przynajmniej w sferze symulacji komputerowych.
Na początku tego miesiąca naukowcy z Narodowego Laboratorium Argonne przy Departamencie Energii wykorzystali moc najszybszego superkomputera na świecie do wykonania największej w historii symulacji astrofizycznej Wszechświata.
Ta przełomowa symulacja była możliwa dzięki superkomputerowi Frontier w Oak Ridge National Laboratory. Obliczenia wyznaczyły nowy standard hydrodynamiki kosmologicznej, oferując pionierskie podejście do jednoczesnego modelowania zarówno materii atomowej, jak i ciemnej materii. Skala symulacji odpowiada skali przeglądów dużych teleskopów, a możliwości te były wcześniej poza zasięgiem przy tej wielkości.
Zaawansowane symulacje kosmologiczne w eksaskali
„We wszechświecie są dwa składniki: ciemna materia – która, o ile nam wiadomo, oddziałuje jedynie grawitacyjnie – oraz materia konwencjonalna, czyli materia atomowa”. powiedział kierownik projektu Salman Habib, dyrektor działu nauk obliczeniowych w Argonne.
„Jeśli więc chcemy wiedzieć, co dzieje się we wszechświecie, musimy symulować obie te rzeczy: grawitację, a także całą inną fizykę, w tym gorący gaz, oraz powstawanie gwiazd, czarnych dziur i galaktyk” – powiedział . „Astrofizyczny «zlew kuchenny», że tak powiem. Symulacje te nazywamy symulacjami hydrodynamiki kosmologicznej.”
Pokonywanie wyzwań obliczeniowych
Nic dziwnego, że kosmologiczne symulacje hydrodynamiki są znacznie droższe obliczeniowo i znacznie trudniejsze do przeprowadzenia w porównaniu z symulacjami rozszerzającego się wszechświata, które uwzględniają jedynie wpływ grawitacji.
„Na przykład, jeśli mielibyśmy symulować duży fragment Wszechświata badany przez jeden z dużych teleskopów, taki jak Obserwatorium Rubin w Chile, mówimy o patrzeniu na ogromne fragmenty czasu – miliardy lat ekspansji” – Habib powiedział. „Do niedawna nie mogliśmy sobie nawet wyobrazić przeprowadzenia tak dużej symulacji, chyba że w przybliżeniu opartym wyłącznie na grawitacji”.
Wykorzystanie obliczeń o wysokiej wydajności
Kod superkomputera użyty w symulacji nosi nazwę HACC, skrót od Hardware/Hybrid Accelerated Cosmology Code. Został opracowany około 15 lat temu dla maszyn petaskalowych. W latach 2012 i 2013 firma HACC była finalistą konkursu Association for Computing Machinery’s Nagroda Gordona Bella w informatyce.
Później HACC został znacznie zmodernizowany w ramach ExaSkyspecjalny projekt prowadzony przez Habiba w ramach Projekt obliczeń eksaskalowychlub ECP — inicjatywa DOE o wartości 1,8 miliarda dolarów, która była realizowana w latach 2016–2024. W projekcie wzięło udział tysiące ekspertów w celu opracowania zaawansowanych aplikacji naukowych i narzędzi programowych dla nadchodzącej fali superkomputerów klasy eksaskalowej, zdolnych wykonać ponad kwintylion, czyli miliard miliardów, obliczenia na sekundę.
Będąc częścią ExaSky, zespół badawczy HACC spędził ostatnie siedem lat na dodawaniu nowych możliwości do kodu i ponownej optymalizacji go do działania na maszynach eksaskalowych zasilanych akceleratorami GPU. Wymaganiem ECP było, aby kody działały około 50 razy szybciej niż było to możliwe wcześniej na Tytanie, najszybszym superkomputerze w momencie uruchomienia ECP. Działając na superkomputerze Frontier klasy eksaskalowej, HACC był prawie 300 razy szybszy niż wersja referencyjna.
Osiągnięcia eksaskalowe w modelowaniu wszechświata
Nowatorskie symulacje osiągnęły rekordową wydajność dzięki wykorzystaniu około 9000 węzłów obliczeniowych Frontier wyposażonych w procesory graficzne AMD Instinct™ MI250X. Frontier znajduje się w Oak Ridge Leadership Computing Facility (OLCF) należącej do ORNL.
„Nie tylko sam rozmiar domeny fizycznej jest niezbędny, aby dokonać bezpośredniego porównania z obserwacjami współczesnych badań ankietowych, które umożliwiają obliczenia eksaskalowe” – powiedział Bronson Messer, dyrektor naukowy OLCF. „To także dodatkowy realizm fizyczny wynikający z uwzględnienia barionów i całej innej dynamicznej fizyki, co sprawia, że ta symulacja jest prawdziwym hitem dla Frontier”.
Oprócz Habiba w skład zespołu HACC zaangażowanego w osiągnięcie i inne symulacje poprzedzające prace nad Frontier wchodzą Michael Buehlmann, JD Emberson, Katrin Heitmann, Patricia Larsen, Adrian Pope, Esteban Rangel i Nicholas Frontiere, którzy prowadzili symulacje Frontier.
Przed uruchomieniem programu Frontier przeprowadzono skanowanie parametrów HACC na superkomputerze Perlmutter w Narodowym Centrum Obliczeniowym Badań nad Energią (NERSC) w Lawrence Berkeley National Laboratory. Projekt HACC przeprowadzono także na dużą skalę na superkomputerze Aurora klasy eksaskalowej w ośrodku Argonne Leadership Computing Facility (ALCF).
Na początku listopada 2024 r. badacze z Narodowego Laboratorium Argonne przy Departamencie Energii wykorzystali Frontier, najszybszy superkomputer na planecie, do przeprowadzenia największej w historii symulacji astrofizycznej Wszechświata. Ten film pokazuje powstawanie największego obiektu w symulacji Frontier-E. Lewy panel pokazuje podobjętość symulacji o wielkości 64x64x76 Mpc/h (w przybliżeniu 1e-5 pełnej objętości symulacji) wokół dużego obiektu, przy czym prawy panel pozwala przyjrzeć się bliżej. Na każdym panelu pokazujemy pole gęstości gazu pokolorowane w zależności od jego temperatury. Na prawym panelu białe kółka pokazują cząstki gwiazd, a otwarte czarne kółka pokazują cząstki AGN. Źródło: Krajowe Laboratorium Argonne, Departament Energii Stanów Zjednoczonych
OLCF, ALCF i NERSC są udogodnieniami użytkownika DOE Office of Science.
Badania te były wspierane przez programy ECP oraz Advanced Scientific Computing Research i High Energy Physics w ramach Biura Naukowego DOE.
