W czerwcu ISD zgłosiło naruszenie tego konta, a także 49 innych kont Polityka TikToka na temat mowy nienawiści, zachęcania do przemocy wobec grup chronionych, promowania nienawistnych ideologii, wychwalania brutalnych ekstremistów i negowania Holokaustu. We wszystkich przypadkach TikTok nie znalazł żadnych naruszeń, a wszystkie konta mogły początkowo pozostać aktywne.
Miesiąc później TikTok zablokował 23 konta, co wskazuje, że platforma z biegiem czasu przynajmniej usuwa niektóre treści i kanały naruszające zasady. Przed usunięciem 23 zablokowane konta uzyskały co najmniej 2 miliony wyświetleń.
Badacze utworzyli także nowe konta TikTok, aby zrozumieć, w jaki sposób treści nazistowskie są promowane wśród nowych użytkowników za pomocą potężnego algorytmu TikTok.
Korzystając z konta utworzonego pod koniec maja, badacze obejrzeli 10 filmów z sieci prohitlerowskich użytkowników, od czasu do czasu klikając sekcje komentarzy, ale powstrzymując się od jakichkolwiek form prawdziwego zaangażowania, takich jak polubienie, komentowanie czy dodawanie zakładek. Badacze przejrzeli także 10 prohitlerowskich kont. Kiedy następnie badacze przeszli do kanału For You w aplikacji, wystarczyły trzy filmy, aby algorytm zasugerował film przedstawiający nazistowskiego żołnierza z czasów II wojny światowej, na który nałożono wykres wskaźników morderstw w USA, ze sprawcami w podziale na rasę . Później pojawiło się wideo przedstawiające przemówienie Hitlera przetłumaczone przez sztuczną inteligencję, na które nałożono plakat rekrutacyjny dla białej grupy nacjonalistycznej.
Na innym koncie utworzonym przez badaczy ISD w głównym kanale promowano jeszcze więcej treści ekstremistycznych – 70 procent filmów pochodziło od samozwańczych nazistów lub przedstawiało nazistowską propagandę. Po tym, jak konto śledziło wiele kont pronazistowskich w celu uzyskania dostępu do treści na kanałach ustawionych jako prywatne, algorytm TikTok promował także inne konta nazistowskie do obserwowania. Wszystkie 10 z pierwszych kont rekomendowanych przez TikTok do tego konta wykorzystywało nazistowską symbolikę lub słowa kluczowe w nazwach użytkowników lub zdjęciach profilowych lub przedstawiało nazistowską propagandę w swoich filmach.
„W żadnym wypadku nie jest to szczególnie zaskakujące” – mówi Abbie Richards, badaczka dezinformacji specjalizująca się w TikTok. „To są rzeczy, które znaleźliśmy raz po raz. Z pewnością znalazłem je podczas moich badań”.
Richards o tym pisał treści na platformie dotyczące białej supremacji i bojowego akceleratora w 2022 r. m.in przypadek neonazisty Paula Milleraktóry odsiadując 41 miesięcy wyroku za broń palną, pojawił się w filmie na TikToku, który w ciągu trzech miesięcy umieszczenia go na platformie przed usunięciem uzyskał ponad 5 milionów wyświetleń i 700 000 polubień.
Marcus Bösch, badacz z Uniwersytetu w Hamburgu, który monitoruje TikTok, mówi WIRED, że ustalenia raportu „nie są wielką niespodzianką” i nie ma nadziei, że TikTok będzie mógł coś zrobić, aby rozwiązać problem.
„Nie jestem pewien, gdzie dokładnie leży problem” – mówi Bösch. „TikTok twierdzi, że ma około 40 000 moderatorów treści i zrozumienie tak oczywistych naruszeń zasad powinno być łatwe. Jednak ze względu na samą objętość [of content]oraz zdolność złych aktorów do szybkiego przystosowania się, jestem przekonany, że całego problemu dezinformacji nie da się ostatecznie rozwiązać ani przy pomocy sztucznej inteligencji, ani większej liczby moderatorów”.
TikTok twierdzi, że ukończył program mentorski z Tech Against Terrorism, grupą, która stara się zakłócać działalność terrorystów w Internecie i pomaga TikTok identyfikować zagrożenia w Internecie.
„Pomimo podjętych proaktywnych kroków TikTok pozostaje celem wyzysku grup ekstremistycznych w miarę wzrostu jego popularności” – mówi WIRED Adam Hadley, dyrektor wykonawczy Tech Against Terrorism. „Badanie ISD pokazuje, że niewielka liczba brutalnych ekstremistów może siać spustoszenie na dużych platformach ze względu na asymetrię przeciwników. Dlatego też niniejszy raport podkreśla potrzebę wieloplatformowej analizy zagrożeń wspieranej przez ulepszoną moderację treści opartą na sztucznej inteligencji. Raport przypomina nam również, że Telegram również powinien zostać pociągnięty do odpowiedzialności za swoją rolę w ekosystemie ekstremistów internetowych”.
Jak podkreśla Hadley, ustalenia zawarte w raporcie pokazują, że w obecnej polityce firmy istnieją poważne luki.
„Zawsze opisywałem TikTok, jeśli chodzi o użycie przez skrajnie prawicę, jako platformę do przesyłania wiadomości” – powiedział Richards. „Przede wszystkim chodzi o powtarzanie. Chodzi o to, by być ciągle narażonym na tę samą nienawistną narrację, ponieważ w pewnym momencie zaczynasz wierzyć w rzeczy, które widzisz już wystarczająco dużo, i zaczynają one naprawdę wpływać na twój światopogląd”.
