Według założyciela Dark Visitors, Gavina Kinga, większość głównych agentów AI nadal posługuje się plikiem robots.txt. „To było całkiem spójne” – mówi. Jednak nie wszyscy właściciele witryn mają czas i wiedzę, aby stale aktualizować pliki robots.txt. A nawet jeśli to zrobią, niektóre boty ominą dyrektywy pliku: „Próbują ukryć ruch”.
Prince twierdzi, że blokowanie botów przez Cloudflare nie będzie poleceniem, które tego rodzaju zły aktor może zignorować. „Robots.txt przypomina umieszczenie znaku zakazu wstępu” – mówi. „To jakby fizyczny mur patrolowany przez uzbrojonych strażników”. Podobnie jak sygnalizuje inne rodzaje podejrzanych zachowań w sieci, takie jak boty podszukujące ceny wykorzystywane do nielegalnego monitorowania cen, firma stworzyła procesy umożliwiające wykrycie nawet najlepiej ukrytych robotów AI.
Cloudflare ogłasza także nadchodzący rynek, na którym klienci będą mogli negocjować warunki korzystania ze skrobania z firmami zajmującymi się sztuczną inteligencją, niezależnie od tego, czy wiąże się to z płatnością za korzystanie z treści, czy też wymianą na kredyty na korzystanie z usług sztucznej inteligencji w zamian za skrobanie. „Tak naprawdę nie obchodzi nas, jaka to transakcja, ale uważamy, że musi istnieć jakiś sposób na przywrócenie wartości twórcom oryginalnych treści” – mówi Prince. „Wynagrodzenie nie musi być w dolarach. Zapłatą może być uznanie lub uznanie. Może to być wiele różnych rzeczy.”
Nie ma ustalonej daty uruchomienia tego rynku, ale nawet jeśli pojawi się w tym roku, dołączy do coraz bardziej zatłoczonego obszaru projektów mających na celu ułatwienie zawierania umów licencyjnych i innych ustaleń dotyczących pozwoleń między firmami zajmującymi się sztuczną inteligencją, wydawcami, platformami i innymi stronami internetowymi.
Co na to firmy zajmujące się sztuczną inteligencją? „Rozmawialiśmy z większością z nich i ich reakcje wahały się od „to ma sens i jesteśmy otwarci” po „idź do diabła” – mówi Prince. (Chociaż nie podałby imion.)
Realizacja projektu przebiegała dość szybko. Prince jako inspirację dla projektu cytuje rozmowę z dyrektorem generalnym Atlantic (i byłym redaktorem naczelnym WIRED) Nickiem Thompsonem; Thompson omówił, ilu różnych wydawców zetknęło się z ukrytymi programami do skrobania stron internetowych. „Podoba mi się to, że to robi” – mówi Thompson. Gdyby nawet znane organizacje medialne miały trudności z uporaniem się z napływem scraperów, argumentował Prince, niezależni blogerzy i właściciele witryn mieliby jeszcze większe trudności.
Cloudflare jest od lat wiodącą firmą zajmującą się bezpieczeństwem sieciowym i zapewnia dużą część infrastruktury podtrzymującej sieć. W przeszłości pozostawała możliwie najbardziej neutralna w stosunku do treści stron internetowych, na których świadczy swoje usługi; W rzadkich przypadkach, gdy robił wyjątek od tej reguły, Prince podkreślał, że nie chce, aby Cloudflare był arbitrem tego, co jest dozwolone w Internecie.
W tym przypadku postrzega Cloudflare jako osobę, która ma wyjątkową pozycję do zajęcia stanowiska. „Ścieżka, którą podążamy, nie jest zrównoważona” – mówi Prince. „Mamy nadzieję, że możemy przyczynić się do zapewnienia ludziom wynagrodzenia za swoją pracę”.
