Anubis: jak serwery bronią się przed skrobaniem AI

System Anubis to rozwiązanie ochronne wdrożone na serwerach internetowych w celu uniemożliwienia masowego i zautomatyzowanego pobierania danych przez firmy zajmujące się sztuczną inteligencją. Problem, który rozwiązuje, jest rzeczywisty: agresywne skrobanie zasobów sieciowych powoduje przeciążenie serwerów, co prowadzi do przestojów i niedostępności witryn dla zwykłych użytkowników.

Dlaczego skrobanie danych stanowi problem?

Kiedy boty zbierają dane na dużą skalę, generują ogromne obciążenie dla infrastruktury serwera. Pojedyncze żądania od człowieka są obsługiwane szybko i bez problemu, ale tysiące równoczesnych połączeń od zautomatyzowanych systemów mogą całkowicie sparaliżować usługę. Efektem jest niedostępność strony dla rzeczywistych odwiedzających, którzy chcą normalnie korzystać z jej zasobów.

Firmy zajmujące się AI mają silną motywację do zbierania jak największej ilości tekstu, obrazów i innych danych treściowych. Te materiały służą do trenowania modeli językowych i wizyjnych. Bez mechanizmów ochronnych, skrobanie może odbywać się całkowicie bezkosztowo dla zbierajacych, kosztem właścicieli witryn.

Jak działa system Anubis?

Anubis opiera się na schemacie Proof-of-Work, który znany jest z technologii blockchain, w szczególności z systemu Hashcash. Koncepcja jest prosta: przed udzieleniem dostępu do zasobów, system wymaga od użytkownika (lub bota) wykonania pewnego obliczeniowego zadania.

W przypadku pojedynczych użytkowników to zadanie jest minimalne — zajmuje ułamek sekundy i praktycznie nie wpływa na doświadczenie przeglądania. Jednak dla masowych operacji skrobania, gdzie trzeba wykonać miliony takich zadań, koszty obliczeniowe stają się znaczące. To sprawia, że zautomatyzowane zbieranie danych staje się ekonomicznie nieopłacalne dla napastników.

System Anubis wymaga nowoczesnych funkcji języka JavaScript do prawidłowego działania. Przeglądarki wspierające te funkcje bez problemu wykonują wymagane obliczenia. Jednak pewne wtyczki przeglądarki, takie jak JShelter, które blokują zaawansowane możliwości JavaScript ze względów bezpieczeństwa, mogą uniemożliwić działanie systemu ochrony.

Czy to rozwiązanie trwałe?

Administratorzy serwisów traktują Anubis jako rozwiązanie przejściowe. Choć skuteczne w bieżącej sytuacji, zespoły pracujące nad bezpieczeństwem sieci już pracują nad bardziej zaawansowanymi metodami.

Docelowym kierunkiem jest identyfikacja przeglądarek headless — czyli zautomatyzowanych przeglądarek bez interfejsu graficznego, które są głównym narzędziem do skrobania danych. Planuje się to osiągnąć poprzez analizę renderowania czcionek. Przeglądarki headless mają inne zachowanie w tym obszarze niż zwykłe przeglądarki używane przez ludzi, co pozwala na ich rozpoznanie.

Aspekt	Charakterystyka
Mechanizm działania	Proof-of-Work wzorowany na Hashcash
Wpływ na zwykłych użytkowników	Minimalny, praktycznie niezauważalny
Wpływ na masowe skrobanie	Znaczący wzrost kosztów obliczeniowych
Wymagania techniczne	Nowoczesne funkcje JavaScript
Status	Rozwiązanie tymczasowe
Przyszła metoda	Identyfikacja przeglądarek headless przez rendering czcionek

Co to oznacza dla użytkowników i właścicieli witryn?

Dla zwykłych odwiedzających strony internetowe system Anubis jest praktycznie niewidoczny. Nie spowalnia przeglądania, nie wymaga dodatkowych akcji i nie utrudnia dostępu do treści. Jego obecność jest wyczuwalna głównie wtedy, gdy ktoś używa wtyczek blokujących JavaScript, ale nawet wtedy problem dotyczy głównie dostępu do chronionych zasobów.

Dla właścicieli witryn i administratorów serwerów Anubis to narzędzie do obrony przed stratą zasobów i utratą dostępności. Bez takiej ochrony, masowe skrobanie mogłoby doprowadzić do sytuacji, w której serwer nie byłby w stanie obsługiwać rzeczywistych użytkowników. To szczególnie ważne dla mniejszych witryn, które mają ograniczoną pojemność infrastruktury.

Perspektywa długoterminowa wskazuje, że walka z niekontrolowanym zbieraniem danych będzie się intensyfikować. Wraz z rosnącym zainteresowaniem firm AI danymi treściowymi, systemy ochrony będą musiały ewoluować. Przejście na identyfikację przeglądarek headless poprzez analizę czcionek to kolejny krok w tej gra zbrojeniowej między obrońcami a napastnikami.