Ochrona serwisów przed skrobaniem AI: system Anubis w akcji

Coraz więcej serwisów internetowych wdraża zaawansowane systemy ochrony przed masowym pobieraniem danych przez zautomatyzowane narzędzia. Jeden z nich — Anubis — stanowi odpowiedź na rosnący problem agresywnego skrobania przez firmy zajmujące się sztuczną inteligencją.

Co to jest skrobanie danych i dlaczego stanowi problem?

Skrobanie (ang. scraping) to automatyczne pobieranie zawartości ze stron internetowych za pomocą specjalistycznych narzędzi. Gdy proces ten przebiega intensywnie i bez ograniczeń, generuje ogromne obciążenie dla infrastruktury serwerowej. Rezultatem są przestoje, spowolnienia i okresowa niedostępność zasobów dla zwykłych użytkowników.

Problem nasila się szczególnie wtedy, gdy skrobaniem zajmują się firmy trenujące modele AI na dużą skalę. Takie operacje wymagają przetworzenia milionów stron, co może całkowicie zablokować działanie mniejszych serwisów.

Jak działa system Anubis?

Administrator serwisu infokatowice.pl zdecydował się wdrożyć Anubis — system oparty na mechanizmie Proof-of-Work. To rozwiązanie czerpie inspirację z algorytmu Hashcash, który od lat wykorzystywany jest w kryptografii i bezpieczeństwie.

Idea jest prosta: zanim użytkownik uzyska dostęp do zasobów, jego przeglądarka musi wykonać pewne obliczenia. Dla zwykłych odwiedzających strony zadanie to trwa ułamek sekundy i przebiega całkowicie w tle. Dla zautomatyzowanych botów skrobujących dane na masową skalę — staje się barierą ekonomiczną.

Proof-of-Work jako narzędzie ochrony

Aspekt	Opis
Mechanizm	Przeglądarka użytkownika wykonuje obliczenia kryptograficzne przed uzyskaniem dostępu
Wzór	Hashcash — algorytm sprawdzony w ochronie przed spamem
Wpływ na użytkownika	Niemal niezauważalny — zajmuje ułamek sekundy
Wpływ na boty	Znacznie zmniejsza opłacalność masowego skrobowania
Wymagania techniczne	Nowoczesne funkcje JavaScript w przeglądarce

System Anubis nie blokuje dostępu — zmienia ekonomikę ataku. Gdy bot musi wykonać tysiące obliczeniowych zadań, aby pobrać miliony stron, koszt operacji rośnie wykładniczo. W pewnym momencie skrobanie przestaje być opłacalne.

Wyzwania dla użytkowników ze wtyczkami bezpieczeństwa

Rozwiązanie ma jednak swoją słabość. Wtyczki przeglądarki takie jak JShelter — projektowane w celu zwiększenia prywatności i bezpieczeństwa — wyłączają niektóre funkcje JavaScript, które Anubis potrzebuje do działania. Dla użytkowników korzystających z takich dodatków dostęp do chronionych serwisów może być utrudniony lub niemożliwy.

To klasyczne napięcie między bezpieczeństwem a wygodą. Użytkownik chcący chronić swoje dane przed śledzeniem może nieświadomie uniemożliwić sobie dostęp do serwisów chronionych przed skrobaniem.

Przyszłość ochrony: identyfikacja przeglądarek headless

Zespół stojący za Anubisem pracuje nad kolejnym poziomem ochrony. Planuje się wdrożenie systemu identyfikacji przeglądarek headless — czyli przeglądarek bez interfejsu graficznego, które są typowym narzędziem do automatycznego skrobania.

Metoda opiera się na analizie renderowania czcionek. Przeglądarki headless, działające bez pełnego środowiska graficznego, inaczej przetwarzają i wyświetlają czcionki niż normalne przeglądarki. Ta różnica może posłużyć do rozróżnienia między rzeczywistym użytkownikiem a botem.

Co to oznacza dla właścicieli serwisów i użytkowników

Dla administratorów stron internetowych Anubis oferuje stosunkowo eleganckie rozwiązanie — chroni zasoby bez konieczności blokowania całych adresów IP czy drastycznych ograniczeń. Serwis pozostaje dostępny dla wszystkich, ale koszt ataku na infrastrukturę drastycznie rośnie.

Dla zwykłych użytkowników oznacza to, że mogą napotkać systemy wymagające wykonania obliczeń przed pełnym załadowaniem strony. W większości przypadków proces ten będzie niezauważalny. Jednak osoby korzystające z wtyczek bezpieczeństwa mogą doświadczyć problemów z dostępem.

Długoterminowo rozwój takich systemów ochrony może wpłynąć na sposób, w jaki projektuje się przeglądarki i wtyczki bezpieczeństwa. Będzie potrzebna równowaga między ochroną przed skrobaniem a zachowaniem funkcjonalności dla użytkowników o zwiększonych wymaganiach dotyczących prywatności.