Anubis chroni serwery przed botami AI. Jak to działa?

System Anubis to mechanizm ochrony serwerów przed masowym pobieraniem i przetwarzaniem danych przez zautomatyzowane narzędzia, w tym boty szkolące modele sztucznej inteligencji.

Czym jest system Anubis i jak funkcjonuje?

Administrator serwisu Infokatowice.pl wdrożył rozwiązanie o nazwie Anubis, które stanowi barierę przeciwko niechcianemu skrobaniu stron internetowych na dużą skalę. Fundamentem tego systemu jest algorytm Proof-of-Work, inspirowany schematem Hashcash — mechanizmem znanym z kryptografii i technologii blockchain.

Proof-of-Work wymaga od odwiedzającego serwer wykonania obliczenia matematycznego przed uzyskaniem dostępu do zawartości. To podejście czyni masowe pobieranie danych ekonomicznie nieuzasadnionym, ponieważ każde żądanie wiąże się z kosztem obliczeniowym po stronie klienta. Dla pojedynczego użytkownika koszt jest znikomy; dla bota próbującego pobrać tysiące stron jednocześnie — znaczący.

Wymagania techniczne systemu Anubis

Aby system Anubis działał prawidłowo, serwer wymaga od przeglądarki internetowej obsługi nowoczesnych funkcji JavaScript. To oznacza, że tradycyjne narzędzia do skrobania, które nie interpretują kodu JavaScript lub działają w uproszczonym środowisku, napotkają problemy z dostępem do zasobów.

Jednak rozwiązanie nie jest doskonałe. Istnieją wtyczki przeglądarki — takie jak JShelter i podobne narzędzia — które mogą ograniczać lub całkowicie uniemożliwiać działanie systemu ochrony. Wtyczki te blokują lub modyfikują wykonanie skryptów JavaScript, co pozwala obejść mechanizm Proof-of-Work.

Przyszłe kierunki ochrony: analiza renderowania czcionek

Aby wzmocnić obronę, planuje się wdrożenie dodatkowego poziomu weryfikacji polegającego na identyfikacji przeglądarek headless — czyli automatycznych narzędzi do testowania i skrobania, które działają bez graficznego interfejsu użytkownika. Metoda opiera się na analizie sposobu, w jaki przeglądarka renderuje czcionki.

Przeglądarki headless różnią się od zwykłych przeglądarek w sposobie przetwarzania grafiki i czcionek. Analiza tego procesu może ujawnić, czy żądanie pochodzi od rzeczywistego użytkownika, czy od zautomatyzowanego narzędzia. To podejście jest trudniejsze do obejścia niż sama weryfikacja JavaScript.

Aspekt systemu	Charakterystyka
Algorytm	Proof-of-Work wzorowany na Hashcash
Wymagania	Nowoczesne funkcje JavaScript
Zagrożenia	Wtyczki typu JShelter mogą uniemożliwić działanie
Planowana rozbudowa	Identyfikacja przeglądarek headless poprzez analizę czcionek

Co to oznacza dla właścicieli serwisów?

Wdrażanie systemu Anubis stanowi odpowiedź na rosnący problem masowego pobierania treści przez boty szkolące modele AI bez zgody twórców. Dla administratorów serwisów oznacza to możliwość ochrony swoich zasobów bez konieczności całkowitego zablokowania dostępu dla zwykłych użytkowników.

Jednocześnie rozwiązanie nie jest ostateczne. Każdy mechanizm ochrony może być potencjalnie obejściu przez bardziej zaawansowane narzędzia. Dlatego właśnie planuje się ciągłą ewolucję systemu, w tym implementację weryfikacji opartej na analizie renderowania czcionek, która byłaby trudniejsza do omijania.

Dla użytkowników końcowych system Anubis powinien być niewidoczny — przeglądarki nowoczesne i prawidłowo skonfigurowane powinny bez problemu przejść weryfikację Proof-of-Work w ułamku sekundy. Problemy mogą pojawić się jedynie w przypadku korzystania z wtyczek blokujących skrypty lub bardzo starych przeglądarek.