Ochrana webových stránok pred hromadným scrapingom a Anubis
V súčasnej digitálnej dobe je ochrana webových stránok pred nežiaducim hromadným získavaním dát (scrapingom) čoraz dôležitejšia. Hoci sa na individuálnej úrovni môže dodatočné zaťaženie spôsobené takýmito aktivitami zdať zanedbateľné, pri masívnom scrapingu sa kumuluje a výrazne zvyšuje náklady na prevádzku webových služieb.
Dočasné riešenia a ich dopad
Jedným z prístupov k riešeniu tohto problému sú dočasné riešenia, ktoré majú za cieľ sťažiť prácu hromadným scraperom. Myšlienkou je, že aj keď na individuálnej úrovni je dodatočné zaťaženie zanedbateľné, pri masívnom scrapingu sa sčíta a robí scraping oveľa drahším. Tieto riešenia slúžia ako prechodné opatrenia, kým sa nevyvinú sofistikovanejšie metódy.
Anubis: Riešenie pre identifikáciu a overenie používateľov
Anubis je jedným z takýchto systémov, ktorý vyžaduje použitie moderných JavaScript funkcií. Jeho hlavným cieľom je umožniť viac času na odtlačovanie prstov (fingerprinting) a identifikáciu tzv. headless prehliadačov (headless browsers), ktoré sú často používané pre automatizovaný scraping. Identifikácia sa môže vykonávať napríklad na základe spôsobu, akým vykresľujú písma.
Ako Anubis zvyšuje náklady na scraping
Základná myšlienka Anubis je jednoduchá: ak na individuálnej úrovni je dodatočné zaťaženie zanedbateľné, pri hromadnom scrapingu sa sčíta a robí scraping oveľa drahším. Týmto spôsobom sa zvyšujú prevádzkové náklady pre subjekty, ktoré sa snažia hromadne získavať dáta z webových stránok.
Prečo je identifikácia headless prehliadačov kľúčová
Kľúčovým aspektom Anubis je snaha o to, aby sa stránka s overovacím dôkazom práce (challenge proof of work page) nemusela zobrazovať používateľom, ktorí sú s oveľa väčšou pravdepodobnosťou legitímni. Tým sa zlepšuje používateľský zážitok pre skutočných návštevníkov stránky a zároveň sa účinne blokujú automatizované boty a scraperi.
Kompatibilita a požiadavky Anubis
Je dôležité poznamenať, že Anubis vyžaduje použitie moderných JavaScript funkcií. To znamená, že pluginy ako JShelter, ktoré tieto funkcie zakazujú, budú brániť správnemu fungovaniu Anubis. Pre optimálnu funkčnosť systému je preto nutné zabezpečiť, aby prehliadače podporovali a umožňovali spúšťanie moderného JavaScriptu.
