A megvalósíthatóság szempontjából az egyéni skálákon az extra terhelés elhanyagolható, de a tömeges adatkinyerés (mass scraper) szinten már jelentősen felhalmozódik és drágítja a folyamatot.
Egyidejűleg cél, hogy ideiglenes megoldás legyen, így több idő fordítható a fingerprintingra és a fej nélküli böngészők azonosítására (például a betűkészlet-megjelenítés módján keresztül), így a kihívás-alapú munkavégzés (proof of work) oldala nem szükséges a valószínűleg legitim felhasználók előtt, akik automatikusan szűrhetők.
Figyelemreméltó, hogy az Anubis a modern JavaScript funkciók használatát igényli, amelyeket a pluginok, mint például a JShelter, kikapcsolhatnak.
A problémameghatározás és a kontextus
Az automatizált adatgyűjtés elleni védekezés elsődleges célja olyan mechanizmusok bevezetése, amelyek megnehezítik a scrapinget anélkül, hogy tönkre tennék a legitim felhasználói élményt.
Az egyes felhasználói vagy bot-szintek közötti terhelés különbsége két fő jelenséget mutat: egyrészt az egyéni lekérések költsége alacsony marad, másrészt a tömeges lekérések növekvő energia- és időköltséget eredményeznek.
A fingerprinting és a fej nélküli böngészők (headless) felismerésének szerepe
A fingerprinting célja megkülönböztetni az emberi felhasználókat és a robotokat, különösen a fej nélküli böngészők ellenőrzésével.
A fej nélküli böngészők gyakran másképp viselkednek a renderelési folyamatokban, például a betűtípusok kirajzolásában (font rendering), ami lehetőséget adhat a felismerésre.
Ha sikerül megbízhatóan azonosítani a gyanús forgalmat, a kihívás-alapú munkakiosztás nélkül is csökkenthető a scraping kockázata.
Megközelítések és technikai megfontolások
Az alkalmazott stratégiák között szerepelhet a modern JavaScript funkciók használatának megkérdőjelezése vagy korlátozása, hogy ne legyen egyszerű a fej nélküli környezetek futtatása.
Ugyanakkor a hosszú távú megoldás azonosítási technikák finomhangolására összpontosít, hogy a legitim felhasználók ne szenvedjenek hátrányt.
A terhelés-elosztás és a botok felismerése közötti egyensúly kritikus: a védekezés legyen hatékony, de ne rontsa a felhasználói élményt.
Gyakorlati megoldások és jövőbeli irányok
Fontos lépés a fingerprinting-alapú azonosítás fejlesztése és bevezetése, amely lehetővé teszi a dinamikus döntéseket a lekérések feldolgozásáról.
A fejlesztőknek érdemes mérlegelniük a betöltési idő és a felhasználói élmény közötti kompromisszumokat, miközben a rendszer folyamatosan tanul a viselkedésmintákból.
Végső soron a cél, hogy a megbízható, legitim felhasználók számára gördülékeny élményt biztosítsunk, miközben a scraping tevékenységet korlátozzuk és a kockázatokat minimalizáljuk.
