A Cloudflare legfrissebb bejelentése szerint a Perplexity, egy weboldalakat böngésző bot, el lett távolítva a megerősített botok listájáról, és a jövőben blokkolni fogják a hozzá kapcsolódó eszközöket az interneten való böngészés során. A döntés hátterében több felhasználói panasz áll, amelyek a Perplexity által a robots.txt szabályok megsértésére vonatkoztak. A vizsgálat során kiderült, hogy a Perplexity agresszív bot taktikákat alkalmazott, hogy erőszakkal hozzáférjen a weboldalakhoz.
A Cloudflare megerősített bot programja
A Cloudflare egy úgynevezett Megerősített Botok programot működtet, amely lehetővé teszi, hogy a rendszerbe bejegyzett botok hozzáférjenek a Cloudflare által védett weboldalakhoz. Ezeknek a botoknak szigorú szabályokat kell követniük, például be kell tartaniuk a robots.txt előírásait, hogy megőrizzék kiváltságos státuszukat. A Perplexity esetében azonban a vizsgálat során kiderült, hogy több alkalommal is megsértette a Cloudflare követelményeit, amikor a botok nem tartották be a robots.txt előírásokat, és olyan IP-címeket használtak, amelyek nem szerepeltek a böngésző szolgáltatás hivatalos IP-cím listáján.
A Perplexity által alkalmazott rejtett böngészési technikák
A Cloudflare szakemberei különböző szokatlan tevékenységeket figyeltek meg, amelyek a Perplexity agresszív böngészési szándékaira utaltak, különös figyelmet fordítva a robots.txt protokoll megkerülésére. Az egyik ilyen technika az IP-címek körforgása volt, amely lehetővé tette a Perplexity számára, hogy elkerülje a blokkolásokat. A cég különböző autónóm rendszer számok (ASN) alatt működő IP-címeket használt, és hamis böngészőként azonosította magát, például Chrome néven. Ez a gyakorlat a „spoofing” módszere, ahol a bot megpróbálja magát egy valódi böngészőnek álcázni.
Igaz, hogy a Perplexity egy hivatalos IP-cím listát használt, de amikor ezt a listát blokkolták, a cég különböző, nem hivatalos IP-címeket használt, hogy elkerülje a korlátozásokat. Ezen kívül a Perplexity botjai a felhasználói ügynöküket is megváltoztatták, hogy át tudjanak jutni a robots.txt blokkokon, például olyan ügynököt használtak, amely úgy tűnt, hogy egy emberi felhasználó böngészik a Chrome böngészővel.
Cloudflare válasza és következmények
A Cloudflare bejelentette, hogy a Perplexity-t eltávolították a megerősített botok listájáról, és új blokkolási szabályokat vezettek be, hogy megakadályozzák a rejtett böngészést. A cég nyilatkozata szerint az internet, ahogyan azt az elmúlt három évtizedben ismertük, gyorsan változik, de egy dolog állandó: ez a bizalomra épül. A crawleri viselkedésének átláthatónak kell lennie, világos célt kell szolgálnia, és be kell tartania a weboldalak irányelveit és preferenciáit.
Ez a döntés nemcsak a Perplexity-ra vonatkozik, hanem általános figyelmeztetés a botokkal kapcsolatban, amelyek nem tartják tiszteletben a weboldalak tulajdonosainak irányelveit. Az ilyen magatartás nemcsak etikai, hanem jogi problémákhoz is vezethet, és veszélyeztetheti a weboldalak biztonságát.
SEO következmények és ajánlások
A Cloudflare felhasználói, akik szeretnék, hogy a Perplexity hozzáférjen a weboldalaikhoz, érdemes ellenőrizzék, hogy a Cloudflare blokkolja-e a Perplexity crawlereit. Amennyiben igen, a felhasználók a Cloudflare irányítópultján engedélyezhetik a crawlést. A Perplexity-t a Cloudflare a megerősített botok politikájának megsértése miatt távolították el, amely lehetővé teszi a megbízható botok számára, hogy hozzáférjenek az oldalakhoz, ha betartják a közös szabályokat, mint például a robots.txt tiszteletben tartása.
A Perplexity által alkalmazott technikák, mint például az IP-címek körforgása és a felhasználói ügynökök hamisítása, figyelmeztetnek arra, hogy a weboldalaknak folyamatosan figyelniük kell a botok viselkedését. A Cloudflare döntése világosan jelzi a botokkal szembeni szigorúbb fellépést, és azt, hogy a weboldalak védelme érdekében a tulajdonosoknak aktívan kell részt venniük a biztonsági intézkedések kidolgozásában.
