Az internetes keresőoptimalizálás (SEO) területén újabb jelentős esemény zajlott le: a Cloudflare bejelentette, hogy eltávolította a Perplexity nevű szolgáltatás crawlerszolgáltatását a hitelesített botok listájáról, és mostantól aktívan blokkolja annak tevékenységeit. Ez a lépés számos felhasználói panaszra válaszul történt, amelyek a Perplexity robots.txt szabályainak megszegésére vonatkoztak. A Cloudflare vizsgálata során kiderült, hogy a Perplexity agresszív, csalárd bot taktikákat alkalmazott, hogy bejusson a weboldalakra.
Cloudflare és a Hitelesített Botok Programja
A Cloudflare saját rendszere, a Hitelesített Botok Program, lehetővé teszi a weboldalak védelmét és a megbízható botok whitelistingjét. Ezeknek a botoknak meg kell felelniük bizonyos szabályoknak, például tiszteletben kell tartaniuk a robots.txt protokollt, hogy fenntartsák kiváltságos státuszukat. A Perplexity esetében a vizsgálatok kimutatták, hogy a szolgáltatás megszegte ezeket az előírásokat, ami a Cloudflare döntéséhez vezetett a hiteles botok közül való törléséről.
A Perplexity Által Alkalmazott Csalárd Taktikák
Az egyik fő probléma, amellyel a Cloudflare szembesült, az a Perplexity által végzett agresszív crawling volt. A Perplexity IP-címeket forgatott, megváltoztatta az autonóm rendszerek (ASN) azonosítóit, és olyan böngészőket utánozott, mint a Chrome. A Perplexity rendelkezik egy hivatalos IP-címek listájával, amelyet egy adott ASN-ből használnak. Ez segít megkülönböztetni a legitim crawlereket a Perplexity botjaitól. Azonban amikor a szolgáltatás blokkolva volt, a Perplexity megpróbálta megkerülni a korlátozást azzal, hogy más, nem hivatalos IP-címekre váltott, amelyek más ASN-hez tartoztak.
Egy másik észlelt ügyeskedés a felhasználói ügynök hamisítása volt. A Perplexity megváltoztatta a botjainak azonosítóját, hogy kijátssza a robots.txt által beállított korlátozásokat. Például a Perplexity botjai a következő felhasználói ügynökökkel azonosíthatók: PerplexityBot és Perplexity-User. A Cloudflare észlelte, hogy a Perplexity a felhasználói ügynök blokkolásokra reagálva egy másik ügynököt használt, amely úgy tűnt, mint egy normál felhasználó, aki Chrome böngészőt használ Mac rendszeren.
A Cloudflare Reakciója és a SEO Hatások
A Cloudflare hivatalosan bejelentette, hogy a Perplexity-t eltávolították a hitelesített botok közül, és új blokkolási szabályokat vezettek be a csalárd crawling megakadályozására. A Cloudflare képviselői hangsúlyozták, hogy az internet világa, ahogyan azt az elmúlt három évtizedben ismertük, gyorsan változik, de az alapelv, hogy a bizalomra épül, továbbra is érvényes. A crawlerekkel szemben támasztott elvárások közé tartozik, hogy átláthatóak legyenek, világos célt szolgáljanak és kövessék a weboldalak irányelveit.
A SEO szakemberek számára fontos üzenet, hogy a Cloudflare felhasználóknak érdemes ellenőrizniük, hogy a Perplexity crawlerszolgáltatása blokkolva van-e a weboldalukon, és ha igen, akkor engedélyezniük kell annak crawlerszolgáltatását a Cloudflare irányítópultján. A Perplexity eltávolítása mint hitelesített bot komoly válaszként értékelhető a csalárd botok agresszív viselkedésére.
A Perplexity Válasza és a Jövőbeli Kihívások
A Perplexity reagált a Cloudflare bejelentésére, és kijelentette, hogy a Cloudflare félreérti az AI asszisztenseik működését. A Perplexity képviselői hangsúlyozták, hogy a felhasználói indítványozott adatigénylések nem azonosak a hagyományos web crawlerszolgáltatásokkal. A Perplexity érvelése szerint, ha a Cloudflare nem tudja megkülönböztetni a segítő digitális asszisztenseket a rosszindulatú scraper botoktól, akkor nem lenne szabad döntéseket hoznia arról, hogy mi számít legitim webes forgalomnak.
A Cloudflare és a Perplexity közötti konfliktus jól tükrözi a digitális környezet folyamatos fejlődését és a SEO szakemberek előtt álló kihívásokat. A jövőben a weboldalak védelme és a botok kezelése kulcsfontosságú lehet a keresőoptimalizálás hatékonyságának megőrzésében, ezért a szakembereknek folyamatosan figyelemmel kell kísérniük az ilyen eseményeket és alkalmazkodniuk kell a változó körülményekhez.
