A legutóbbi SEO diskurzusokban egy Reddit-fórum bejegyzése felkeltette a figyelmet, amelyben egy felhasználó a Googlebot crawl aktivitásának drámai csökkenéséről számolt be. John Mueller, a Google szakértője, válaszolt a problémára, és rámutatott, hogy a hirtelen csökkenés mögött valószínűleg szerveroldali hibák állnak, nem pedig a 404-es hibák, melyek az eltűnő URL-eket jelzik.
Az érintett felhasználó arról számolt be, hogy a crawl kérések száma körülbelül 90%-kal csökkent 24 órán belül, miután hibás hreflang URL-eket telepítettek az HTTP fejlécben. Ezek az URL-ek 404-es hibát adtak vissza, amikor a Googlebot megpróbálta őket lekérni. A felhasználó megemlítette: „A múlt héten egy telepítés véletlenül hibás hreflang URL-eket adott hozzá a Link: HTTP fejléchez az egész oldalon: a Googlebot azonnal megpróbálta lekérni őket → mindegyik 404-es hibát adott vissza. 24 órán belül a crawl kérések körülbelül 90%-kal csökkentek. Az indexelt oldalak stabilak, de a crawl volumen még nem állt helyre.”
Miért történik a hirtelen crawl csökkenés?
Mueller azt állította, hogy a 404-es hibák önmagukban nem okoznának ilyen gyors reakciót, ehelyett a szerveroldali problémák valószínűbb okok. Megjegyezte: „Csak akkor várnám el, hogy a crawl arány ilyen gyorsan reagáljon, ha 429-es, 500-as, 503-as hibák vagy időtúllépések történtek, ezért javaslom, hogy ellenőrizze, mi is történt valójában (a 404-es hibák általában rendben vannak, és miután a Googlebot felfedezi őket, újra próbálkozik).”
Mueller példaként megemlítette, hogy ha egy CDN blokkolta a Googlebotot, akkor ezt a problémát is meg kell oldani. Miután a szerveroldali problémák rendeződnek, a crawl arány automatikusan visszatér a normális szintre, azonban nincs meghatározott időkeret erre a folyamatra.
A Google ajánlása a crawl menedzsmenthez
A Google dokumentált irányelvei szerint, ha rövid időre korlátozni kell a crawl aktivitást, ajánlott 500-as, 503-as vagy 429-es válaszokat visszaadni. A 403-as és 404-es hibák nem szerepelnek ebben a kontextusban, mivel azok nem szolgálnak a crawl korlátozásának indoklásaként.
Fontos megjegyezni, hogy ha a crawl kérések hirtelen csökkennek, először is érdemes ellenőrizni, hogy a szerverek és a CDN mit adtak vissza a Googlebotnak az adott időszakban. A naplókat és a Search Console Crawl Stat-jait érdemes figyelni, hogy észleljük a 429-es, 500-as, 503-as hibák vagy időtúllépések számának emelkedését. Továbbá, győződjünk meg arról is, hogy a CDN, a WAF vagy a sebességkorlátozó nem zárta-e ki a Googlebotot, és hogy a jelentett 404-es hibák domináló jelenségnek számítanak-e, nem pedig véletlen egybeesésnek.
Mit tegyünk a crawl csökkenésekor?
Ha a crawl kérések száma hirtelen zuhanni kezd, a legfontosabb lépés az, hogy alaposan ellenőrizzük a szerveroldali beállításokat és naplókat. Az időtartam, amíg a crawl aktivitás helyreáll, változó lehet, Mueller hangsúlyozta, hogy ez nem azonnali folyamat. A crawl arány a szerveroldali problémák megoldása után automatikusan visszatér a normális szintre, de a pontos időkeret nincs meghatározva. Az SEO szakembereknek figyelemmel kell kísérniük a Google Search Console-t és más analitikai eszközöket, hogy megértsék a weboldaluk teljesítményét, és az esetleges problémákat időben észleljék.
A helyes diagnózis és a gyors reagálás kulcsfontosságú ahhoz, hogy a webhelyek megtartsák a Googlebot crawl aktivitását, és ezáltal a keresőoptimalizálás (SEO) szempontjából is kedvező helyzetben maradjanak. Az ilyen típusú problémák elkerülése érdekében ajánlott folyamatosan monitorozni a weboldal teljesítményét, és proaktívan kezelni a szerveroldali beállításokat.
