Google má propracované algoritmy, které určují optimální rychlost procházení webu. Jeho cílem je při každé návštěvě procházet co nejvíce stránek z vašeho webu, aniž by zahltil šířku pásma vašeho serveru. V některých případech může prohledávání vašeho webu společností Google způsobovat kritické zatížení vaší infrastruktury nebo nežádoucí náklady při výpadku. Chcete-li tuto situaci zmírnit, můžete se rozhodnout snížit počet požadavků prováděných robotem Google.

Varování: Při zvažování snížení rychlosti procházení robotem Google mějte na paměti, že to bude mít znatelné dopady. Googlebot objeví méně nových stránek, stávající stránky budou méně často obnovovány (například ceny a dostupnost produktů se mohou ve vyhledávání projevit až po delší době) a odstraněné stránky mohou zůstat v indexu déle.

Nemáte představu, kolik tržeb ze SEO Vašemu webu či e-shopu měšíčně utíká? Rádi Vám budeme věnovat čas osobně. Ukážeme Vám, o kolik peněz byste mohli každý měsíc vydělat více jen díky SEO! A to ZDARMA. Chci konzultaci ZDARMA >>

Pokud se rozhodnete snížit rychlost procházení robotem Google, nabízíme vám několik možností:

snížit míru procházení pomocí Google Search Console (doporučujeme),
nechat Google snížit rychlost procházení automaticky.

Snížení rychlosti procházení pomocí služby Search Console (doporučujeme)

Chcete-li rychle snížit rychlost procházení, můžete změnit rychlost procházení Googlebotem v Google Search Console. Změny tohoto nastavení se zpravidla projeví během několika dní. Chcete-li toto nastavení použít, nejprve ověřte vlastnictví webu. Dbejte na to, abyste nenastavili rychlost procházení na hodnotu, která je pro potřeby vašeho webu příliš nízká.

Pokud je nastavení rychlosti procházení pro váš web nedostupné, podejte zvláštní žádost o snížení rychlosti procházení. O zvýšení rychlosti procházení nelze požádat.

Nechte Google automaticky snížit rychlost procházení

Pokud potřebujete naléhavě snížit rychlost procházení na krátkou dobu (například několik hodin nebo 1-2 dny), pak místo celého obsahu vraťte informační chybovou stránku se stavovým kódem odpovědi HTTP 500, 503 nebo 429. Googlebot sníží rychlost procházení vašeho webu, pokud narazí na značný počet adres URL se stavovými kódy HTTP 500, 503 nebo 429 (například pokud jste svůj web zakázali). Tato změna se projeví jak v procházení adres URL, které vracejí tyto chyby, tak i celkově na webu. Jakmile se počet těchto chyb sníží, rychlost procházení se začne automaticky opět zvyšovat.

Varování: Nedoporučujeme provádět tuto činnost po delší dobu (tj. déle než 1-2 dny). Pokud robot Googlebot pozoruje tyto stavové kódy na stejné adrese URL po více dní, může adresu URL vyřadit z indexu Google.

Překlad, odborná a obsahová korektura: SEOPRAKTICKY.CZ

Použité zdroje

Reduce Googlebot Crawl Rate | Google Search Central | Documentation | Google Developers. Google for Developers – Software Development Guides, Tools & More | Google Developers [online]. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/reduce-crawl-rate