Crawl budget (crawl space, crawl time) určuje objem URL, který je schopný vyhledávač projít za určité časové období pro předání k indexaci a přiřazení ranku. Nejedná se o přímý SEO faktor, který by ovlivňoval pozice ve vyhledávání, ale je to důležitý prvek v rámci SEO, který určuje rychlost zaindexování nových stránek a případnou aktualizaci obsahu.
Mezi klíčové vlastnosti crawler budgetu patří crawl limit, jenž určuje množství procházených stránek, crawl demand, který řeší četnost procházení robotem na základě popularity a množství aktuálního obsahu a ve finále crawl waste, jenž se zabývá procházením zbytečných a neexistujících stránek, čímž svůj crawl limit plýtváte na neužitečný obsah.
Každý vyhledávač má svůj vlastní algoritmus, s jehož pomocí prochází stránky. Počet stránek, které bude crawler procházet na vašem webu, je úměrný celkové autoritě, kterou váš web získal prostřednictvím příchozích odkazů. Weby s nižší autoritou mají přidělený menší crawl budget, což je logické a bylo to i potvrzeno Googlem.
Nepostradatelnou součástí optimalizace je zajištění procházení jen důležitých stránek (kategorie, produkty, články, homepage, vstupní stránky tvořené parametry) a eliminovat procházení pro vyhledávače zbytečných stránek typu (řazení, zbytečné kombinatoriky parametrů atd.). K usměrnění crawlera slouží příkazy, které se zapisují do souboru robots.txt.
![Crawl budget (Zdroj: Google Search Console)](https://www.collabim.cz/akademie/wp-content/uploads/2019/11/crawl-budget-dudlu.png)
Zlepšete svůj crawl budget
Pojďme se nyní podívat na několik konkrétních bodů, které vám mohou pomoci vylepšit váš crawl budget. Chcete-li v oblasti SEO skutečně excelovat, není radno tento prvek přehlížet.
Pozor na duplicitní obsah
Stránky s duplicitním obsahem mají nízkou přidanou hodnotu a vašemu crawl budgetu také moc nepomohou. Zaměřte se na procházení jedinečného obsahu a duplicitní stránky konsolidujte.
Opravte chybové stránky
Prvním krokem je zajistit, aby procházené webové stránky vracely buď stavový kód 200 (“OK”) nebo 301 (přesměrování). Stránky vracející chybu 404, 410 apod. nejsou v pořádku. Pokuste se proto odhalit tyto chyby a opravit je. Skvělým zdrojem pro vyhledávání chyb je například Google Search Console.
Blokujte neužitečné stránky
Máte na webu sekce, které v indexu Googlu skutečně mít nepotřebujete? Zablokujte je v Robots.tx. Zabráníte tak plýtvání crawl budgetu na procházení stránek, které pro vás nejsou z hlediska SEO přínosem.
Vyhněte se dlouhým přesměrovacím řetězcům
Vyhněte se také zbytečnému přesměrování. Je-li váš web plný dlouhých řetězců přesměrování (bez www na www, dále http na https apod.), procházení všech těchto stránek trvá déle. Závěr? Plýtvání crawl budgetem.
Autor textu: Honza Vanžura & Tomáš Zahálka (SEO konzultant)