Crawl budget (crawl space, crawl time) určuje objem URL, který je schopný vyhledávač projít za určité časové období pro předání k indexaci a přiřazení ranku. Nejedná se o přímý SEO faktor, který by ovlivňoval pozice ve vyhledávání, ale je to důležitý prvek v rámci SEO, který určuje rychlost zaindexování nových stránek a případnou aktualizaci obsahu.
Mezi klíčové vlastnosti crawler budgetu patří crawl limit, jenž určuje množství procházených stránek, crawl demand, který řeší četnost procházení robotem na základě popularity a množství aktuálního obsahu a ve finále crawl waste, jenž se zabývá procházením zbytečných a neexistujících stránek, čímž svůj crawl limit plýtváte na neužitečný obsah.
Každý vyhledávač má svůj vlastní algoritmus, s jehož pomocí prochází stránky. Počet stránek, které bude crawler procházet na vašem webu, je úměrný celkové autoritě, kterou váš web získal prostřednictvím příchozích odkazů. Weby s nižší autoritou mají přidělený menší crawl budget, což je logické a bylo to i potvrzeno Googlem.
Nepostradatelnou součástí optimalizace je zajištění procházení jen důležitých stránek (kategorie, produkty, články, homepage, vstupní stránky tvořené parametry) a eliminovat procházení pro vyhledávače zbytečných stránek typu (řazení, zbytečné kombinatoriky parametrů atd.). K usměrnění crawlera slouží příkazy, které se zapisují do souboru robots.txt.
Zlepšete svůj crawl budget
Pojďme se nyní podívat na několik konkrétních bodů, které vám mohou pomoci vylepšit váš crawl budget. Chcete-li v oblasti SEO skutečně excelovat, není radno tento prvek přehlížet.
Pozor na duplicitní obsah
Stránky s duplicitním obsahem mají nízkou přidanou hodnotu a vašemu crawl budgetu také moc nepomohou. Zaměřte se na procházení jedinečného obsahu a duplicitní stránky konsolidujte.
Opravte chybové stránky
Prvním krokem je zajistit, aby procházené webové stránky vracely buď stavový kód 200 (“OK”) nebo 301 (přesměrování). Stránky vracející chybu 404, 410 apod. nejsou v pořádku. Pokuste se proto odhalit tyto chyby a opravit je. Skvělým zdrojem pro vyhledávání chyb je například Google Search Console.
Blokujte neužitečné stránky
Máte na webu sekce, které v indexu Googlu skutečně mít nepotřebujete? Zablokujte je v Robots.tx. Zabráníte tak plýtvání crawl budgetu na procházení stránek, které pro vás nejsou z hlediska SEO přínosem.
Vyhněte se dlouhým přesměrovacím řetězcům
Vyhněte se také zbytečnému přesměrování. Je-li váš web plný dlouhých řetězců přesměrování (bez www na www, dále http na https apod.), procházení všech těchto stránek trvá déle. Závěr? Plýtvání crawl budgetem.
Autor textu: Honza Vanžura & Tomáš Zahálka (SEO konzultant)
:
Pozitivně
:
