Neblokujte GoogleBota při procházení stránek s 404 chybou

Další z mnoha otázek mířená na Johna Muellera z Googlu řeší blokaci procházení stránek s kódem 404. John uvedl, že se jedná o “opravdu špatný nápad, který způsobí mnoho potíží“, pokud zablokujete Googlebota nebo jiného vyhledávacího robota při procházení stránek, které vrací chybu 404.

Jeden webmaster sám napsal, že jeho web automaticky blokuje roboty, kteří najdou více jak deset 404 stránek, včetně Googlebota, a to je problém. John na to odpověděl, že se jedná o opravdu špatný nápad, který způsobí nejrůznější problémy. Podle jeho slov se nedá vyhnout tomu, aby Googlebot a ostatní vyhledávače narazily na 404. Procházení vždy zahrnuje i URL, které byly dříve 404.

Sám pak v dalším tweetu napsal: „Lidé denně procházejí miliardy 404 stránek – je to normální součást internetu, jako signál, že daná URL neexistuje. To není nic co by jste měli potlačit.“

Ačkoliv můžete opravit své 404 stránky různými způsoby, automatické blokování Googlu v přístupu k 404 stránkám bez znalosti toho, jak Google přistupuje k těmto stránkám, může být opravdu špatný nápad. Počet 404 stránek můžete sledovat buď v aplikaci Google Search Console nebo přímo v Collabimu, v sekci stránky