Nová tištěná kniha o SEO
SEO Akademie Collabim
S láskou a vidinou klientů píše Collabim Nejpoužívanější český SEO nástroj

Google může zaindexovat stránky, které jsou zablokované v robots.txt!

Problém nastal, kdy bylo na Johna Mullera dotazováno na twitteru, jak je možné, že stránka jednoho majitele webu je zaindexována i když ji má zablokovanou k indexaci v robots.txt

Ten odpověděl, že to, že je stránka v robots.txt nemusí znamenat, že se nezaindexuje. Pokud totiž bude Google crawlovat jinou stránku, na které je odkaz na Vaši stránku a vy ji máte zakázanou pouze v robots.txt také ji zaindexuje!

Je pro vás SEO zatím velká neznámá a chcete se dozvědět, co to obnáší? Vydali jsme knihu, která obsahuje všechny základní informace a postupy, které pro SEO budete potřebovat. V knize najdete vysvětlení základních SEO pojmů, metody pro optimalizaci nebo třeba i to, jak SEO vyhodnocovat. Chci knihu Základy SEO: Jasně a stručně >>

Jak funguje Robots.txt?

Často si myslíme, že Robots.txt je způsob, jak zablokovat Googlu zahrnutí stránky do indexu Googlu. Soubor robots.txt je však jen způsob, jak blokovat stránky, které Google prochází při crawlování Vaší domény.

Barry Adams o tom krásně psal na svém twitteru (volně přeloženo z anglické verze):

“Robots.txt je nástroj pro správu crawlování, nikoli nástroj pro správu indexování.
Chcete-li zabránit indexování, použijte směrnice robots meta tags nebo HTTP hlavičku X-Robots-Tag a naopak nechte Googlebot procházet tyto stránky, které nechcete indexovat, aby viděl tyto směrnice.”

Co s tím tedy?

Doporučení Johna Mullera z Google je použít meta tag noindex místo zablokování v robots.txt


„… Chcete-li jim zabránit indexování, použil bych robots meta tag noindex místo zablokování v robots.txt.“

Robots Meta Tag Noindex

Robots meta tag noindex umožňuje, aby procházené stránky nebyly zaindexovány. Nezastavuje procházení stránky, ale zajišťuje, že stránka bude ponechána mimo index Google.
Značka metadat noindex je tedy podle Johna Mullera lepší než protokol vyloučení robots.txt pro udržení indexování webové stránky.
Pokud se náhodou vyhledavač dostane na Vaši webovou stránku přes odkaz na jiné, bude vědět, že ji nemá zahrnout do svého indexu.

Jak vložit noindex na Vaše stránky a další info najdete v officiální nápovědě Google.

Když chcete najít všechny důležité informace o robots.txt na jednom místě – k čemu slouží soubor robots.txt, jak jej vytvořitaktualizovat i jak pracovat se sitemapou robots.txt – vše naleznete v přehledném článku Robots.txt: Kompletní průvodce, návod, tipy a rady.

Nemáte představu, kolik tržeb ze SEO Vašemu webu či e-shopu měšíčně utíká? Rádi Vám budeme věnovat čas osobně. Ukážeme Vám, o kolik peněz byste mohli každý měsíc vydělat více jen díky SEO! A to ZDARMA. Chci konzultaci ZDARMA >>

Další články

Jak se hýbe český internet? Sledujte denní statistiky!

Zobrazit