S účinností od 1. září společnost Google přestane podporovat nepodporovaná a nepublikovaná pravidla v protokolu exkluzivních robotů, oznámila společnost na blogu Google Webmaster. To znamená, že Google již nebude podporovat direktiv noindex v robots.txt souboru.
Jaké jsou alternativy?
Google uvedl následující možnosti, které byste pravděpodobně měli použít (V překladu):
(1) Noindex v meta tag robots: Směrnice noindex je podporována jak v záhlaví odpovědí HTTP, tak v HTML, když je povoleno procházení, nejúčinnějším způsobem odstranění URL z indexu.
(2) 404 a 410 stavových kódů HTTP : Oba stavové kódy znamenají, že stránka neexistuje, která po procházení a zpracování vyřadí takové adresy URL z indexu Google.
(3) Ochrana heslem: Pokud se označení nepoužívá k označení předplatného nebo placeného obsahu , skrytí stránky za přihlašovacím údajem ji obvykle odstraní z indexu Google.
(4) Disallow v robots.txt: Vyhledávače mohou indexovat pouze stránky, o kterých vědí, takže blokování stránky v procházení často znamená, že její obsah nebude indexován. Přestože vyhledávací stroj může indexovat také URL na základě odkazů z jiných stránek, aniž by viděl samotný obsah, snažíme se, aby tyto stránky byly v budoucnu méně viditelné.
(5) Nástroj Odstranit adresy URL: Tento nástroj je rychlá a snadná metoda dočasného odebrání adresy URL z výsledků vyhledávání Google.
Proč by Vám na tom mělo záležet?
Nejdůležitější věcí je, abyste se ujistili, že v souboru robots.txt nepoužíváte direktivu noindex. Jinak by se vám mohlo stát, že Google začne indexovat stránky u kterých to vy nechcete.
Google již v tuto chvíli skrz Google Seach Console začíná upozorňovat klienty, aby odebrali direktiv noindex ze souboru Robots.txt.
Přečtěte si také, jak robots.txt správně nastavit.
Jak zjistit, zda máte umístěný v robots.txt direktiv noindex?
Stačí pokud přejdete do Vašeho souboru robots, který je umístěný na doméně po vzoru: https://www.VaseDomena.cz/robots.txt
Zde vyhledejte na stránce text “noindex”. Pokud zde žádný nenajdete, tak ho ani v robots.txt nemáte.
Pokud ho zde najdete, je potřeba vymyslet jednu z výše uvedených alternativ za noindex.
Co přijde dále?! 😀
Google již v minulosti zakázal operátor info, a atributy pro stránkování rel=next/prev, nyní přichází na řadu odstranění noindex, tak jsme zvědaví, co nám Google do budoucna nadělí.
Výše v textu zmiňujeme stavové kódy pro HTTP. Pokud by vás tato problematika zajímala více, podívejte se na tento článek (v angličtině). Dozvíte se v něm, jak HTTP stavové kódy využít pro zlepšení SEO vašich stránek: https://www.clickintelligence.co.uk/header-response-checker/
Když chcete najít všechny důležité informace o robots.txt na jednom místě – k čemu slouží soubor robots.txt, jak jej vytvořit, aktualizovat i jak pracovat se sitemapou robots.txt – tohle vše naleznete v přehledném článku Robots.txt: Kompletní průvodce, návod, tipy a rady.