★ Pokud používáte CMS, například Wix nebo Blogger, nemusíte (nebo nemůžete) soubor robots.txt upravovat přímo. Místo toho může váš CMS zobrazit stránku s nastavením vyhledávání nebo nějaký jiný mechanismus, který vyhledávačům sdělí, zda mají vaši stránku procházet, nebo ne.

Pokud chcete skrýt nebo zrušit skrytí některé ze svých stránek před vyhledávači, vyhledejte ve svém CMS návod na úpravu viditelnosti stránky ve vyhledávačích (například vyhledejte „wix hide page from search engines“ – „wix skrývá stránku z vyhledávačů“).

Nemáte představu, kolik tržeb ze SEO Vašemu webu či e-shopu měšíčně utíká? Rádi Vám budeme věnovat čas osobně. Ukážeme Vám, o kolik peněz byste mohli každý měsíc vydělat více jen díky SEO! A to ZDARMA. Chci konzultaci ZDARMA >>

Chcete-li aktualizovat pravidla ve stávajícím souboru robots.txt, stáhněte si kopii souboru robots.txt ze svého webu a proveďte potřebné úpravy.

Stáhněte si soubor robots.txt

Soubor robots.txt můžete stáhnout různými způsoby, například:

Přejděte na svůj soubor robots.txt, například https://collabim.cz/robots.txt, a zkopírujte jeho obsah do nového textového souboru v počítači. Při vytváření nového místního souboru se ujistěte, že dodržujete pokyny týkající se formátu souboru.
Stáhněte si aktuální kopii souboru robots.txt pomocí nástroje, jako je cURL. Například:

curl https://collabim.cz/robots.txt -o robots.txt

Pomocí testeru robots.txt v Google Search Console si stáhněte kopii souboru robots.txt.

1. Klikněte na tlačítko Odeslat (Submit) v pravém dolním rohu editoru robots.txt. Tato akce otevře dialogové okno Odeslat (Submit dialog).
2. Kód robots.txt stáhnete ze stránky Tester robots.txt kliknutím na tlačítko Stáhnout (Download) v dialogovém okně Odeslat (Submit dialog).

Upravte soubor robots.txt

Otevřete soubor robots.txt stažený z webu v textovém editoru a proveďte potřebné úpravy pravidel. Ujistěte se, že používáte správnou syntaxi a že jste soubor uložili v kódování UTF-8.

Nahrání souboru robots.txt

Nový soubor robots.txt nahrajte do kořenového adresáře své domény jako textový soubor s názvem robots.txt. Způsob nahrání souboru na web je velmi závislý na platformě a serveru. Podívejte se na naše tipy, kde najdete pomoc s nahráním souboru robots.txt na váš web.

★ Pokud nemáte oprávnění nahrávat soubory do kořenového adresáře domény, obraťte se na správce domény a proveďte změny.

Pokud se například domovská stránka vašeho webu nachází pod subdoménou.example.com/site/example/, pravděpodobně nemůžete aktualizovat soubor robots.txt na subdoméně.example.com/robots.txt. V takovém případě se obraťte na vlastníka domény example.com/, aby provedl potřebné změny souboru robots.txt.

Obnovení mezipaměti robots.txt společnosti Google

Během procesu automatického procházení si prohlížeče Google všímají změn, které jste provedli v souboru robots.txt, a každých 24 hodin aktualizují jeho verzi v mezipaměti. Pokud potřebujete aktualizovat mezipaměť rychleji, použijte funkci Odeslat (Submit) v testeru robots.txt.

Klepnutím na tlačítko Zobrazit nahranou verzi (View uploaded version) se přesvědčte, že váš soubor robots.txt v reálném čase odpovídá verzi, kterou má Google procházet.
Kliknutím na tlačítko Odeslat (Submit) oznámíte společnosti Google, že byly provedeny změny v souboru robots.txt, a požádáte ji o jeho procházení.
Zkontrolujte, zda byla vaše nejnovější verze úspěšně procházena společností Google, obnovením stránky v prohlížeči, aby se aktualizoval editor nástroje a zobrazil se váš živý kód robots.txt. Po obnovení stránky můžete také kliknutím na rozevírací seznam zobrazit časové razítko, kdy Google poprvé viděl nejnovější verzi vašeho souboru robots.txt

Když chcete najít všechny důležité informace o robots.txt na jednom místě – k čemu slouží soubor robots.txt, jak jej vytvořit, aktualizovat i jak pracovat se sitemapou robots.txt – vše naleznete v přehledném článku Robots.txt: Kompletní průvodce, návod, tipy a rady.

Překlad, odborná a obsahová korektura: SEOPRAKTICKY.CZ

Použité zdroje

Submit Updated Robots.txt to Google | Google Search Central | Documentation | Google Developers. Google for Developers – Software Development Guides, Tools & More | Google Developers [online]. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/robots/submit-updated-robots-txt