SEO Akademie Collabim
S láskou a vidinou klientů píše Collabim Nejpoužívanější český SEO nástroj

Robots.txt

Robots.txt je soubor uložený v kořenovém adresáři, jenž vyhledávačům sděluje pravidla procházení webu. Můžete tak vyhledávačům říct, ať na náš web nechodí vůbec, nebo jen do některých částí viz článek: Skrývání obsahu nebo odkazů.

Dále slouží k optimalizaci crawl budgetu, který limituje počet návštěv stránek vyhledávačem při procházení vašeho webu. Jde o to, že zde není neomezený zdroj a tudíž potřebují nějaký systém. Jsou zde dva faktory, kterými jsou Crawl limit a Crawl demand.

Na tento odkaz NEklikejte, pokud chcete s Vaší konkurencí hrát v SEO fair play.

Současně by měl obsahovat odkaz na sitemapu, ve které je seznam všech stránek webu, které si přejete odeslat do indexu.

Příklad zápisu Robots.txt

V ukázce od Shoptetu vidíte například zákaz procházení stránek pro řazení produktů (Disallow: /*?order) podle ceny, prodávanosti a abecedy, vyloučení parametrů (Disallow: /*?pv*=*,), které nechcete posílat do výsledků vyhledávání, zákaz procházení košíku (Disallow: /kosik/), registračních stránek (Disallow: /registrace/) a další podmínky.

User-agent: *
Disallow: /admin/
Disallow: /script/
Disallow: /api/
Disallow: /action/
Disallow: /*?priceMax
Disallow: /*?priceMin
Disallow: /*?parameterId
Disallow: /*?order
Disallow: /*?availabilityId
Disallow: /*?manufacturerId
Disallow: /*?stock
Disallow: /*?pv*=*,
Disallow: /*&pv*=*,
Disallow: /*?pv*=*&pv*=
Disallow: /*&pv*=*&pv*=
Disallow: /*:*,*/
Disallow: /*?currency=
Disallow: /*/?backTo=
Disallow: /*?dd=*,
Disallow: /*&dd=*,
Disallow: /*?dd=*&pv*=
Disallow: /*?pv*=*&dd=
Disallow: /vyhledavani/
Disallow: /kosik/
Disallow: /login/
Disallow: /registrace/
Disallow: /klient/zapomenute-heslo/
Disallow: /affiliate-registrace/
Disallow: /affiliate-zapomenute-heslo/

Disallow: /*:diskuse
Disallow: /*:dotaz
Disallow: /*:hlidat-cenu
Disallow: /*:hodnoceni
Disallow: /*:wysiwyg

Sitemap: https://www.dudlu.cz/sitemap.xml

Každý redakční systém (dodavatel řešení) používá jiné schéma zápisu URL a mělo by tak být na jeho iniciativě správně napodmínkovat Robots.txt tak, aby se zbytečně nečerpal Crawler budget a roboti se mohli věnovat stránkám, které mají přidanou hodnotu a chcete je dostat co nejdříve do výsledků vyhledávání (produkty, kategorie, články atd.).

Špatně napodmínkovaný robots.txt může vést k blokaci procházení důležitých stránek, ale jeho existence není přímý hodnotící faktor.

Konec podpory direktiv noindexu v souboru robots.txt Googlem

Autor faktoru: David Haták (Collabim) & Tomáš Zahálka (SEO konzultant)

Které vyhledávače tento faktor ovlivňuje?

: Google
Bez vlivu
: Seznam
Bez vlivu

Míra závažnosti: Vysoká
Typ SEO:
Technické (vývojáři)

Příklady z praxe

Přidat příklad z praxe

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

Jak se hýbe český internet? Sledujte denní statistiky!

Zobrazit