Úvod
V SEO často rozhodují detaily a soubor robots.txt nebo meta tag robots mezi ně bezpochyby patří. Správné nastavení těchto prvků může pomoci vyhledávačům pochopit, které části webu mají indexovat. Špatné nastavení naopak dokáže „odstřihnout“ váš web od návštěvnosti úplně.
Co je robots.txt a jak funguje
Toto téma už máme rozsáhle probrané v našem článku Kompletní průvodce proto jen stručně pro připomenutí.
Soubor robots.txt je jednoduchý textový dokument, který se nachází v kořenovém adresáři webu (např. https://www.vasedomena.cz/robots.txt).
Slouží k tomu, aby řekl vyhledávačům, které části webu mohou nebo nemají procházet.
Příklad základního nastavení:
User-agent: *
Disallow: /admin/
Disallow: /kosik/
Allow: /
Sitemap: https://www.vasedomena.cz/sitemap.xml
Co to znamená:
- User-agent: * – pravidla platí pro všechny roboty (např. Googlebot, Bingbot).
- Disallow – zakazuje přístup do konkrétní sekce (např. administrace, košík).
- Sitemap – odkaz na mapu webu, která pomáhá robotům najít všechny důležité stránky.
Soubor robots.txt neříká, co se má indexovat, ale pouze co se má procházet. Google stránku, kterou nenajde díky odkazu nebo sitemapě, indexovat nemůže, ale pokud ji někde najde, může ji přesto zaindexovat i přes zákaz procházení.
Co je meta robots tag
Na toto téma najdete podrobné informace zde v článku.
Meta tag robots se umisťuje do <head> části HTML kódu jednotlivé stránky. Oproti robots.txt umožňuje mnohem přesněji řídit, co se má indexovat nebo sledovat.
Příklad:
<meta name=”robots” content=”noindex, nofollow”>
Tento zápis říká vyhledávačům:
- „neindexuj tuto stránku“
„neprocházej odkazy z této stránky“
Další běžné hodnoty:
- index – stránku může indexovat
- follow – může sledovat odkazy
- noarchive – nezobrazovat uloženou kopii stránky
- nosnippet – nezobrazovat úryvek textu ve výsledcích
Nejčastější chyby, které mohou stát návštěvnost
- Globální blokace webu
User-agent: *
Disallow: /
- → Web je pro roboty kompletně nepřístupný.
- Blokace CSS nebo JS souborů
- Google potřebuje vidět web tak, jak ho vidí uživatel. Pokud mu zablokujete přístup ke stylům nebo skriptům, může to ovlivnit hodnocení použitelnosti a Core Web Vitals (= sada tří metrik, které Google používá k měření toho, jak kvalitní je uživatelský zážitek při načítání webové stránky).
- Chybějící sitemap v robots.txt
- Sitemap pomáhá Googlebotovi pochopit strukturu webu a najít nové stránky rychleji.
Jak ověřit, že Google vidí váš web správně
Google Search Console -> Nástroj „Kontrola adresy URL“
- Zkontrolujte, zda je stránka v indexu.
- Uvidíte, jestli ji blokuje robots.txt nebo meta tag.
Collabim -> Indexace a viditelnost klíčových slov
- Sledujte, jestli nedošlo k náhlému poklesu pozic nebo vypadnutí z výsledků.
- Pokud ano, zkontrolujte právě soubor robots.txt nebo meta robots.
Ověření v prohlížeči:
- Otevřete https://www.vasedomena.cz/robots.txt
- Zobrazte zdrojový kód stránky a vyhledejte <meta name=”robots” …>
Nástroje pro ověření
- Meta Tags Inspector
Google Mobile-Friendly Test (odhalí JS/CSS blokace)
- URL Inspection API – pro pokročilé.
- Collabim analýza URL
SEO tipy:
- Robots.txt využijte pro technické části webu, které nemají být procházeny.
- Meta robots pro řízení indexace obsahu na úrovni konkrétních stránek.
- A hlavně: vždy otestujte změny, než je nasadíte na celý web.
Shrnutí
Správné nastavení robots.txt a meta robots patří k základům technického SEO. Je to sice detail, ale právě ten může rozhodnout o tom, jestli se váš web ve výsledcích zobrazí, nebo zmizí.
Nejčastější dotazy
Můžu zakázat indexaci pomocí robots.txt?
Ne. Soubor robots.txt pouze omezuje procházení, nikoli indexaci. Pokud stránku někde najde jiný web nebo odkaz, Google ji může i tak zaindexovat. K úplnému vyloučení z indexu použijte meta robots „noindex“.
Jak zjistím, jestli Google vidí moji stránku správně?
V Google Search Console to ukáže, jestli je stránka v indexu, jestli ji něco blokuje a jaký je její stav procházení. Nebo Collabim- Analýza URL, kde zjistíte zda máte stránky zaindexované.
Co když chci, aby některé stránky sledovaly odkazy, ale nebyly indexovány?
Použijte kombinaci noindex, follow v meta robots tagu. Google neindexuje stránku, ale stále sleduje odkazy z ní.
Může špatné nastavení robots.txt ovlivnit rychlost indexace nových stránek?
Ano. Pokud Googlebot nemá přístup k CSS, JS nebo k důležitým částem webu, může to zpomalit procházení a indexaci nového obsahu.
Zdroje
Robots meta tag – oficiální dokumentace Google (Robots meta tag – oficiální dokumentace Google), Google Developers
Odkaz: https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag
Úvod do souboru robots.txt (Introduction to robots.txt), Google Developers
Odkaz: https://developers.google.com/search/docs/crawling-indexing/robots/intro
Robots.txt (Robots.txt), Wikipedia
Odkaz: https://cs.wikipedia.org/wiki/Robots.txt
