Tento článek podrobně popisuje, jak lze pomocí nastavení na úrovni stránky a textu upravit způsob, jakým společnost Google prezentuje váš obsah ve výsledcích vyhledávání. Nastavení na úrovni stránky můžete zadat pomocí meta značky na stránkách HTML nebo v hlavičce HTTP. Nastavení na úrovni textu můžete zadat pomocí atributu data-nosnippet na prvcích HTML uvnitř stránky.

Mějte na paměti, že tato nastavení lze číst a sledovat pouze v případě, že mají crawlery povolen přístup ke stránkám, které tato nastavení obsahují.

Nemáte představu, kolik tržeb ze SEO Vašemu webu či e-shopu měšíčně utíká? Rádi Vám budeme věnovat čas osobně. Ukážeme Vám, o kolik peněz byste mohli každý měsíc vydělat více jen díky SEO! A to ZDARMA. Chci konzultaci ZDARMA >>

Pravidlo <meta name=”robots” content=”noindex”> platí pro vyhledávače. Chcete-li blokovat nevyhledávací crawlery, například AdsBot-Google, možná budete muset přidat pravidla zaměřená na konkrétní crawler (například <meta name=”AdsBot-Google” content=”noindex”>).

Použití meta tagu robots

Metaznačka robots vám umožňuje využít podrobný přístup specifický pro stránku k řízení toho, jak by měla být jednotlivá stránka indexována a zobrazována uživatelům ve výsledcích vyhledávání Google. Umístěte meta značku robots do sekce <head> na dané stránce takto:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

💡Pokud používáte CMS, jako je Wix, WordPress nebo Blogger, je možné, že nebudete moci upravovat HTML přímo. Místo toho může mít váš CMS stránku s nastavením pro vyhledávače nebo jiný mechanismus, který vyhledávačům sdělí informace o metaznačkách.

Pokud chcete na své webové stránky přidat meta značku, vyhledejte ve svém CMS pokyny k úpravě <head> stránky (například vyhledejte „wix add meta tags“).

V tomto příkladu dává meta značka robots vyhledávačům pokyn, aby stránku nezobrazovaly ve výsledcích vyhledávání. Hodnota atributu name (robots) určuje, že pravidlo platí pro všechny vyhledávače. V atributech name i content se nerozlišují velká a malá písmena. Chcete-li oslovit konkrétní vyhledávač, nahraďte hodnotu robots v atributu name tokenem uživatelského agenta vyhledávače, který oslovujete. Google podporuje dva tokeny uživatelského agenta v meta tagu robots; jiné hodnoty jsou ignorovány:

googlebot: pro všechny textové výsledky,
googlebot-news: pro výsledky zpráv.

Chcete-li například společnosti Google výslovně nařídit, aby ve výsledcích vyhledávání nezobrazovala určitou stránku, můžete jako název meta tagu zadat googlebot:

<meta name="googlebot" content="noindex">

Chcete-li stránku zobrazit ve výsledcích webového vyhledávání Google, ale ne ve Zprávách Google, použijte meta značku googlebot-news:

<meta name="googlebot-news" content="noindex">

Chcete-li zadat více crawlerů jednotlivě, použijte více meta značek robots:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

Chcete-li zablokovat indexování zdrojů jiných než HTML, například souborů PDF, videosouborů nebo obrázků, použijte místo toho hlavičku odpovědi X-Robots-Tag.

Použití hlavičky X-Robots-Tag HTTP

Značku X-Robots-Tag lze použít jako prvek hlavičky HTTP odpovědi pro danou adresu URL. Jakékoli pravidlo, které lze použít v meta značce robots, lze také zadat jako značku X-Robots-Tag. Zde je příklad odpovědi HTTP se značkou X-Robots-Tag, která dává pokyn procházení, aby stránku neindexovalo:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

V odpovědi HTTP lze kombinovat více hlaviček X-Robots-Tag nebo lze zadat seznam pravidel oddělených čárkou. Zde je příklad hlavičky odpovědi HTTP, která obsahuje značku X-Robots-Tag noarchive v kombinaci se značkou X-Robots-Tag unavailable_after.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

Značka X-Robots-Tag může volitelně specifikovat uživatelského agenta před pravidly. Například následující sada hlaviček HTTP X-Robots-Tag může být použita k podmíněnému povolení zobrazení stránky ve výsledcích vyhledávání pro různé vyhledávače:

HTTP/1.1 200 OK
Datum: 25. května 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Pravidla zadaná bez uživatelského agenta jsou platná pro všechny prohlížeče. U hlavičky HTTP, názvu uživatelského agenta a zadaných hodnot se nerozlišují malá a velká písmena.

💡Protichůdná pravidla pro roboty: V případě protichůdných pravidel pro roboty platí přísnější pravidlo. Například pokud má stránka pravidla max-snippet:50 i nosnippet, použije se pravidlo nosnippet.

Platná pravidla indexování a obsluhy

Následující pravidla, která jsou k dispozici také ve strojově čitelném formátu, lze použít k řízení indexování a obsluhy snippet (úryvku) pomocí meta značky robots a značky X-Robots-Tag. Každá hodnota představuje konkrétní pravidlo. Více pravidel lze kombinovat v seznamu odděleném čárkou nebo v samostatných meta značkách. U těchto pravidel se nerozlišují velká a malá písmena.

★ Je možné, že tato pravidla nebudou ve všech ostatních vyhledávačích zpracována stejně.

Pravidla

all

Neexistují žádná omezení pro indexování ani obsluhu. Toto pravidlo je výchozí hodnotou a nemá žádný účinek, pokud je výslovně uvedeno.

noindex

Nezobrazujte tuto stránku, médium nebo zdroj ve výsledcích vyhledávání. Pokud toto pravidlo nezadáte, stránka, médium nebo zdroj mohou být indexovány a zobrazeny ve výsledcích vyhledávání.

nofollow

Odkazy na této stránce nesledujte. Pokud toto pravidlo nezadáte, Google může odkazy na stránce použít k nalezení těchto odkazovaných stránek. Další informace o nofollow.

none

Ekvivalent noindex, nofollow.

noarchive

Nezobrazujte odkaz v mezipaměti ve výsledcích vyhledávání. Pokud toto pravidlo nezadáte, může Google vygenerovat stránku v mezipaměti a uživatelé se k ní mohou dostat prostřednictvím výsledků vyhledávání.

nositelinkssearchbox

Nezobrazujte vyhledávací pole sitelinks ve výsledcích vyhledávání na této stránce. Pokud toto pravidlo nezadáte, může Google ve výsledcích vyhledávání vygenerovat vyhledávací pole specifické pro vaši stránku spolu s dalšími přímými odkazy na vaši stránku.

nosnippet

Ve výsledcích vyhledávání této stránky nezobrazujte úryvek textu ani náhled videa. Statický náhled obrázku (pokud je k dispozici) může být stále viditelný, pokud to vede k lepšímu uživatelskému zážitku. To platí pro všechny formy výsledků vyhledávání (ve službě Google: webové vyhledávání, Obrázky Google).

Pokud toto pravidlo nezadáte, může Google na základě informací nalezených na stránce vygenerovat textový úryvek a náhled videa.

indexifembedded

Společnost Google může indexovat obsah stránky, pokud je vložen do jiné stránky prostřednictvím iframe nebo podobných značek HTML, a to navzdory pravidlu o zákazu indexování.

Indexifembedded má účinek pouze v případě, že je doprovázen pravidlem noindex.

max-snippet: [číslo]

Jako textový úryvek pro tento výsledek vyhledávání použijte maximálně [počet] znaků. (Všimněte si, že adresa URL se může zobrazit jako více výsledků vyhledávání na stránce s výsledky vyhledávání.) To nemá vliv na náhledy obrázků nebo videí. To platí pro všechny formy výsledků vyhledávání (například webové vyhledávání Google, Obrázky Google). Toto omezení však neplatí v případech, kdy vydavatel udělil povolení k použití obsahu zvlášť. Například pokud vydavatel dodává obsah ve formě strukturovaných dat na stránce nebo má se společností Google uzavřenou licenční smlouvu, toto nastavení neruší tato konkrétnější povolená použití. Toto pravidlo se ignoruje, pokud není zadáno žádné rozebíratelné [číslo].

Pokud toto pravidlo nezadáte, společnost Google vybere délku úryvku.

Speciální hodnoty:

0: žádný úryvek se nezobrazí. Ekvivalentní hodnotě nosnippet,
-1: Google vybere délku úryvku, která je podle něj nejefektivnější, aby pomohla uživatelům objevit váš obsah a nasměrovat uživatele na váš web.

Příklady:

Chcete-li zastavit zobrazování úryvku ve výsledcích vyhledávání:

<meta name="robots" content="max-snippet:0">

Umožnění zobrazení až 20 znaků v úryvku:

<meta name="robots" content="max-snippet:20">

Určení, že počet znaků, které lze v úryvku zobrazit, není omezen:

<meta name="robots" content="max-snippet:-1">

max-image-preview: [nastavení]

Nastavení maximální velikosti náhledu obrázku pro tuto stránku ve výsledcích vyhledávání.

Pokud nezadáte pravidlo max-image-preview, může Google zobrazit náhled obrázku ve výchozí velikosti.

Přípustné hodnoty [nastavení]:

none: žádný náhled obrázku se nezobrazí,
standard: v tomto případě se jedná o standardní náhled a může být zobrazen výchozí náhled obrázku,
large: může být zobrazen větší náhled obrázku, až do šířky zobrazovacího pole.

To platí pro všechny formy výsledků vyhledávání (například webové vyhledávání Google, Obrázky Google). Toto omezení však neplatí v případech, kdy vydavatel udělil povolení k použití obsahu zvlášť. Například pokud vydavatel dodává obsah ve formě strukturovaných dat na stránce (například AMP a kanonické verze článku) nebo má licenční smlouvu se společností Google, toto nastavení tato konkrétnější povolená použití neruší.

Pokud nechcete, aby společnost Google používala větší miniatury obrázků při zobrazení jejich stránek AMP a kanonické verze článku ve službě Vyhledávání nebo Objevování, zadejte hodnotu max-image-preview standardní nebo žádnou.

Příklad:

<meta name="robots" content="max-image-preview:standard">

max-video-preview: [počet]

Jako úryvek videa na této stránce ve výsledcích vyhledávání použijte maximálně [počet] sekund.

Pokud pravidlo max-video-preview nezadáte, může společnost Google ve výsledcích vyhledávání zobrazit úryvek videa a vy ponecháte na společnosti Google, aby rozhodla, jak dlouhý může být náhled.

Speciální hodnoty:

0: v souladu s nastavením max-image-preview může být použit nanejvýš statický obrázek,
-1: není stanoveno žádné omezení.

Platí pro všechny formy výsledků vyhledávání (u Google: webové vyhledávání, Obrázky Google, Videa Google). Toto pravidlo se ignoruje, pokud není zadáno žádný vhodný [počet].

Příklad:

<meta name="robots" content="max-video-preview:-1">

notranslate

Nenabízejte překlad této stránky ve výsledcích vyhledávání. Pokud toto pravidlo nezadáte, může Google u výsledků, které nejsou v jazyce vyhledávacího dotazu, poskytnout překlad odkazu na název a úryvek výsledku vyhledávání. Pokud uživatel klikne na přeložený titulní odkaz, veškerá další interakce uživatele se stránkou probíhá prostřednictvím Překladače Google, který automaticky přeloží všechny následující odkazy.

noimageindex

Obrázky na této stránce neindexujte. Pokud tuto hodnotu nezadáte, mohou být obrázky na stránce indexovány a zobrazeny ve výsledcích vyhledávání.

unavailable_after: [datum/čas]

Nezobrazovat tuto stránku ve výsledcích vyhledávání po zadaném datu/času. Datum/čas musí být zadán v obecně přijatém formátu, mimo jiné ve formátech RFC 822, RFC 850 a ISO 8601. Pokud není zadáno žádné platné datum/čas, pravidlo se ignoruje. Ve výchozím nastavení není pro obsah stanoveno žádné datum vypršení platnosti.

Pokud toto pravidlo nezadáte, může se tato stránka zobrazovat ve výsledcích vyhledávání po neomezenou dobu. Po uplynutí zadaného data a času robot Googlebot výrazně sníží rychlost procházení adresy URL.

Příklad:

<meta name="robots" content="unavailable_after: 2020-09-21">

Zpracování kombinovaných pravidel indexování a obsluhy

Pokyn s více pravidly můžete vytvořit kombinací pravidel meta značky robots s čárkami nebo pomocí více meta značek. Zde je příklad meta značky robots, která dává webovým vyhledávačům pokyn, aby stránku neindexovaly a neprohledávaly žádný z odkazů na stránce:

Seznam oddělený čárkou:

<meta name="robots" content="noindex, nofollow">

Více meta tagů:

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

Zde je příklad, který omezuje textový úryvek na 20 znaků a umožňuje velký náhled obrázku:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

V případech, kdy je zadáno více vyhledávačů s různými pravidly, použije vyhledávač součet negativních pravidel. Například:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Stránka obsahující tyto meta značky bude při procházení robotem Google interpretována jako stránka s pravidlem noindex, nofollow.

Použití atributu HTML data-nosnippet

Můžete označit textové části stránky HTML, které nemají být použity jako úryvek. To lze provést na úrovni prvků HTML pomocí atributu data-nosnippet HTML u prvků span, div a section. Data-nosnippet je považován za „boolean“ atribut. Stejně jako u všech logických atributů je jakákoli zadaná hodnota ignorována. Aby byla zajištěna strojová čitelnost, musí být sekce HTML platným HTML a všechny příslušné značky musí být odpovídajícím způsobem uzavřeny.

Příklady:

<p>Tento text lze zobrazit jako úryvek
<span data-nosnippet>a tato část nebude zobrazena</span>.</p>

<div data-nosnippet>není v úryvku</div>
<div data-nosnippet="true">také není v úryvku</div>
<div data-nosnippet="false">také není v úryvku</div>
<!-- všechny hodnoty jsou ignorovány -->

<div data-nosnippet>nějaký text</html>
<!-- neuzavřený "div" bude poté zahrnovat veškerý obsah -->

<mytag data-nosnippet>nějaký text</mytag>
<!-- NENÍ PLATNÉ: nejde o rozsah, div nebo sekci -->

Google obvykle stránky vykresluje, aby je mohl indexovat, avšak vykreslení není zaručeno. Z tohoto důvodu může dojít k extrakci data-nosnippet před i po vykreslení. Chcete-li se vyhnout nejistotě z vykreslování, nepřidávejte ani neodstraňujte atribut data-nosnippet existujících uzlů prostřednictvím JavaScriptu. Při přidávání prvků DOM prostřednictvím JavaScriptu zahrňte atribut data-nosnippet podle potřeby při počátečním přidávání prvku do DOM stránky. Pokud jsou použity vlastní prvky, zaobalte je nebo vykreslete pomocí prvků div, span nebo section, pokud potřebujete použít data-nosnippet.

Použití strukturovaných dat

Meta značky robotů upravují množství obsahu, který Google automaticky extrahuje z webových stránek pro zobrazení ve výsledcích vyhledávání. Mnoho vydavatelů však také používá strukturovaná data schema.org, aby zpřístupnili konkrétní informace pro prezentaci ve vyhledávání. Omezení meta značek robots nemá vliv na používání těchto strukturovaných dat, s výjimkou article.description a description hodnot strukturovaných dat určených pro jiná tvůrčí díla. Chcete-li určit maximální délku náhledu na základě těchto description hodnot, použijte pravidlo max-snippet. Například strukturovaná data receptu na stránce jsou způsobilá pro zařazení do karuselu receptů, i když by jinak byl textový náhled omezen. Délku textového náhledu můžete omezit pomocí pravidla max-snippet, ale ten meta značka robots nepoužije, pokud jsou informace poskytovány pomocí strukturovaných dat pro rozšířené výsledky.

Chcete-li řídit použití strukturovaných dat pro své webové stránky, upravte samotné typy a hodnoty strukturovaných dat, přidávejte nebo odebírejte informace, abyste poskytli pouze ta data, která chcete zpřístupnit. Pamatujte také na to, že strukturovaná data zůstávají použitelná pro výsledky vyhledávání, pokud jsou deklarována v rámci prvku data-nosnippet.

Praktická implementace X-Robots-Tag

Značku X-Robots-Tag můžete přidat do odpovědí HTTP webu prostřednictvím konfiguračních souborů softwaru webového serveru webu. Například na webových serverech založených na Apache můžete použít soubory .htaccess a httpd.conf. Výhodou použití značky X-Robots-Tag u odpovědí HTTP je, že můžete zadat pravidla procházení, která se použijí globálně pro celý web. Podpora regulárních výrazů umožňuje vysokou úroveň flexibility.

Chcete-li například přidat značku noindex, nofollow X-Robots-Tag do odpovědi HTTP pro všechny soubory .PDF na celém webu, přidejte následující úryvek do kořenového souboru .htaccess webu nebo souboru httpd.conf v systému Apache nebo souboru .conf webu v systému NGINX.

APACHE:

<Files ~ "\.pdf$">  
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {  
   add_header X-Robots-Tag "noindex, nofollow";
}

Značku X-Robots-Tag můžete použít pro soubory, které nejsou v jazyce HTML, například pro soubory obrázků, kde není možné použít metaznačky robots v jazyce HTML. Zde je příklad přidání pravidla noindex X-Robots-Tag pro soubory obrázků (.png, .jpeg, .jpg, .gif) na celém webu:

APACHE:

<Files ~ "\.(png|jpe?g|gif)$">  
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {  
   add_header X-Robots-Tag "noindex";
}

Hlavičky X-Robots-Tag můžete nastavit také pro jednotlivé statické soubory:

APACHE:

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">  
   Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location = /secrets/unicorn.pdf {  
  add_header X-Robots-Tag "noindex, nofollow";
}

Kombinace pravidel robots.txt s pravidly indexování a obsluhy

Při procházení adresy URL se zjišťují meta značky robots a hlavičky HTTP X-Robots-Tag. Pokud je procházení stránky zakázáno prostřednictvím souboru robots.txt, nebudou nalezeny žádné informace o pravidlech indexování nebo obsluhy a proto budou ignorovány. Pokud je nutné dodržovat pravidla indexování nebo obsluhy, nelze adresy URL obsahující tato pravidla zakázat z procházení.

Když chcete najít všechny důležité informace o robots.txt na jednom místě – k čemu slouží soubor robots.txt, jak jej vytvořit, aktualizovat i jak pracovat se sitemapou robots.txt – tohle vše naleznete v přehledném článku Robots.txt: Kompletní průvodce, návod, tipy a rady.

Překlad, odborná a obsahová korektura: SEOPRAKTICKY.CZ

Použité zdroje

Robots Meta Tags Specifications | Google Search Central | Documentation | Google for Developers. Google for Developers – from AI and Cloud, to Mobile and Web [online]. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag#nginx_2