Obecné otázky k robotům Potřebuje můj web soubor robots.txt? Ne. Když robot Google navštíví webovou stránku, nejprve požádá o povolení k procházení tím, že se pokusí načíst soubor robots.txt. Webové stránky bez souboru robots.txt, metaznačky robots nebo hlavičky X-Robots-Tag HTTP budou obvykle normálně procházeny a indexovány. Jakou metodu mám použít k zablokování procházení? Záleží na… Detail článku »

Automatické vyhledávače společnosti Google podporují protokol REP (Robots Exclusion Protocol). To znamená, že před procházením webu si roboty Google stáhnou a rozeberou soubor robots.txt webu a získají informace o tom, které části webu mohou být procházeny. Protokol REP se nevztahuje na prohledávače společnosti Google, které jsou řízeny uživateli (například odběry kanálů), ani na prohledávače, které… Detail článku »

★ Pokud používáte CMS, například Wix nebo Blogger, nemusíte (nebo nemůžete) soubor robots.txt upravovat přímo. Místo toho může váš CMS zobrazit stránku s nastavením vyhledávání nebo nějaký jiný mechanismus, který vyhledávačům sdělí, zda mají vaši stránku procházet, nebo ne. Pokud chcete skrýt nebo zrušit skrytí některé ze svých stránek před vyhledávači, vyhledejte ve svém CMS… Detail článku »

★ Pokud používáte CMS, například Wix nebo Blogger, nemusíte (nebo nemůžete) soubor robots.txt upravovat přímo. Místo toho může váš CMS zobrazit stránku s nastavením vyhledávání nebo nějaký jiný mechanismus, který vyhledávačům sdělí, zda mají vaši stránku procházet, nebo ne. Pokud chcete skrýt nebo zrušit skrytí některé ze svých stránek před vyhledávači, vyhledejte ve svém CMS… Detail článku »

Soubor robots.txt určuje vyhledávačům, na které adresy URL na vašem webu mohou přistupovat. Používá se hlavně k tomu, aby se zabránilo přetížení webu požadavky; není to mechanismus, který by zabránil tomu, aby se webová stránka dostala do Googlu. Chcete-li webovou stránku udržet mimo Google, zablokujte indexování pomocí noindex nebo stránku zaheslujte. ★ Pokud používáte CMS,… Detail článku »

Tato stránka popisuje, jak různé stavové kódy HTTP, chyby sítě a DNS ovlivňují vyhledávání Google. Zabýváme se 20 nejčastějšími stavovými kódy, se kterými se robot Googlebot na webu setkal, a nejvýznamnějšími chybami sítě a DNS. Exotičtější stavové kódy, jako je například 418 (I´m a teapot-Jsem konvice), nejsou zahrnuty. Všechny problémy uvedené na této stránce generují… Detail článku »

Tato příručka popisuje, jak optimalizovat procházení velmi rozsáhlých webů, které jsou často aktualizované. Pokud váš web nemá velký počet stránek, které se rychle mění, nebo pokud se zdá, že vaše stránky jsou procházeny ještě v dne zveřejnění, nemusíte tuto příručku číst; postačí, když budete aktualizovat mapu stránek a pravidelně kontrolovat pokrytí indexu. Pokud máte obsah,… Detail článku »

Můžete si ověřit, zda webový crawler přistupující k vašemu serveru je skutečně crawler společnosti Google, například Googlebot. To je užitečné, pokud se obáváte, že na váš web přistupují spammeři nebo jiní potížisté, kteří se vydávají za Googlebot. Crawlery Google se dělí do tří kategorií: Typ Popis Reverzní maska DNS Rozsah IP adresy Googlebot Hlavní vyhledávač… Detail článku »

Google má propracované algoritmy, které určují optimální rychlost procházení webu. Jeho cílem je při každé návštěvě procházet co nejvíce stránek z vašeho webu, aniž by zahltil šířku pásma vašeho serveru. V některých případech může prohledávání vašeho webu společností Google způsobovat kritické zatížení vaší infrastruktury nebo nežádoucí náklady při výpadku. Chcete-li tuto situaci zmírnit, můžete se… Detail článku »

★ Používáte hostovanou platformu pro správu obsahu (například Blogger nebo WordPress)? Ve většině případů platforma odesílá váš nový obsah do vyhledávačů automaticky. Podívejte se na články podpory vaší platformy. Pokud jste nedávno přidali nebo změnili stránku na svém webu, můžete požádat společnost Google o opětovné zaindexování stránky některou z metod uvedených zde. Nemůžete požádat o… Detail článku »