Nová tištěná kniha o SEO
SEO Akademie Collabim
S láskou a vidinou klientů píše Collabim Nejpoužívanější český SEO nástroj

Ověřování Googlebot a dalších crawlerů Google

Můžete si ověřit, zda webový crawler přistupující k vašemu serveru je skutečně crawler společnosti Google, například Googlebot. To je užitečné, pokud se obáváte, že na váš web přistupují spammeři nebo jiní potížisté, kteří se vydávají za Googlebot.

Crawlery Google se dělí do tří kategorií:

Typ Popis Reverzní maska DNS Rozsah IP adresy
Googlebot Hlavní vyhledávač pro vyhledávací produkty společnosti Google. Vždy respektuje pravidla robots.txt.
crawl-***-***-***-***.
googlebot.com or geo-crawl-***-
***-***-***.geo.googlebot.com
googlebot.json
Crawlery pro speciální případy Crawlery, které provádějí specifické funkce (například AdsBot), které mohou, ale nemusí respektovat pravidla robots.txt.
rate-limited-proxy-***-***-
***-***.google.com
special-crawlers.json
Uživatelem spouštěné aportéry Nástroje a funkce produktu, u kterých koncový uživatel spustí načítání. Například funkce Google Site Verifier funguje na základě požadavku uživatele. Protože o načtení požádal uživatel, tyto nástroje ignorují pravidla robots.txt.
***-***-***-***.gae.googleusercontent.com
user-triggered-fetchers.json

 

Existují dvě metody ověřování procházení stránek Google:

  • Ručně: Pro jednorázové vyhledávání použijte nástroje příkazového řádku. Tato metoda je pro většinu případů použití dostačující.
  • Automaticky: Pro rozsáhlá vyhledávání použijte automatické řešení, které porovná IP adresu crawleru se seznamem zveřejněných IP adres Googlebotů.

Použití nástrojů příkazového řádku

  1. Spusťte reverzní vyhledávání DNS na přístupové IP adrese z protokolů pomocí příkazu host.
  2. Ověřte, že název domény je googlebot.com, google.com nebo googleusercontent.com.
  3. Spusťte dopředné vyhledávání DNS na název domény získaný v kroku 1 pomocí příkazu host na získaný název domény.
  4. Ověřte, zda je stejná jako původní přistupující IP adresa z protokolů.

Příklad 1:


host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Příklad 2:


host 35.247.243.240 
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com

host geo-crawl-35-247-243-240.geo.googlebot.com 
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Příklad 3:


host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com

host rate-limited-proxy-66-249-90-77.google.com 
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Použití automatických řešení

Googlebota můžete identifikovat také podle IP adresy, a to tak, že IP adresu crawleru přiřadíte k seznamům rozsahů IP adres crawlerů a fetcherů Google:

Je pro vás SEO zatím velká neznámá a chcete se dozvědět, co to obnáší? Vydali jsme knihu, která obsahuje všechny základní informace a postupy, které pro SEO budete potřebovat. V knize najdete vysvětlení základních SEO pojmů, metody pro optimalizaci nebo třeba i to, jak SEO vyhodnocovat. Chci knihu Základy SEO: Jasně a stručně >>
  • Googlebot,
  • speciální crawlery, jako je AdsBot,
  • sběrače spuštěné uživatelem.

V případě jiných IP adres Google, ze kterých může být váš web přístupný (například Apps Scripts), porovnejte IP adresu přistupujícího uživatele s obecným seznamem IP adres Google. Všimněte si, že IP adresy v souborech JSON jsou reprezentovány ve formátu CIDR.

Více pro Crawl Budget, jak ho zlepšit, ale i na co si dát pozor, se dočtete v článku Crawl Budget.

Překlad, odborná a obsahová korektura: SEOPRAKTICKY.CZ

Použité zdroje

  1. Googlebot and Other Google Crawler Verification | Google Search Central  |  Documentation  |  Google Developers. Google for Developers – Software Development Guides, Tools & More  |  Google Developers [online]. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot

Související články

Základy vyhledávání

Základy SEO

Procházení a indexování

Ranking a možnosti zobrazení ve výsledku vyhledávání

Monitorování a odstraňování chyb

Průvodce pro konkrétní stránky

Nemáte představu, kolik tržeb ze SEO Vašemu webu či e-shopu měšíčně utíká? Rádi Vám budeme věnovat čas osobně. Ukážeme Vám, o kolik peněz byste mohli každý měsíc vydělat více jen díky SEO! A to ZDARMA. Chci konzultaci ZDARMA >>

Další články

Jak se hýbe český internet? Sledujte denní statistiky!

Zobrazit