Od 15. září 2026 začne Cloudflare u nových domén používat nová výchozí pravidla pro AI boty. Místo jednoho obecného nastavení bude důsledněji rozlišovat, zda crawler slouží pro vyhledávání, práci AI agenta nebo trénování AI modelů. Změna se dotkne také crawlerů, které kombinují více účelů.
Pro majitele webů je to důležitá změna. Špatně nastavené blokování robotů totiž může ovlivnit nejen využívání obsahu pro AI, ale také jeho dostupnost v některých AI službách.
Neznamená to ale, že by Cloudflare od září jednoduše začal blokovat Googlebot nebo všechny AI roboty.
Co je Cloudflare?
Cloudflare je služba, která funguje mezi vaším webem a jeho návštěvníky. Pomáhá web zrychlovat, chránit před útoky a řídit přístup automatizovaných robotů. Dokáže tedy například rozhodovat, zda se na web dostane Googlebot nebo některý z AI crawlerů. Právě proto mohou změny v jeho pravidlech ovlivnit také dostupnost obsahu pro vyhledávače a AI nástroje.
Co Cloudflare skutečně mění
Cloudflare od července 2026 umožňuje rozdělit AI provoz podle toho, k čemu crawler obsah webu používá.
Rozlišuje tři základní skupiny:
| Typ | K čemu slouží |
| Search | Prochází a indexuje obsah pro vyhledávání a odpovědi na otázky |
| Agent | Přistupuje k webu v reálném čase jménem uživatele, například prostřednictvím AI agenta |
| Training | Získává obsah pro trénování nebo další úpravu AI modelů |
Pro každou skupinu může majitel webu nastavit:
- povolit,
- blokovat na všech stránkách,
- blokovat pouze na stránkách zobrazujících reklamu.
Právě toto rozdělení je podstatou celé změny.
Co se stane 15. září 2026
Pro nové domény přidané do Cloudflare budou od 15. září nastavena nová výchozí pravidla:
- Search zůstane povolený,
- Training bude na stránkách s reklamou standardně blokovaný,
- Agent bude na stránkách s reklamou standardně blokovaný.
Zvláštní pozornost si zaslouží takzvané mixed-purpose crawlery.
Jde o roboty, kteří neslouží pouze jednomu účelu. Jeden crawler může být například používán současně pro klasické vyhledávání i AI trénování.
Cloudflare uvádí, že mixed-purpose crawlery kombinující Search a Training budou zahrnuty do nastavení blokujícího AI Training. Změna se má vztahovat také na původní nastavení „Block AI bots“.
Tedy pokud crawler kombinuje vyhledávání s trénováním, Cloudflare jej už nebude automaticky posuzovat stejně jako čistě vyhledávacího robota.
Znamená to, že Cloudflare zablokuje Googlebot?
Ne tak jednoduše.
Bylo by nepřesné říct:
Od 15. září Cloudflare blokuje Googlebot.
Cloudflare kritizuje zejména skutečnost, že některé crawlery kombinují více účelů a majitel webu proto nemůže jednoduše povolit vyhledávání a současně odmítnout jiné využití obsahu.
Ve své komunikaci Cloudflare přímo zmiňuje Google a argumentuje tím, že Googlebot může být využíván pro více účelů.
To ale neznamená, že každý web používající Cloudflare přijde 15. září o Googlebot.
Cloudflare zároveň umožňuje majitelům webů tato pravidla měnit. Důležité je proto zkontrolovat konkrétní konfiguraci vlastního webu, nikoliv vycházet z obecného tvrzení, že je Googlebot blokovaný.
Proč Cloudflare pravidla mění
Důvodem je problém, který se s rozvojem AI vyhledávání stává stále důležitější.
Majitel webu může chtít:
ANO: aby jeho obsah našel Google nebo AI vyhledávač.
Ale současně:
NE: aby stejný obsah sloužil k trénování AI modelu.
Pokud služba používá pro oba účely jednoho crawlera, majitel webu má omezené možnosti. Buď crawler povolí, nebo jej zablokuje. Cloudflare proto prosazuje rozdělování crawlerů podle účelu.
Výsledkem má být větší kontrola nad tím, kdo obsah používá a proč.
Pro SEO a AI viditelnost vzniká nový problém
Ještě před několika lety bylo rozhodování relativně jednoduché.
Pokud jste chtěli být viditelní ve vyhledávání, umožnili jste přístup vyhledávacím robotům.
Dnes ale existuje více typů automatizovaného provozu.
Například:
vyhledávací crawler → AI crawler → AI agent → crawler pro trénování modelu
A jejich blokování nemusí mít stejné následky.
Pokud chcete získávat viditelnost v AI odpovědích, není proto dobrý nápad automaticky blokovat všechny roboty obsahující označení „AI“.
Některé mohou pomáhat s tím, aby byl váš obsah dohledatelný nebo použitelný v odpovědích AI.
Robots.txt nemusí stačit
Dalším důležitým rozdílem je způsob blokování.
Soubor robots.txt crawlerovi sděluje, které části webu nemá procházet. Dodržování těchto instrukcí je ale dobrovolné.
Cloudflare proto nabízí také AI Crawl Control, který dokáže přístup technicky vynutit.
Majitel webu může jednotlivé AI crawlery:
- povolit,
- blokovat,
- sledovat jejich aktivitu.
Cloudflare navíc ukazuje počet požadavků jednotlivých crawlerů a případná porušení pravidel robots.txt.
Pokud tedy web používá Cloudflare, nestačí při auditu robotů kontrolovat pouze robots.txt.
Je potřeba prověřit také pravidla přímo v Cloudflare.
Na co si dát pozor u WAF
Další komplikací může být Web Application Firewall (WAF).
Cloudflare upozorňuje, že vlastní WAF pravidla se mohou aplikovat ještě před nastavením AI Crawl Control.
Může tedy nastat situace:
V AI Crawl Control máte crawler povolený, ale jiné WAF pravidlo ho přesto blokuje.
Pokud tedy zjistíte, že se určitý robot na web nedostane, kontrolujte celý řetězec:
robots.txt → AI Crawl Control → Bot Management → WAF → odpověď serveru
Nestačí ověřit jedno nastavení.
Co by měli majitelé webů udělat před 15. zářím
Pokud používáte Cloudflare, projděte si nastavení AI botů ještě před změnou výchozích pravidel.
Zkontrolujte především:
- zda chcete povolit crawlery používané pro Search,
- zda chcete povolit nebo blokovat Training,
- jak chcete přistupovat k Agent crawlerům,
- jak Cloudflare klasifikuje roboty přistupující k vašemu webu,
- zda vlastní WAF pravidla neblokují něco, co chcete povolit.
Cloudflare umožňuje nastavení upravit, takže není potřeba spoléhat pouze na nové výchozí hodnoty.
Co to znamená pro AI SEO
Pro SEO specialisty je tato změna zajímavá hlavně z jednoho důvodu:
řízení přístupu AI crawlerů se stává součástí technického SEO.
Nestačí vytvářet kvalitní obsah optimalizovaný pro AI odpovědi. Musíte také vědět, zda se k němu příslušné systémy vůbec dostanou.
Pokud například dlouhodobě sledujete svou viditelnost v AI a dojde k výraznému propadu, jednou z kontrolovaných oblastí by měly být právě změny v přístupu crawlerů.
To platí zejména po:
- změně Cloudflare,
- úpravě WAF,
- změně robots.txt,
- aktivaci nové ochrany proti botům,
- migraci webu.
Technická změna může způsobit problém, který na první pohled vypadá jako ztráta AI viditelnosti kvůli obsahu.
Jak může pomoci Collabim
Dopad podobné změny se nemusí projevit okamžitě. Proto má smysl kombinovat kontrolu crawlerů s měřením výsledné viditelnosti.
V Collabimu můžete například sledovat pravidelné prompty a kontrolovat:
- zda se váš web stále objevuje v odpovědích AI,
- zda se mění AI Visibility,
- jak se vyvíjí Share of Voice,
- zda AI stále používá váš web jako zdroj,
- které konkurenční zdroje se začaly objevovat místo vás,
- jak se situace mění v čase.
Pokud například po změně nastavení Cloudflare začne výrazně klesat počet citací vašeho webu, máte konkrétní signál k technické kontrole.
Samotný pokles samozřejmě nedokazuje, že ho způsobil Cloudflare. AI odpovědi se mohou měnit z celé řady důvodů. Kombinace technické kontroly a dlouhodobého měření ale pomáhá problém rychleji lokalizovat.
FAQ
Bude Cloudflare blokovat Googlebot?
Není správné tvrdit, že Cloudflare obecně zablokuje Googlebot. Změna se týká zejména klasifikace mixed-purpose crawlerů a pravidel pro AI Training. Konkrétní výsledek závisí také na konfiguraci daného webu.
Kdy změna začne platit?
Nové výchozí nastavení začne platit 15. září 2026. Cloudflare umožňuje zákazníkům nastavení upravit.
Může blokování AI botů ovlivnit AI viditelnost webu?
Ano, pokud zablokujete crawler, který daná služba potřebuje pro vyhledávání nebo získávání aktuálních informací. Dopad ale závisí na konkrétní službě a crawleru.
Stačí zkontrolovat robots.txt?
Ne. Pokud používáte Cloudflare, zkontrolujte také AI Crawl Control, Bot Management a případná vlastní WAF pravidla.
Shrnutí
- Cloudflare od 15. září 2026 mění výchozí pravidla pro některé typy AI provozu.
- Search, Agent a Training lze řídit samostatně.
- Mixed-purpose crawlery kombinující Search a Training budou nově ovlivněny nastavením blokujícím Training.
- Není přesné tvrdit, že Cloudflare jednoduše „zablokuje Googlebot“.
- Weby používající Cloudflare by měly před změnou zkontrolovat nastavení AI botů, WAF i robots.txt.
Použité zdroje
Cloudflare Docs – Block AI Bots – nejdůležitější zdroj k článku. Popisuje rozdělení AI crawlerů podle účelu, mixed-purpose crawlery a změny platné od 15. 9. 2026.
Blokování botů s umělou inteligencí – Dokumentace Cloudflare
Cloudflare – Vaše C – oficiální oznámení Cloudflare vysvětlující, proč firma mění přístup k AI crawlerům a chce dát provozovatelům webů větší kontrolu nad využitím jejich obsahu.
Váš obsah, vaše pravidla – Cloudflare
Cloudflare Docs – AI Crawl Control – vysvětluje, jak lze sledovat a řídit přístup AI crawlerů k webu.
Řízení procházení pomocí umělé inteligence – Dokumentace Cloudflare
Cloudfl – důležitý technický zdroj k tomu, jak se pravidla AI Crawl Control kombinují s WAF a proč může být crawler zablokován i jiným bezpečnostním pravidlem.
Řízení procházení pomocí umělé inteligence s WAF – Dokumentace Cloudflare
Centrum vyhledávání Google – Prohledávače Google – hod
Prohledávače Google – Centrum vyhledávání Google
Search Engine Journal
