Szeptember 15-től a Cloudflare alapból blokkolja a tréning- és ügynökrobotokat a hirdetést megjelenítő oldalakon. Ez automatikusan érinti az új domaineket és minden ingyenes csomagos ügyfelet, aki addig nem nyúl a beállításaihoz. A meglévő fizetős ügyfeleknek nem kell lépniük — de a régi „Block AI bots” kapcsoló miatt sokan mégis kockáztatnak.
Érint-e a változás, ha ingyenes Cloudflare-t használsz?
Igen, és ez a legfontosabb mondat ebben a cikkben. A Cloudflare hivatalos sajtóközleménye három csoportot nevez meg: az új ügyfeleket, a meglévő ügyfelek új site-jait, és — külön kiemelve — minden meglévő ingyenes csomagos ügyfelet, aki szeptember 15-ig nem módosítja a beállításait a dashboardon.
Ha tehát fizetős csomagod van, és a domained már régóta fut ott, a régi beállításaid maradnak. Ha viszont ingyenes csomagon vagy — és a magyar kkv-oldalak túlnyomó része ott van —, neked automatikusan átbillen a kapcsoló.
Miért most? Mert a botforgalom elszaladt. A Cloudflare éves botriportja szerint a legerősebben crawlelt kategóriákban az emberi forgalom egy év alatt akár 40%-kal is visszaesett.
A crawler-kérések 52%-a már AI-tréning célú (2026. június), egy évvel korábban ez 22% volt. A vegyes célú botok pedig a teljes crawler-aktivitás több mint 36%-át adják — ezek azok, amelyeknél nem lehet szétválasztani a keresést a tanítástól.
Melyik robot mit csinál, és mi történik vele szeptember 15. után?
A Cloudflare három viselkedés szerint osztályozza az AI-forgalmat: Search, Agent és Training. Saját dokumentációja szerint egy bot egyszerre több kategóriába is tartozhat — innen jön a „vegyes célú” fogalom.
| Bot-típus | Mit csinál | Mi történik vele szept. 15. után | Mit érdemes tenni |
|---|---|---|---|
| Klasszikus keresőrobot (Search) | Indexeli a tartalmadat, hogy később válaszolni tudjon rá — cserébe forgalmat küld vissza | Marad engedélyezve az új alapbeállításban | Engedd. Ez hozza a látogatót |
| AI-tréning bot (Training) | Beolvassa a tartalmadat egy modell betanításához, tartósan | Blokkolva a hirdetést megjelenítő oldalakon | Tiltsd, ha hirdetésből vagy előfizetésből élsz |
| AI-asszisztens ügynök (Agent) | Valós időben, egy konkrét ember megbízásából jár nálad (chat fetch bot, böngészőügynök) | Blokkolva a hirdetést megjelenítő oldalakon | Webshopnál inkább engedd |
| Vegyes célú (mixed-use) crawler | Egyszerre keres, tanul és ügynökösködik — pl. Googlebot, Applebot, BingBot | A legszigorúbb rá vonatkozó szabály érvényesül: ha a Trainingot tiltod, ez is tiltva lesz | Óvatosan. Ez viheti a Google-találataidat |
A negyedik sor az igazi újdonság. A Cloudflare saját blogbejegyzése egyértelműen fogalmaz: szeptember 15-től a vegyes célú crawlereket az összes viselkedésük szerint kezelik, és mivel a legszigorúbb szabály nyer, a Googlebot, az Applebot és a BingBot blokkolódik mindenkinél, aki a tréninget tiltja — beleértve a régi „Block AI bots” kapcsolót is.
Ha bekapcsolva hagytad a tavalyi „Block AI bots” opciót, szeptember 15-től a Googlebot is beleesik a tiltásba. A régi kapcsoló ugyanezen a napon ki is vezetésre kerül.
Egy magyar B2B gyártó ügyfelünknél pontosan ezt találtuk: valaki tavaly bekattintotta a „Block AI bots” opciót, aztán senki nem nézett rá többet. Ott ez szeptember 15-én magától kizárná a Googlebotot. Nem hiba ez, hanem elmaradt üzemeltetési rutin — ugyanaz a fiók, mint az elfelejtett PHP-verzió.
Hogyan nézed meg és állítod át a beállításokat? Lépésről lépésre
• 1. Lépj be a dash.cloudflare.com címen, és válaszd ki a domaint.
• 2. Nyisd meg a bal oldali menüben a Security → Settings pontot.
• 3. Keresd meg a Configure AI bot policies blokkot. Itt látod egymás alatt a Search, Agent és Training kategóriát.
• 4. Mindegyiknél három opció közül választhatsz: Block (on all pages), Block on pages with ads, vagy Allow (do not block). Ezt a Cloudflare dokumentációja is így írja le, és minden csomagon elérhető — az ingyenesen is.
• 5. Görgess le a régi Block AI bots kapcsolóig. Ha be van kapcsolva, döntsd el most, mit akarsz a vegyes célú botokkal. • 6. Ha maradni szeretnél a jelenlegi állapotnál, a Security settings felületén szeptember 15. előtt jelezd, hogy nem kéred az új alapokat.
Egy dolgot ne keverj össze: a robots.txt AI-szabályai csak kérések, amelyeket a robot betarthat vagy figyelmen kívül hagyhat. A Cloudflare hálózati szinten blokkol, tehát a kettő nem helyettesíti egymást. Nálunk a Webtagnál ez most egy ötperces tétel minden Cloudflare-en futó ügyfélnél: megnyitjuk, lefotózzuk a jelenlegi állapotot, és csak utána nyúlunk hozzá.
Elveszíted a Google-találataidat, ha blokkolod az AI-robotokat?
Csak akkor, ha rosszul állítod be. A Google saját dokumentációja kimondja: az AI beépült a keresőbe, ezért a Googlebot a vezérlőpont — ha azt kizárod, a keresőből is kiesel, az AI Overviewsból és az AI Mode-ból is. A Google-Extended ezzel szemben csak a Gemini-appok és a Vertex AI tanítását és groundingját szabályozza, és nem befolyásolja a keresőbeli megjelenésedet.
Ez azért fáj, mert a Cloudflare mérése szerint a Google adja a hivatkozó forgalom nagyjából 88%-át. Egyetlen rosszul beállított kapcsoló tehát a látogatóid túlnyomó részét viheti. Ha az AI Overviews-láthatóság fontos neked, akkor a Search kategóriát mindenképp hagyd engedélyezve.
Érdemes-e egy webshopnak kizárnia az AI-crawlereket?
Egy webshop nem hirdetésekből él, hanem eladásból — ezért a válasz általában nem. Két fontos különbség:
• Az új alapbeállítás csak a hirdetést megjelenítő oldalakra vonatkozik. Ha nincs hirdetésed, a szeptember 15-i alapérték gyakorlatilag nem blokkol nálad semmit. • Az Agent kategória a jövőbeli vásárlóid. Az AI-vásárlóügynökök ezen a csatornán találják meg a termékeidet. Ha ezt lezárod, a saját boltodat teszed láthatatlanná az agentic commerce felé.
A Training viszont nyugodtan tiltható: az nem hoz vásárlót, csak beolvasztja a termékleírásaidat egy modellbe. Egy magyar tartalomportál-ügyfelünknél épp fordítva döntöttünk — ott hirdetésekből jön a bevétel, így a hirdetéses aloldalakon maradt a szigorú alapbeállítás.
Pénz is van a dologban: a Cloudflare a tavalyi Pay Per Crawlt fejlesztette tovább Pay Per Use néven, ahol már nem a letöltésért fizetnek, hanem akkor, amikor a tartalmad értéket teremt — például megjelenik egy AI-válaszban. Egyelőre a Ceramic.ai és a You.com a partner, opt-in alapon. Van is mit optimalizálni: az AI-crawlerek forgalmának több mint 50%-a változatlan oldalak újratöltésére megy el.
Nézzük meg együtt, mielőtt magától átáll
Egyetlen képernyő, néhány kapcsoló, egy döntés arról, mit engedsz be az oldaladra. De szeptember 15. után már a Cloudflare dönt helyetted, ha addig nem szólsz.
Kérj egy 15 perces átbeszélést: megnézzük a Cloudflare bot-beállításaidat, megmondjuk, mi változna nálad automatikusan, és beállítjuk azt, ami az üzletednek jó. Írj nekünk a webtag.hu oldalon — a láthatósági monitorozást és a bot-policy karbantartását utána is visszük.
Gyakori kérdések
Igen. A Cloudflare sajtóközleménye szerint az új alapbeállítások szeptember 15-én automatikusan érvénybe lépnek minden meglévő ingyenes csomagos ügyfélnél, aki addig nem nyúl a beállításaihoz — és az új ügyfelekre, illetve a meglévő ügyfelek új site-jaira is. A meglévő fizetős ügyfelek régi domainjeinél nincs automatikus váltás.
A Cloudflare dashboardon válaszd ki a domaint, nyisd meg a Security > Settings menüt, és keresd a „Configure AI bot policies” blokkot. Itt a Search, Agent és Training kategória külön-külön állítható, mindegyiknél három opcióval: Block (on all pages), Block on pages with ads, Allow (do not block). A felület minden csomagon elérhető, az ingyenesen is.
Ha csak a Training és az Agent kategóriát tiltod, a Search engedélyezve marad. A csapda a vegyes célú crawlereknél van: szeptember 15-től a Googlebot, az Applebot és a BingBot is blokkolódik minden olyan beállításnál, amely az AI-tréninget tiltja — a régi „Block AI bots” kapcsolót is beleértve. A Googlebot kizárása pedig a Google-találataid elvesztését jelenti.
Általában nem. Ha a webshop nem hirdetésekből él, hanem eladásból, a Search és az Agent forgalom hasznos: az AI-vásárlóügynökök ezeken keresztül találják meg a termékeidet. A Training kategóriát viszont nyugodtan tilthatod — az nem hoz vásárlót.
A Cloudflare a tavalyi Pay Per Crawlt fejlesztette tovább Pay Per Use néven: itt nem a letöltésért, hanem akkor jár fizetés, amikor a tartalmad értéket teremt, például megjelenik egy AI-válaszban. Egyelőre két partnerrel indul (Ceramic.ai, You.com), opt-in alapon — önként kell belépned.
