Cloudflare bejelentette, hogy 2026. szeptember 15-től alapértelmezés szerint blokkolja azokat a „mixed-use” (kevert felhasználású) webcrawler-eket — vagyis azokat a robotokat, amelyek egyszerre végeznek hagyományos keresést, ügynökfunkciókat és AI-tanítást — azokon az oldalakon, amelyek hirdetéseket tartalmaznak. A cég közlése szerint a változás a Cloudflare új ügyfeleire, a meglévő ügyfelek által újonnan létrehozott webhelyekre és minden meglévő ingyenes ügyfélre egyaránt vonatkozik, kivéve, ha a webhelytulajdonos másként állítja be a beállításokat.
Mit jelent ez a gyakorlatban
A módosítás alapértelmezettjeként a kevert célú crawler-ek — amelyek egyszerre szolgálják a keresést, az ügynöki használatot és a modelltrenírozást — automatikusan nem férnek hozzá olyan oldalakhoz, ahol hirdetések vannak elhelyezve. A tulajdonosok azonban megváltoztathatják ezt a viselkedést a webhelyük beállításaiban, ha szeretnék engedélyezni a hozzáférést.
Cloudflare szerint a változtatás hatással lehet arra, hogy az AI-modellszolgáltatók hogyan tudnak webes tartalmakhoz hozzáférni tanítás és agent-szolgáltatások működtetése céljából.
Miért hozta meg a lépést a Cloudflare?
A vállalat rámutatott, hogy a legtöbb webhelytulajdonos szeretné, ha tartalmaik felfedezhetők lennének keresőkben és gyakran AI-szolgáltatásokban is, ugyanakkor védeni akarják szellemi tulajdonukat, és nem szeretnék, hogy az ingyenesen hozzáférhető legyen AI-k számára. Matthew Prince, a Cloudflare társalapítója és vezérigazgatója a bejelentésben azt hangsúlyozta, hogy mivel az internetes forgalom ma már többségében nem emberi — a botforgalom előretörésére utalva — sürgető gyorsabb lépéseket kell tenni egy fenntartható ökoszisztéma kialakulásához.
A Cloudflare külön megemlítette a „világ legnagyobb keresőmotorját” mint összehasonlítást, arra utalva, hogy ez a cég hozzávetőlegesen kétszer annyi információhoz férhet hozzá, mert nehezíti, hogy a webhelyek felfedezhetők maradjanak anélkül, hogy azok AI-használatra is elérhetővé válnának. A Google a múltban visszautasította ezt az általánosítást, és kiemelte, hogy létezik egy Google Extended nevű bot, amely lehetővé teszi a webhelytulajdonosok számára, hogy letiltsák a tartalom AI-s célú felhasználását anélkül, hogy kizárnák a megjelenést a Google Search-ből. Ugyanakkor a Googlebot, amely a Search indexeléséért felel, olyan funkciókat is kiszolgál, mint az AI Overviews és az AI Mode.
Fizetési lehetőségek és együttműködések a kiadók számára
A Cloudflare az elmúlt években több eszközt vezetett be, hogy nagyobb kontrollt adjon a kiadóknak az AI-korszakban. Ezek közé tartozik egy piactér, amely lehetővé teszi webhelyek számára, hogy díjat számítsanak fel AI-botoknak a lekérésért, ezt korábban „Pay Per Crawl” néven említették. A cég most bejelentette, hogy ez a modell átalakul "Pay Per Use" irányba: ez a rendszer nem csupán a tartalom lekéréséért számlázna, hanem azért, ha a kiadók tartalma valós értéket teremt az AI-szolgáltatások számára.
Cloudflare adatai szerint az AI-crawlerek lekéréseinek több mint 50%-a ismétlődő, meg nem változott oldalak újrafelöltésére fordítódik — ez indokolja a sávszélesség és számítási erőforrások takarékosabb használatára irányuló törekvéseket.
A gyakorlatba ültetés első lépéseként a Cloudflare két partnerrel dolgozik: Ceramic.ai és You.com. Amikor egy kiadó bekapcsolódik a rendszerbe, kifizetést kap, ha tartalma megjelenik a Ceramic AI-keresési eredményeiben, vagy amikor a You.com hozzáfér egy prémium tartalmához. A Cloudflare szerint más AI-vállalatok is testre szabhatják ezt a modellt a saját működésük szerint.
Összegzés
A 2026. szeptember 15-én hatályba lépő alapértelmezett módosítás célja, hogy világosabb elválasztást hozzon létre a hagyományos keresőcrawler-ek és az AI-tanítást/ügynöki használatot végző botok között, több védelmet és kereskedelmi lehetőséget adva a webhelytulajdonosoknak. A változás érinti az új és bizonyos meglévő Cloudflare-ügyfelek beállításait, és együtt jár a Pay Per Use fizetési mechanizmus bevezetésével, valamint kezdeti partnerségekkel Ceramic.ai és You.com szolgáltatókkal.
