A tartalomszolgáltatók hamarosan finomabb szabályozást kaphatnak arra, milyen automata rendszerek férhetnek hozzá a weboldalaikhoz: a Cloudflare bejelentése szerint külön lehet majd engedélyezni vagy letiltani a keresőindexelő, az AI-modellek képzésére gyűjtő és a felhasználó nevében műveleteket végző (ügynök) botok hozzáférését.
Mi változik?
- A Cloudflare, amely a becslések szerint a web közel 20 százalékát szolgálja ki, új AI forgalmi vezérlőket vezet be. Alapértelmezésben az AI képzésére szolgáló és az ügynökbotok le lesznek tiltva, míg a keresőindexelésre szolgáló botok továbbra is engedélyezettek.
- Emellett a cég bejelentett egy monetizációs eszközt is, amely lehetővé tenné, hogy az ügyfelek bizonyos látogatóktól—embertől vagy bottól—díjat szedjenek weboldalpontok, adattömegek, API-k vagy Model Context Protocolok eléréséért. Ez a rendszer még nincs kiadva; a szolgáltatás használatához várólistára lehet jelentkezni.
Hogyan működik a vezérlés?
A Cloudflare ügyfelei kategóriánként (keresés, AI-képzés, AI-ügynökök) három választási lehetőség közül dönthetnek: teljes oldalblokkolás, csak hirdetést tartalmazó oldalak blokkolása, vagy engedélyezés. A többcélú feltérképezőket a legszigorúbb beállítás fogja érinteni: ha egy crawler mind keresést indexel, mind pedig adatot gyűjt AI-képzéshez, akkor az adott kiadó által választott képzési tiltás érvényesül. Példaként a Googlebot, Applebot és Bingbot olyan többcélú feltérképezők, amelyeket a rendszer így letilthat, ha egy kiadó blokkolja a képzési crawler-okat.
A vezérlést 2025. szeptember 15-én fogják alkalmazni.
BotBase és a “Verified” jelölés
A Cloudflare létrehozott egy BotBase nevű nyilvános adatbázist is, amely ismert botokat és ügynököket osztályoz viselkedésük alapján, és követi, hogyan használják fel a webtartalmakat. A „Verified” (ellenőrzött) címke azt jelzi, hogy a bot üzemeltetője hitelesítve lett, megfelel a saját állításainak, betartja a robots.txt utasításokat és nem próbálja meg kijátszani a kiadói korlátozásokat. A kiadók továbbra is eldönthetik, engedélyezik-e az adott kategóriát (például keresés vagy képzés), de a BotBase lehetővé teszi a finomabb szabályozást: például egy adott vállalat kereső- vagy képzési botjainak blokkolását, miközben másokét engedélyezi.
Monetizációs mechanizmus
A Cloudflare új monetizációs rendszere lehetővé tenné, hogy a kiadók AI-ügynököktől kérjenek díjat egy-egy lekérésért. Amikor egy AI-ügynök védett weboldalt vagy API-t kér, a Cloudflare hálózati szinten kérné a fizetés igazolását, mielőtt továbbítaná a kérést a kiadó felé. A megoldás jelenleg még nem elérhető, csak várólistára lehet feliratkozni.
Miért fontos ez?
A Cloudflare adatai szerint az internetes HTTP-kérések többségét—57,5 százalékát—ma már automatizált rendszerek indítják emberek helyett. Sok kiadó szerint a keresőforgalom értéke csökkent, ezért néhányan, részben annak elkerülésére, hogy keresőügynökök megkerüljék a megjelenített hirdetéseket vagy betanuljanak a tartalmaikból, ki is léptek a Google Search-ből.
A Cloudflare új keretrendszere azt a célt szolgálja, hogy megőrizze a keresőből származó előnyöket (forgalomterelés), miközben nagyobb kontrollt ad a kiadóknak az AI-képzésre és ügynöki működésre irányuló feltérképezések felett. A lépés jutalmazhatja azokat a cégeket, például az OpenAI-t, amelyek különválasztják a keresési és képzési crawler-eiket, és hátrányba helyezheti azokat, mint a Google, Apple és Microsoft, amelyek nem választják szét ezeket a funkciókat.
Következmények és vitapontok
A magas minőségű webadatokhoz való hozzáférés továbbra is létfontosságú az AI-modellek fejlesztéséhez, de a kiadók és a Cloudflare-hez hasonló partnerek növekvő korlátokat szabnak az adatok gyűjtésére. Ez technikai és pénzügyi súllyal jár: különösen a kisebb vagy újabb AI-fejlesztő cégekre lehet aránytalanul nagy hatással, akik kevesebb erőforrással rendelkeznek arra, hogy megállapodásokat kössenek kiadókkal vagy hozzáférést vásároljanak.
A Cloudflare szerint lehetséges kompromisszumot találni az AI-vállalatok és az online kiadók között, ahol a cég a „fizetőkapu” szerepét tölti be. Ugyanakkor ez a megközelítés ellentmond egy alapvető állításnak, amelyet sok AI-cég vall: hogy a nyilvános webes tartalmakon való képzés fair use (méltányos felhasználás) kategóriába tartozik. Az idő majd megmutatja, hogy a Cloudflare rendelkezik-e elegendő befolyással egy ilyen „útadó” érvényesítéséhez, és melyik értelmezés lesz végül uralkodó a „méltányosság” kérdésében.
