Az OpenAI, a Google, a Microsoft és az Anthropic bejelentettek egy közös megoldást arra, hogy a kiadók egyszerűbben jelezhessék: nem szeretnék, hogy a mesterséges intelligencia rendszerek az oldalaikon található tartalom felhasználásával tanuljanak. A megoldás lényege egy új szabvány, amely egy „policy token” elnevezésű információ elhelyezését írja elő a weboldalak robots.txt nevű fájljában.
Mire szolgál a policy token és hogyan működik
A robots.txt fájl hagyományosan arra szolgál, hogy meghatározza, mely botok indexelhetik vagy archiválhatják a weboldal tartalmát. Az új szabvány a robots.txt-hez hozzáadott policy tokennel egységes jelzést nyújtana: egyetlen módszerrel több AI-botra is alkalmazható a tiltás, így a kiadóknak nem kell egyenként konfigurálniuk korlátozásokat minden egyes szolgáltatóhoz.
A token célja kifejezetten az AI-rendszerek adatgyűjtésének megakadályozása; a bejelentés szerint a Microsoft azt állítja, hogy botjai tiszteletben tartják majd az új jelzést. Ugyanakkor a Microsoft hangsúlyozta, hogy ez a tiltás nem érinti azt, hogy az adott oldal megjelenjen-e a Bing kereső találatai között.
Miért időszerű a szabvány bevezetése
A modern, nagy nyelvi modellek és egyéb AI-megoldások fejlődésével egyre több bot „járja” az internetet tanítási célból, ami konkrét terhelést és költségeket okoz a kiadóknál és szolgáltatóknál. A Wikipédia szerverein például jelentősen megnőtt a hálózati forgalom az AI-botok miatt, ami költségnövekedéshez vezetett és a fenntartó számára finanszírozási problémákat idézett elő.
Jelenleg a kiadóknak többféle megoldás közül kell választaniuk: egyesek a Really Simple Licensing (RSL) szabványt használják, amely lehetővé teszi díjak felszámolását a botok adatgyűjtéséért, míg más szolgáltatók — a cikk szerint Claudflare példája — teljesen blokkolják a botok hozzáférését.
Bevezetési ütemterv
Az Anthropic bejelentés szerint már elkezdte alkalmazni az új jelzést. A Google és a Microsoft tervei szerint jövőre kezdik el támogatni a szabványt, míg az OpenAI közlése alapján a következő hónapokban vezetik be a jelzés figyelését és betartatását.
Mit jelent ez a kiadók és az AI-fejlesztők számára
Az egységes jelzés csökkentheti a kiadók adminisztratív terheit és egyszerűbbé teheti a jogosultságok kezelését: egy helyen lehet megadni, ha nem akarják, hogy AI-rendszerek a tartalmakon tanuljanak. Ugyanakkor a közlemények nem részletezik minden technikai és jogi következményt, például hogyan kezelik azokat az eseteket, amikor egy oldal tiltása mellett mégis megjelenik találatként egy keresőben.
A szabvány sikerét a széles körű támogatás és a gyakorlatban történő implementáció fogja meghatározni; az érintett nagy szereplők bevezetési menetrendje alapján a következő hónapok és a következő év lesz meghatározó abban, hogy az új megoldás hogyan változtatja meg az AI-képzéshez használt webes adatok elérhetőségét.
