Az OpenAI, a Google, a Microsoft és az Anthropic közösen olyan szabványt jelentett be, amely lehetővé teszi, hogy a kiadók egységes módon akadályozzák meg a mesterséges intelligencia számára az adatok gyűjtését a honlapjaikról. A megoldás célja, hogy a jövőben ne kelljen minden egyes AI-bot számára külön-külön beállítani az adatgyűjtés letiltását.
Mi az újítás lényege?
A bejelentett megoldás egy úgynevezett „policy token” elhelyezésén alapulna a weboldalak robots.txt nevű fájljában. A robots.txt fájl hagyományosan azt szabályozza, hogy mely botok — például keresőmotor-botok vagy archiváló szolgáltatások — gyűjthetnek adatokat egy oldalon, és melyek nem. A javasolt kiegészítéssel ugyanazt az opt-out jelzést több AI-botra is lehetne alkalmazni egyetlen, egységes módszerrel.
Miért van erre szükség?
A modern nagy nyelvi modellek és más mesterséges intelligencia rendszerek betanítása sok esetben automatikus internetes keresést, azaz „crawlingot” igényel. Ez több problémát vet fel: a webhelyek megnövekedett forgalmat és szerverterhelést tapasztalhatnak, a tartalomszolgáltatók pedig többletköltségeket viselnek. A cikk példaként említi a Wikipédiát, ahol a megnövekedett botforgalom jelentős szerverterhelést és költségeket okozott a fenntartónak.
Jelenleg az oldalaknak minden egyes AI-bot számára külön kell jelezniük, ha nem akarják, hogy a bot a honlapon található tartalommal képezze magát. Az új szabvány célja ezt egyszerűsíteni: egyetlen beállítással több szolgáltatásnál is érvényesíthető lenne a letiltás.
Milyen hatása lehet?
A szabvány bevezetése csökkentheti a webhelyek üzemeltetési költségeit és a felesleges adatforgalmat, valamint tisztább jogi és technikai gyakorlatot teremthet a tartalomhasználatban. Ugyanakkor a megvalósítás részletei, a szabvány elfogadása és a gyakorlati alkalmazás módja a piaci szereplők és a kiadók együttműködésétől függ majd.
Összefoglalás
Az OpenAI, a Google, a Microsoft és az Anthropic közös kezdeményezése egy egyszerűbb, egységes módszert kínál arra, hogy a kiadók megtiltsák weboldalaik felhasználását AI-képzéshez: a robots.txt fájlba helyezett „policy token” egyetlen jelzéssel több AI-botra is vonatkoztatható lenne. A lépés a webhelyek megnövekedett szerverforgalmának és költségeinek csökkentését célozza, és a tartalomvédelmi gyakorlatok egységesítését segítheti.
