Chester Ismay és Michelle Smith bemutatnak egy folyamatban lévő projektet, amelyben egy automatizált AI-ügynököt bíznak meg hétköznapi, NFL-szurkolók által folyamatosan vitatott állítások ellenőrzésével. A sorozat — The Monday Morning Agent — minden másik hétfőn egy vitát ad az ügynöknek, és a vizsgálathoz a nyilvános nflverse adatokból összegyűjtött körülbelül negyedmillió lejátszási (play) sorozatot használják: öt teljes szezon adatait, valamint a folyamatban lévő szezon mérkőzéseit.
A sorozat nyolc epizódból áll, és minden epizódban további képességgel bővül az ügynök; a végére önállóan, felügyelet nélkül is képes lesz az asztal vezetésére, és a szerzők ellenőrizni fogják, mit vizsgált és mit utasított vissza helyesen.
Mi az, hogy „establish the run”? — pontos definíció szükséges
Az első epizód témája a klasszikus „You have to establish the run” állítás. A szerzők rámutatnak, hogy ez a mondat többféle jelentéssel bírhat: például hogy a korai futások később megtérülnek, hogy a futások kimerítik a védekezést, vagy hogy a futás előkészíti a play action passzokat. Ezek mind különböző állítások, és különböző adatokat igényelnek a tesztelésükhöz. Az első epizód ezért arra koncentrál, hogy azok a csapatok, amelyek többet futnak egy mérkőzés korai szakaszában (első félidő), gyakrabban nyernek-e.
Mielőtt az ügynök eszközt hívott volna, a szerzők megkérték, hogy egy mondatban határozza meg, mit kellene igazolnia az adatoknak ahhoz, hogy az állítás fennálljon, és pontosítsa, hogy a „establish” itt „korai” helyzetet jelent — mert egy egész mérkőzésre vonatkozó szám nem tesztelné megfelelően az állítást. A csoport azt javasolja, hogy mindenki adjon hasonló feladatot az ügynökének, és ellenőrizze, hogy tényleg arra válaszol-e, amit kértek.
Ellenőrizhető feladat és az ügynök korlátai
Mielőtt az ügynök futtatott volna bármilyen lekérdezést, a szerzők lefuttatták az elemzőkódot maguk: az eszköz végezte a számlálást, az ügynök pedig az eredményeket értelmezte. Aztán dokumentálták az ügynök feladatát egy Markdown fájlban, amely egyértelműen meghatározta a read-only eszközt, amit használhat, és azt is, mit kell tartalmaznia a válasznak. Fontos szabály: az ügynöknek el kell magyaráznia, mit nem tudnak megmondani a lejátszások, és nem állíthatja, hogy a futás okozza a győzelmet — csak kapcsolatot mérünk.
Amikor a készítő fogadtatott kérdéseken túlterjedő kérdést tett fel, például melyik csapatra érdemes fogadni, az ügynök elutasította a kérést anélkül, hogy eszközt hívott volna, mert az túlmutatott a meghatározott feladaton. Más, kapcsolódó nézői kérdések viszont összekuszálódtak az „establish the run” instrukcióival, ezért a szerzők hangsúlyozzák: ha egy ügynöknek több felelősséget adunk, ellenőrizzük mind az eredményeket, mind azt, hogy az ügynök megértette-e a feladatot.
A szűrők és a minta mérete megváltoztatja a történetet
Elsőre ígéretesnek tűnt az eredmény: az elmúlt öt szezon során azok a csapatok, amelyeknek a legnagyobb volt a run share-je (a játékaikhoz viszonyított futások aránya), 77,7%-ban nyerték a meccseiket; a legalacsonyabb run share-rel rendelkezők 19,2%-ban nyertek. Ebből elsőre úgy tűnhetett, hogy megvan a bizonyíték.
Mégis: a nagy különbség nagyrészt azokat a mérkőzéseket tükrözi, amikor az előnyben lévő csapatok „kihozzák” a labdát, azaz futnak az órát elfogyasztva. Amikor az ügynök csak az első félidőbeli futásokat vizsgálta olyan mérkőzésekben, amelyeknél a szünetben a különbség legfeljebb három pont volt, az eredmény megfordult: a legmagasabb első félidei run share-rel rendelkező csapatok 46,3%-ban nyertek, míg a legalacsonyabbak 55,3%-ban. A jelenlegi szezon adatai (a cikk írásakor a Week 5-ig) ugyanebbe az irányba mutatnak, de mindkét csoportban csak 11 csapatmérkőzés szerepelt, így egyetlen meccs is jelentősen befolyásolhatja az arányt.
A szerzők hangsúlyozzák: ez nem bizonyítja, hogy a passzok okozzák a győzelmet; csak asszociációkat mérnek, és a különböző szűrők megváltoztatják, mely mérkőzéseket hasonlítjuk össze. Ezért fontos, hogy a szűrők és a lekérdezések parancsai láthatóak legyenek az ügynök válaszában, valamint hogy szerepeljen, hány sor maradt a vizsgált mintában, különösen ha a minta kicsi.
Pár szám a múlt hét mérkőzéseiből
A Week 5-ben az a csapat, amely többet futott az első félidőben, a 15 mérkőzés közül 6-ot megnyert, 8-at elveszített és 1 döntetlen (New York Giants Washingtonban). Az elmúlt öt szezon átlagában az ilyen csapatok 54,3%-ban nyertek, tehát a múlt heti eredmény az átlag alatt volt, de ez nem váratlan: 2021 óta a 95 alapszakasz-hetéből 27-ben előfordult, hogy a több korai futást választó csapat az adott hét végére vesztes mérleggel zárt. Egy hét mérkőzései önmagukban nem sokat mondanak, ezért az ügynök az öt szezon adatait is riportolja a folyó szezon mellett.
Egy konkrét példa: a hétfő esti mérkőzés, Buffalo a Rams ellen, volt az első olyan, amelyet az ügynök még nem látott. Buffalo az első félidős playjeinek 60%-ában futott, a Rams 35%-ában, a Bills a szünetben hat ponttal vezetett, és hosszabbításban hárommal nyert. Az ezen a meccsen játszott 199 lejátszás most bekerült az adatok közé, és a szoros szüneti mérkőzésekre vonatkozó arányok az epizód számításában nem változtak a meccs hozzáadása után.
Következő téma: „Ban the Tush Push” (október 26.)
A sorozat következő epizódjának témája a „Ban the Tush Push” lesz, amelyet élőben is követhetnek: az O’Reilly tagok az O’Reilly learning platformon csatlakozhatnak élőben 2023. október 26-án 8:00–8:45 PT / 11:00–11:45 ET. A szerzők minden második hétfőn új epizódot közölnek a Radaron, rövid szünettel az ünnepek alatt.
A szerzők megemlítik, hogy a 2021 óta gyűjtött 260,927 lejátszás-nyelvi leírás között egyetlenben sem szerepel a „tush push” kifejezés a cikk október 11-i adatai szerint; a hétfő esti meccset hozzáadva az adatbázis 261,126 leírásra nőtt, és az olyan kulcsszavak, mint a „sneak”, csupán két előfordulást mutatnak, mindkettőt 2021-ből. Ez azt jelenti, hogy az adatok maguktól nem fognak tiszta definíciót adni — mielőtt az ügynök ítéletet mondhatna egy játékról, definiálnia kell, mit ért alatta. A szerzők arra kérik az olvasókat, hogy hozzák el saját definícióikat is, mert a válasz attól függ, melyik definíciót választják.
Záró gondolatok
A projekt lényege, hogy az AI-ügynökök ne csak automatikusan futtassanak lekérdezéseket, hanem egyértelmű feladatleírással, dokumentált szűrőkkel és a korlátok feltüntetésével dolgozzanak. Az első epizód megmutatta, hogy a végső következtetések érzékenyek a vizsgálat részleteire: a szűrők és a mintavételi méretek megváltoztatják az eredményt, ezért az ügynök válaszának tartalmaznia kell ezeket az információkat, valamint azt, mit nem lehet megállapítani pusztán az adatokból.
