Chester Ismay és Michelle Smith bemutatása szerint a csapatuk AI-ügynöke nem találta meg a "tush push" elnevezést a rendelkezésére álló játékleírásokban: a 2021-től az aktuális szezonig tartó időszakban szereplő körülbelül 265 000 játékleírás között ez a kifejezés nem fordult elő. Ugyancsak hiányzott a "brotherly shove" megnevezés, a "sneak" kifejezés pedig csupán kétszer szerepelt. Emiatt az október 26-i The Monday Morning Agent adásban, amikor az ügynöknek a "Ban the Tush Push" témát kellett elemeznie, először maga a játék meghatározása volt a feladat.
Közös adat-szótár: az ügynök első tartós emléke
A csapat ezért rögzítette a meghatározást egy közös adat-szótárban (shared data dictionary). Ez az ügynök első tartós memóriája: a későbbi futtatásoknak ugyanazt a definíciót kell használniuk, és nyilvánosan meg kell nevezniük a mérés korlátait. Ezzel elkerülhető, hogy egy későbbi lekérdezés másképp értelmezze a kifejezést, és nehéz legyen összehasonlítani az eredményeket.
Ellenőrizd, hogy az adatok alátámasztják-e a definíciót
A szerzők felhívják a figyelmet arra, hogy a nyers adatok más-más aspektusokat rögzítenek: a rendelkezésre álló adattár az adott játék labdacipelőjét azonosítja, de nem tartalmazza, hogy a társjátékosok megnyomták-e vagy lökdösték-e őt. Az adatból meg lehet állapítani, hogy a snap shotgunból történt-e, de a csapat konkrét formációját nem rekonstruálhatjuk.
A csoport öt lehetséges definíciót vizsgált meg: a pusztán felnyomott quarterback sneak-től a harmadik vagy negyedik downon rövid yardot kifejezetten célzó bármilyen rohamig. Minden definíció megváltoztatja a vizsgált játékok halmazát; a legszélesebb értelmezés például a futókat is számításba venné, ami eltér a vita tárgyától.
Ezért ajánlják: mielőtt egy ügynököt hagysz egy köznapi fogalomra rákérdezni, írd le a definíciót egyszerű, világos nyelven, majd mondatonként vizsgáld meg, hogy az adat tényleg alátámasztja-e azt. Csak azért, mert egy név ismerős, még nem jelenti, hogy az adatokból használható címke készíthető belőle.
Írd le, mit nem tud mérni a definíciód
A tesztcsapat végül úgy döntött, hogy a mérés definíciója: a quarterback futása, amikor egy yard vagy annál kevesebb kell a sikerhez, és a snap "under center" történt. Az ügynök ilyen feltételek teljesülésekor számolja a kvalifikáló quarterback sneakeket, függetlenül attól, hogy történt-e tolás vagy sem. Tehát valójában egy a tush push helyettesítésére szolgáló mérőszámot használnak, és nem képesek elkülöníteni a tolás tényleges hozzájárulását.
Még maga a "quarterback" fogalom is további feltételezést követel: az eszközben nem szerepel a játékosok pozíciója, ezért a quarterbacket úgy határozták meg, hogy az a játékos, aki a legtöbb passzt dobta az adott csapatban az adott meccsen. Ez egy további asszumpció, amelyet értelmezéskor figyelembe kell venni.
A szótár bejegyzésének világosan meg kell fogalmaznia a játékleírást és fel kell sorolnia, mit nem lehet az adatokból megmondani. Ellenkező esetben az olvasók könnyen azt a következtetést vonhatják le, hogy egy "tush push" eredmény csak olyan játékokat számol, ahol tényleges tolás történt. A korlátokat a definíció mellett kell tartani, hogy az ügynök a kiszámolt eredmény mellett megismételhesse azt.
Ugyanazt a definíciót kell használni a későbbi futtatásoknál
A szótár minden definícióhoz egy JSON-fájlt tartalmaz előre meghatározott szerkezettel. Az ügynök hozzáadhat bejegyzést, de meglévőt nem módosíthat; ha másik definíció szükséges, új névvel kell létrehozni. Ez megakadályozza, hogy egy korábbi eredmény jelentése hangtalanul megváltozzon.
A demonstrációban a eszköz először visszautasította a "tush push" kérését, mert nem létezett bejegyzés. Az ügynök ezután létrehozta a definíciót, és lekérdezte az adatokat a meghatározás alapján. A futtatást indító script (runner) a futtatás előtt lementi a szótár egy példányát, és a dátummal együtt beépíti azt az ügynöknek adott utasításba. Az ügynök így először megkeresi, létezik-e már egy definíció; ha igen, azt használja, ha nem, létrehozhat egy újat a támogatott mezők alapján.
Ellenőrizd, hogy az ügynök tényleg használja-e a memóriáját
Az, hogy a szabályzatban szerepel: "használd a szótárat", önmagában nem garantálja az engedelmességet. A rendszer három elemen alapul: utasítás, ellenőrzés és végrehajtás. A policy előírja, hogy az ügynök idézze a megfelelő bejegyzést. Az eszköz csak a szótárból elfogadott definíciókat fogadja el a lekérdezés részeként, nem pedig a lekérdezéskor hirtelen kitalált meghatározásokat. Ha a válaszból hiányzik a kötelező idézés, a runner egyszer újrapróbálkozik, majd leáll, ha továbbra is hiányzik.
A csapat kibővítette az ügynök jogosultságait, hogy az a lekérdezés során hozzátehessen egy szótárbejegyzést. Fontos letesztelni, hogy az ügynök valóban használja-e a közös definíciókat, és hogy a választ olvasó személy könnyen megtalálhatja-e azokat.
Eredmények és emberi mérlegelés
A definiált játéktípus átkonverziós rátája öt teljes szezon adatait tekintve 78,3% volt, míg a többi rövid yardos roham 70%-os konverziót ért el — ez 8,3 százalékpontos előnyt jelent a meghatározott csoport számára. Bár az ügynök azonosította ezt az előnyt, nem tekintette a különbséget elégséges bizonyítéknak egy tiltás indoklásához. Ezek a számok csak a definiált játékok konverziós rátáit írják le: nem bizonyítják, hogy az NFL-nek el kellene-e tiltania egy játékváltozatot, és nem mutatják meg, mennyit tett hozzá a tolás a sikerhez.
Az adás során egy néző felhívta a figyelmet arra a fontos különbségre: hogy egy sikeres játéknak nem kizárólag az adatai alapján kell eldőlnie a szabályozása — ilyen döntésekhez emberi megítélés szükséges. A konverziós ráták segíthetnek a vitában, de nem válaszolnak a biztonság vagy az esztétika kérdéseire.
Következő téma: "Kickers Are Too Good Now"
A csapat bejelentette, hogy november 9-én a "Kickers Are Too Good Now" témát veszik sorra, és ezúttal írásos vizualizációs szabványokat is adnak az ügynöknek. Az ügynök percek alatt képes grafikont létrehozni; a cél most annak meghatározása, hogyan mutassanak be trendeket és összehasonlításokat úgy, hogy az olvasók lássák, mit támogat valójában az adat.
Az O’Reilly tagok feliratkozhatnak az O’Reilly learning platformon, hogy élőben csatlakozzanak november 9-én 8:00–8:45 am PT / 11:00–11:45 am ET. Mindenki követheti a Radar rovatot minden második hétfőn, kis szünettel az ünnepek idején. Nézze meg az október 26-i adást, és a következő alkalommal tovább építik a bemutatott módszereket.
