Biztonság

Mesterséges intelligenciával generált szöveg

A mesterséges intelligencia téves következtetéseinek útját is követniük kell a vállalatoknak

A vállalati rendszerekben a mesterséges intelligencia által előállított következtetések későbbi döntések alapjává válhatnak, miközben eredetük és korlátaik elvesznek.

A mesterséges intelligencia téves következtetéseinek útját is követniük kell a vállalatoknak

Egy mesterséges intelligencia által készített következtetés akkor is tovább befolyásolhat vállalati döntéseket, ha az eredeti hibát már kijavították. Shreshta Shyamsundar és Chidambaram GS egy beszállítói minősítési példán keresztül mutatja be, miért nem elegendő csupán az adatokat helyesbíteni: azt is követni kell, milyen döntések épültek rájuk.

A gyártók a kritikus feladatokra szánt beszállítókat minősítik, mielőtt megbíznák őket. Szabályozott termékek, például orvostechnikai eszközök esetében minőségi tanúsítványokat, vizsgálati jelentéseket, biztosítási dokumentumokat és hatósági jóváhagyásokat gyűjtenek. Ezeket egyre gyakrabban MI-ügynök vizsgálja meg először, majd javaslatot tesz; a vállalati munkafolyamat dönti el, hogy a megállapítás elfogadható-e. A jóváhagyás bekerül a beszállító-kezelő rendszerbe, és arra később beszerzési folyamatok, készültségi mutatók és programjelentések támaszkodnak.

A javított adat nem javítja ki a döntést

A szerzők példájában az ügynök érvényesnek talál egy kötelező minőségi tanúsítványt, a munkafolyamat megfelelőnek minősíti a beszállítót, a beszerzési vezető pedig jóváhagyja egy készülő rendeléshez. Néhány nappal később egy emberi ellenőr észreveszi, hogy a tanúsítvány nem a beszerzendő alkatrészre vonatkozik: az ügynök félreolvasta annak hatókörét.

Az ellenőr 11 órakor javítja a beszállítói nyilvántartást, és új vizsgálatra küldi az ügyet. Délután 2 órakor azonban a készültségi irányítópult és a programjelentés továbbra is jóváhagyottként mutatja a beszállítót. A beszerzési döntés érvényben marad, és a döntéshozó nem kap jelzést arról, hogy megváltozott a döntés alapjául szolgáló bizonyíték.

Hasonló helyzetet okozhat, ha a tanúsítványt visszavonják, a szállítás előtt lejár, másik üzemre vonatkozik, vagy hamisnak bizonyul. A példában egyik rendszer sem feltétlenül hibásodott meg: mindegyik a saját működési szabályai szerint érvényesnek látszó információt dolgozott fel. Az összhatás mégis hibás, mert a vállalat az értéket javította, a hatását nem.

A rendszerek közötti eltérések összehangolása régi vállalati probléma. Az MI-ügynökök azonban következtetéseket is előállítanak, amelyek több forrásból épülhetnek fel, eltérő megfogalmazásban jelenhetnek meg, majd önálló bizonyítékként kerülhetnek elő. Az értékek egyeztetése önmagában nem mutatja meg, hogy a különböző bejegyzések ugyanabból a következtetésből erednek, vagy hogy milyen döntések támaszkodtak rá.

A jelenség más ágazatokat is érinthet. Egy csalásra utaló besorolás bekerülhet egy ügyiratba, egy kockázatértékelés vezetői jelentésbe, egy incidens diagnózisa pedig tudásbázisba. Az elfogadott megállapítások címkézett példákká, kiértékelési készletekké vagy finomhangolási adatokká is válhatnak. Ha a hibás minősítés ott fennmarad, egy későbbi modell tényként tanulhat belőle.

Amikor az ismétlés bizonyítéknak látszik

Az ügynök válasza eredetileg egy generált állítás, amely csak akkor kap üzleti felhatalmazást, ha a megfelelő munkafolyamat meghatározott célra elfogadja. A beszállítói törzsadatban ugyanaz az állítás már megállapított ténynek tűnhet; az irányítópult pedig egyszerűen jóváhagyott állapotot mutathat, az elmaradt vagy folyamatban lévő ellenőrzések nélkül. A jelentések és keresési indexek még tovább rövidíthetik vagy feldarabolhatják a megállapítást.

Ezért külön kérdés, hogy ki hozott létre egy eredményt, és hogy mire szabad azt felhasználni. Egy MI-javaslat elegendő lehet ahhoz, hogy egy beszállító előrébb kerüljön a vizsgálati sorban, de nem feltétlenül elegendő jóváhagyáshoz vagy kifizetéshez. A határt az adott döntés jelentősége és a vonatkozó kontrollok szabják meg.

A terjedés a független megerősítés látszatát is keltheti. Egy későbbi ügynök a beszállítói nyilvántartást és a programjelentést két külön dokumentumként találhatja meg, holott mindkettő ugyanarra az eredeti megállapításra épül. Az eltérő megfogalmazás elfedheti a közös eredetet. Egy erősebb modell vagy relevancia szerinti újrarangsorolás sem tudja megbízhatóan visszaállítani azt az eredetinformációt, amely még a dokumentumok átadása előtt elveszett. Az ügynökmemória és a több ügynökből álló folyamatok tovább növelhetik az önmagukat megerősítő állítások kockázatát.

A döntési függőségek nyilvántartása

A szerzők a döntési leszármazást javasolják helyreállítási megközelítésként. Ez összekapcsolja a forrásbizonyítékot, a generált állítást, az annak adott felhatalmazást és az arra épülő döntéseket. Míg az adatok leszármazása azt mutatja meg, merre haladt egy állítás, a döntési leszármazás azt is, mit tett a szervezet azért, mert hitt neki.

Léteznek kapcsolódó eszközök: a World Wide Web Consortium W3C PROV modellje az adatok létrehozásában részt vevő entitásokat, tevékenységeket és szereplőket írja le; az OpenLineage adatkészletekhez, feladatokhoz és futásokhoz tartozó leszármazási metaadatokat szabványosít; az eseményforrás-alapú megközelítés pedig eseménysorozatként rögzíti az alkalmazásállapot változásait. A szerzők szerint a gyakorlati megvalósítások gyakran megállnak az adatkészletek és feladatok határán, és nem jutnak el sem a döntési bejegyzésekig, sem az ügynökök számára kontextust összeállító keresési rétegig.

A beszállítói példában a követhető lánc a tanúsítványtól az ügynök megállapításán és az elfogadott beszállítói bejegyzésen át a beszerzési döntésig, majd az irányítópultig, a jelentésig és a keresési indexig vezet. Ha a megállapítást visszavonják, a kapcsolat alapján azonosíthatók az érintett döntések és az elavult következtetést átvevő anyagok.

A helyreállítás egy része automatizálható: a rendszer eltávolíthat elavult keresési találatokat, frissíthet mutatókat, jelezheti a jelentések újragenerálásának szükségességét, megállíthat függő munkafolyamatokat és felülvizsgálati feladatot nyithat. A már meghozott beszerzési döntés fenntartásáról vagy visszavonásáról, illetve az ügyfelek vagy hatóságok esetleges értesítéséről azonban a döntés felelőse határoz.

Hogyan működhet a gyakorlatban?

A folyamat ott kezdődik, ahol az ügynök eredménye bekerül a nyilvántartó rendszerbe. Az ügynök a vizsgált bizonyítékhoz kötött javaslatot rögzít; egy üzleti felelősséggel működtetett determinisztikus munkafolyamat dönti el, hogy az állítás meghatározott felhasználásra elfogadható-e. Ha egy kötelező ellenőrzés nem végezhető el, a megállapítás javaslat marad, és nem válhat észrevétlenül elfogadott ténnyé.

Az elfogadás után a jelentős döntést magához a megállapításhoz és a mögötte álló bizonyíték adott verziójához kell kötni. Egy viszonylag kis függőségi bejegyzés is tartalmazhatja az állítás azonosítóját, a bizonyíték pillanatképét, a jóváhagyó folyamatot és a felhasználás célját, valamint az érintett döntések, irányítópultok, jelentések és indexek azonosítóit. Nincs szükség arra, hogy a rendszer az ügynök minden tevékenységéről egyetemes gráfot építsen.

A kapcsolatnak a későbbi másolatokban is felismerhetőnek kell maradnia. Ha egy ügynök ugyanazt a megállapítást a beszállítói rekordból és egy jelentésből is visszakeresi, a keresési rétegnek két másolatként, nem pedig két független bizonyítékként kell kezelnie őket. Visszavont állítás esetén mindkettőt ki kell szűrnie vagy meg kell jelölnie.

Nem minden MI-kimenetnél éri meg ez a többletmunka. Az alacsony kockázatú, nem tárolt és bizonyítékként újra nem használt, könnyen újragenerálható válaszokhoz elegendő lehet a szokásos naplózás. A döntési leszármazás akkor lehet indokolt, ha a megállapítás jóváhagyást, kifizetést, biztonságot, megfelelőséget vagy későbbi gépi döntéseket befolyásolhat.

A követés egysége nem minden leírt szó, hanem a döntés szempontjából lényeges állítás, például hogy egy tanúsítvány érvényes. Egy hosszú értékelésben akár csak egy-két ilyen állítás lehet; ezek követése kevesebb tárolási, adatvédelmi és működtetési költséggel járhat, mint a teljes szöveg nyomon követése. A közös eredetet ugyanakkor pontosan kell megállapítani: két laboratórium egymástól független, azonos eredményű vizsgálatát nem szabad egyetlen forrássá összevonni pusztán azért, mert egyetértenek.

A javítás hatásának tesztelése

A függőségek rögzítése önmagában nem bizonyítja, hogy a javítás végig is ér a rendszereken. A szerzők ellenőrzött környezetben végzett próbát javasolnak: egy hibás megállapítást el kell juttatni egy jelentésig és keresési indexig, majd vissza kell vonni. A teszt csak akkor sikeres, ha az érintett döntés megtalálható, és az elavult másolatok a folyamat által megengedett helyreállítási időn belül megszűnnek aktuális bizonyítékként megjelenni.

Három mutató segíthet az értékelésben: a jelentős döntések közül hány vezethető vissza az alátámasztó megállapításhoz; mennyi idő telik el a visszavonás és az érintett döntések azonosítása között; valamint hány visszavont másolat jelenik meg továbbra is érvényes bizonyítékként. A célértékek folyamattól függenek: egy kifizetés jóváhagyásánál például egy órán belüli azonosítás és nulla elavult találat lehet szükséges, míg a vizsgálati sor rendezésénél egy nap is elfogadható lehet.

Ha a beszállítói példát ezzel a mintával ismétlik meg, a 11 órás javítás visszavonja a megállapítást, új vizsgálatra küldi a beszállítót, frissíti az irányítópultot, jelzi a jelentés újragenerálását, eltávolítja az elavult keresési találatokat és felülvizsgálati feladatot küld a beszerzési vezetőnek. Délután 2 órakor az irányítópult már vizsgálat alatt állóként mutatja a beszállítót. Az eredeti tévedés ettől még megtörtént, de a terjedése láthatóvá válik, következményeit pedig a felelős döntéshozó kezelheti.

A döntési leszármazás nem igazolja a bizonyíték eredetiségét, nem helyettesíti az adatminőségi vagy jogosultsági kontrollokat, és nem garantálja az MI következtetéseinek helyességét. Abban segít, hogy egy már elfogadott, később megváltozó állítás hatását a szervezet megtalálja és újraértékelje.