A Microsoft egy új, rendszerszintű megközelítést dolgozott ki a Microsoft Copilot vállalati környezetben történő értékelésére. Az „Industry Evaluation Data Generation Platform” (ipari értékelési adatgeneráló platform) célja teljes egészében szintetikus, de a valós szervezetek összetettségét tükröző környezetek létrehozása — mindezt úgy, hogy semmilyen ügyféladatot ne használjanak fel.
Miért volt szükség erre?
A vállalati AI rendszerek működésének ellenőrzéséhez olyan tesztadatok kellenek, amelyek visszaadják a valódi szervezetek felépítését és kommunikációs mintáit. Ugyanakkor a valós vállalati adatok érzékenyek és jogilag sem használhatók ilyen célokra. A Microsoft válasza az volt, hogy létrehozott teljes méretű, dinamikus szintetikus „tenant” környezeteket: izolált szervezeti munkahelyeket felhasználókkal, levelezésekkel, találkozó- és projekt-előzményekkel.
A platform három pillére
- Szintetikus vállalati környezetek: ipari jellegű, felhasználókkal, dokumentumokkal, meeting- és e-mail-előzményekkel, szervezeti struktúrákkal, amelyek a vállalati AI értékeléshez szükséges viselkedési és strukturális jellemzőket reprodukálják anélkül, hogy valós ügyféladatokat használnának.
- Automatizált lekérdezés-generáló csővezetékek: gyors, reprodukálható módon alakítják ki az értékelési kérdéseket, egyszerű sablonötletekből iparág-specifikus, az adott környezet adatára rögzített lekérdezéseket hozva létre.
- Strukturált minőségi keretek: mérések és metrikák arra, hogy a szintetikus adatok megfelelnek-e az értékeléshez szükséges követelményeknek.
Való világra alapozott jelzések
A szintetikus környezetek realizmusát nyilvános források statisztikáira és tartalmaira alapozva biztosítják:
- O*NET (az Egyesült Államok Munkaügyi Minisztériumának foglalkozási adatbázisa) a szerepkörök, feladatok és gyakoriságok kalibrálásához;
- Online álláshirdetések a szerepkör-megnevezésekhez, jelentési hierarchiákhoz és részlegek összetételéhez;
- SEC-beadások a szervezeti lépték, üzleti egységek és pénzügyi kontextus modellezéséhez.
Ezek a források nyilvánosak és Microsoft jogi/politikai áttekintésen estek át. A generált környezetek dinamikusak: időben változó meeting- és projekt-történeteket, hetek alatt kibontakozó e-mailfonalakat és szervezeti változásokat szimulálnak, ami fontos olyan lekérdezések értékeléséhez, amelyek időérzékenyek (például: „Mit döntött a csapat múlt csütörtökön?”).
Iparág-specifikus környezetek
A platform három iparági szcenáriót hozott létre, mindegyik az adott terület munkafolyamatait tükrözve:
- Gyógyszeripari környezet: szabályozási benyújtási folyamatok, klinikai vizsgálati megbeszélések, keresztfunkcionális biztonsági felülvizsgálatok.
- Tőkepiaci környezet: üzletmenet-pipeline-ok, megfelelőségi kommunikációk, ügyfélportfólió-áttekintések.
- IT/szoftveres cég: sprint tervezés, kódellenőrzési viták, termékindítás koordinációja.
Ez az iparág-specifikusság lehetővé teszi, hogy az értékelési lekérdezések az adott területeken felmerülő valós kérdéseket vizsgálják, és ne csak általános tesztesetekre korlátozódjanak.
Automatizált lekérdezés-generálás
A szintetikus adatok alapot adnak, de hiányzik hozzájuk a valós értékelési lekérdezések nagyszámú, iparág-specifikus mintakészlete. A Microsoft ezért egy hatlépéses, automatizált csővezetéket épített, amely:
- egy nagy könyvtárból választ ki gyakori munkahelyi feladatokat,
- leszűkíti az iparág számára relevánsakat,
- adaptálja őket domain-specifikus nyelvezethez,
- AI segítségével lekérdezéseket generál, amelyek a szintetikus adatra hivatkoznak,
- emberi-szerű megfogalmazásra átírja őket,
- validálja minden kérdés pontosságát és egyediségét.
Az eredmény egy nagyszámú, élethű kérdéskészlet, amely skálázható és megbízható értékelést tesz lehetővé.
Szintetikus minőség értékelése
A generált környezeteket belső szemantikai értékelési keretrendszerrel mérik az alábbi dimenziók mentén:
- Strukturális hűség: tükrözi-e a szervezeti struktúra a valós jelentési hierarchiákat, csapatméreteket és keresztfunkcionális kapcsolatokat?
- Kontextuális relevancia: képviselik-e a lekérdezések és munkafolyamatok a tényleges vállalati használati mintákat?
- Viselkedési realizmus: mutatják-e a szimulált felhasználók emberhez hasonló kommunikációs és együttműködési mintákat?
- Tartalom-biztonság: mentes-e a tartalom káros, sértő vagy személyazonosításra alkalmas elemek használatától, és nem utánoz-e valódi személyeket?
Végpontok közötti automatizáció és hatékonyság
A folyamatok automatizálása több gyakorlati problémát oldott meg: reprodukálhatóságot biztosít, skálára képes, felgyorsítja az iterációkat és egységes pontosságot hoz a csapatok közötti használatnál. A Microsoft szerint a kézi folyamatokhoz képest az automatizálás csökkentette a dataset-készítés idejét és költségét: becslésük szerint körülbelül 100 000 USD megtakarítást jelent egy értékelési dataset esetén és hozzávetőleg 300 000 USD teljes projektmegtakarítást. Emellett bármely csapat ugyanabból a konfigurációból azonos eredményt tud újragenerálni.
Adatvédelem és biztonság tervezésből
A platform egy alapelv mentén működik: a csővezeték egyetlen pontján sem használ fel valódi ügyféladatot. Minden szervezeti struktúra, e-mail, találkozótranszkript és dokumentum szintetikus. A rendszerbe beépített biztonsági ellenőrzések automatikusan szűrik a káros vagy személyazonosításra alkalmas tartalmakat. További intézkedések közé tartoznak a privát aggregációs technikák, jogi áttekintés, valamint az adatok eredetének és feldolgozási útjának nyomon követése.
Ez lehetővé teszi, hogy a Microsoft csapatai széles körben megosszák és újrahasználják az értékelési készleteket kockázat nélkül, és a magánéletre vagy megfelelőségre vonatkozó jóváhagyások nem lassítják az iterációs folyamatokat.
Eredmények és hatás
A projekt elindítása óta több területen mérhető javulást tapasztaltak:
- Szintetikus adatminőség: a belső összetett minőségi mutató szerint 39%-os javulás érhető el a kezdeti generálási megoldáshoz képest. Néhány iparág-specifikus környezet minőségi pontszáma meghaladta a 0,9/1,0 értéket.
- Skála és hatékonyság: minden szintetikus környezetben most már több száz felhasználó teljes kommunikációs előzményével találhatók meg a minták, és a dataset-előállítás automatizált futásokra állt át.
- Szervezeti elfogadás: a platformot belső megosztott katalógusba helyezték, ahol különböző csapatok újrahasználhatják, és ez az első szabványosított értékelési alapvonalként szolgál a Microsoft Copilot esetében.
Következő kérdések és jövőkép
A Microsoft kiemeli, hogy az értékelés nem ér véget: a csapat további kihívásokat vizsgál, például a többszörös lépésű, ügynöki jellegű interakciók minőségének felmérését, hosszabb távú szervezeti dinamikák bekerülését több hónapon vagy éven át, és olyan keretrendszerek kialakítását, amelyek nemcsak szöveget generáló, hanem ténylegesen műveleteket végrehajtó AI rendszereket is értékelnek.
A projekt üzenete: a Copilot funkcióinak bővítése mellett a Microsoft infrastruktúrát épít annak biztosítására, hogy az AI rendszerek megbízhatóan működjenek minden iparágban és léptékben — az értékelés központi szerepével, illetve a szigorú adatvédelmi és tartalombiztonsági garanciákkal.
Köszönetet mondtak a platformon dolgozó csapatoknak és hozzájárulóknak az Industry Evaluation Datasets létrehozásához.
