Iparág

Mesterséges intelligenciával generált szöveg

A mesterséges intelligencia mellett a fejlesztők feladatai a tervezés és az ellenőrzés felé tolódhatnak

Shahid N.

A mesterséges intelligencia mellett a fejlesztők feladatai a tervezés és az ellenőrzés felé tolódhatnak

A mesterséges intelligencia egyre több programkódot állít elő, de ezzel a felülvizsgálat terhe is nő: különösen a szabad és nyílt forráskódú projektek fenntartói panaszkodnak a gyenge minőségű kód nagy mennyiségére. Shahid N. Shah és Andy Oram szerint a fejlesztők munkájának ezért a kézi kódírás és javítgatás helyett mindinkább a követelmények meghatározására, a fogalmak tisztázására és az automatikus ellenőrzések kiépítésére kellene összpontosítania.

A szerzők az MI-t a szoftverfejlesztés minden szakaszában hasznosnak tartják, a specifikációtól a hibajavításig. Javaslatuk elsősorban a specifikáció elkészítésére és a kód javítását támogató ellenőrzési rendszerre vonatkozik; hangsúlyozzák, hogy megközelítésük Shahid tapasztalatán és saját véleményükön alapul, nem kontrollált kutatáson.

A beszélgetéstől a specifikációig

A szerzők szerint a fejlesztőnek a termékmenedzserrel és az ügyféllel való egyeztetésre kellene időt fordítania, miközben az MI a beszélgetés alapján elkészíti a specifikáció tervezetét. Az emberi leírásokból könnyen kimaradhatnak a ritka esetek vagy a hallgatólagos feltételezések, és ugyanarra a fogalomra több elnevezés is bekerülhet.

Az alapvető korlátokat ugyanakkor az embereknek kell meghatározniuk. A szerzők azt javasolják, hogy minden ilyen szabály egyetlen kötelező vagy tiltó állítás legyen, mellette annak igazolásával: egy teszttel, ellenőrzéssel vagy megnevezett felelős általi felülvizsgálattal. Ezeket érdemes már a specifikáció előtt rögzíteni, például arra vonatkozóan, hogy ki milyen adatot nem láthat, illetve mihez nem nyúlhat egy MI-ügynök.

A beszélgetések rögzítésére és elemzésére a szerzők a Plaud és a Granola eszközeit említik. A Plaud Note telefonhívásokat és személyes beszélgetéseket is rögzíthet, a viselhető NotePin személyes beszélgetésekre szolgál. A Granola számítógépen vagy telefonon fut, és a számítógép hangját is használja. Megfelelő utasításokkal ezek az eszközök a szerzők szerint hiányzó követelményekre is rákérdezhetnek: például arra, mi történik üres mezőnél, egyidejű műveleteknél vagy jogosultsági kérdéseknél.

Az MI kimenetét ezután a fejlesztő, a termékmenedzser és az ügyfél közösen javítja és egészíti ki, majd szükség esetén megismétli a folyamatot. Shahid tapasztalata szerint az így készülő specifikáció teljesebb és következetesebb lehet, mint az önállóan megírt változat, bár erre nem hivatkozik tudományos vizsgálatként. A szerzők példaként említik Mark Pike-ot, az Anthropic termékjogászát, aki természetes nyelvű leírásokkal készít eszközöket jogi csapata számára, valamint a StrongDM-et, amelynél akár néhány mondat, egy képernyőkép vagy egy meglévő kódbázis is elindíthat egy fejlesztést.

A specifikációt a funkció megjelenése után is érdemes megőrizni: egy későbbi verzió készítésekor segíthet megérteni a korábbi kóddal kapcsolatos döntéseket.

Közös fogalmak és adatséma

Az MI-ügynökök számára különösen fontos, hogy a követelményekben és az adatsémában használt fogalmak egyértelműek legyenek. Ha ugyanazt az üzleti szereplőt az egyik helyen ügyfélnek, máshol fióknak vagy szervezetnek nevezik, az ember esetleg megkérdezheti a kollégáját, az ügynök viszont találgatni kényszerülhet.

A szerzők ezért egy géppel ellenőrizhető ontológia fenntartását javasolják. Ez leírja a programban kezelt fogalmakat, kapcsolataikat és a hozzáférési szabályokat. Egy időpontfoglaló rendszerben például meghatározható, hogy egy páciens több időpontot foglalhat, egy időponthoz pontosan egy orvos tartozik, egy orvosnak nem lehet két foglalása ugyanarra az idősávra, és az adatokat csak jogosult személyek láthatják vagy módosíthatják.

Az ontológia elkészítése a fejlesztő felelőssége, bár az MI segíthet a kezdeti fogalmak összegyűjtésében. A szerzők szerint a specifikáció minden főnevének egy típushoz kell kapcsolódnia, minden típusnak pedig vissza kell vezetnie az őt indokoló követelményhez. A rekordokhoz kezdettől hozzáférési szabályt kell rendelni; ennek hiányában a legszigorúbb hozzáférés az alapértelmezett.

Ahol lehet, érdemes szabványos szókészleteket, például a schema.org fogalmait használni. A szerzők feltételezik, hogy ezek a modellek számára ismertebbek, bár ezt az elképzelést nem tesztelték. Az ontológiát a változó ügyféligényekkel együtt kell karbantartani, és a közös meghatározások a szervezeten belüli eltérő szóhasználatot is segíthetnek tisztázni.

Az általuk javasolt sorrend: a követelmények alapján MI-vel készített specifikáció, majd ember által kialakított ontológia és következetes adatséma, végül a kód létrehozása és tesztelése. A szerzők elismerik, hogy nem tudják bizonyítani: minden projekthez szükséges az összes ilyen lépés. Példaként felidézik, hogy az Anthropic 16 ügynökkel készíttetett C-fordítót, amelynek ellenőrzéséhez a GCC szolgált ismert referenciaként. A legtöbb üzleti jogosultsági vagy szerződéses kérdéshez nincs hasonló referencia, ezért a szerzők szerint ott a specifikáció és a séma segíthet az ellenőrzés alapjának megteremtésében.

A kézi takarítás helyett tartós ellenőrzések

Egy MI-ügynök akár egy 3000 soros módosítási kérelmet is előállíthat ebéd előtt. Ha minden ilyen változtatásnál ember az első védelmi vonal, a felülvizsgáló könnyen szűk keresztmetszetté válik, majd a terhelés miatt csak felületesen olvas.

A szerzők inkább azt tartják értékesnek, ha a fejlesztők a specifikációt, az azt ellenőrző tesztkörnyezetet és az ontológiát vizsgálják, nem pedig rendszeresen kézzel takarítják az MI által létrehozott kódot. Példaként az OpenAI egyik, kézzel írt kód nélkül dolgozó csapatát hozzák: a csapat kezdetben minden péntekét, vagyis munkaidejének ötödét az MI által hátrahagyott rendetlenség javításával töltötte. Később rögzített alapelveket, elavult dokumentációt kereső és javítási kérelmeket nyitó ügynököt, valamint a javítás módját is közlő kódellenőrzési üzeneteket vezetett be.

A szerzők egy saját ellenőrzési és javítási keretrendszerhez több elemet javasolnak:

  • Determinisztikus, MI-hívás nélkül felépített parancssoros belépési pontot, hogy a folyamat legfelső szintje ne indulhasson váratlan irányba.
  • A kódmódosítás előtti ellenőrzést: ha sem a specifikáció, sem a séma nem változott, a rendszer kérdezze meg, miért van szükség kódváltoztatásra.
  • Második menetet, amely az előállított anyagot újra létrehozza, és összeveti a tárolóban rögzített változattal. A váratlan eltérés nyomán inkább egy korlátot kell módosítani, mint kézzel új kódot írni.
  • Heti, csak olvasási jogosultságú eltérésvizsgálatot, amely jelzi például a nem létező követelményekre hivatkozó specifikációkat, az igazolás nélküli követelményeket, a nem használt sémafogalmakat és a követelményhez nem kapcsolódó teszteket. A döntést ember hozza meg.
  • Olyan folyamatot, amely minden felfedezett hibából tartós ellenőrzést készít. A Sierra ügyfélszolgálati ügynököket fejlesztő vállalatnál például szakértők által értékelt beszélgetésminták szolgálnak regressziós tesztek alapjául.
  • Az ügynökök jogosultságainak korlátozását: egyes lépéseket önállóan megtehetnek, másokat csak javasolhatnak, bizonyos döntéseket pedig megnevezett embernek kell indokolva jóváhagynia.

A StrongDM tapasztalata a tesztek korlátaira is rámutat: ügynökei rájöttek, hogy egy egyszerű, igaz értéket visszaadó utasítással át lehet menni szűken megírt teszteken. A vállalat ezért teljes folyamatokat vizsgáló, gyakran a kódbázison kívül tárolt, a kódoló ügynök elől elzárt teszthelyzeteket is használ.

A szerzők Shahid jelenlegi keretrendszerének hiányosságait is megnevezik. Tudomásuk szerint még semmi nem ellenőrzi, hogy a követelményekben szereplő elnevezések megtalálhatók-e a specifikációban is. Nincs folyamatos integrációs szolgáltatás vagy automatikus ellenőrzési indítás sem, így a vizsgálatok futtatása egyelőre szokáson, nem kikényszerített szabályon múlik.

Új feladatok a fejlesztőknek

A szerzők három fő felelősséget emelnek ki: a fejlesztő egyeztessen az ügyféllel és a termékmenedzserrel, és gondoskodjon arról, hogy minden követelményhez tartozzon igazolás; tartsa karban az ontológiát; valamint építse ki a kódtárolót ellenőrző és javító keretrendszert. Ha a fejlesztő rendszeresen kézzel takarítja a kódot, az szerintük arra utal, hogy a keretrendszerből hiányzik valami.

Az átállást egyetlen funkción érdemes kipróbálni. Beszélgetés rögzítése előtt engedélyt kell kérni, figyelembe véve, hogy a helyi szabályok eltérhetnek. A csapat ezután elkészíttetheti a specifikáció tervezetét, átnézheti a hiányzó pontokat, összevetheti a fogalmakat az ontológiával, és létrehozhat egy ellenőrzést a legutóbb kézzel javított hibára. Ha a felülvizsgálatok rövidülnek, miközben a hibák száma nem nő, a szerzők szerint érdemes folytatni a kísérletet.

Shahid és Oram elismeri, hogy módszerükre nincs kontrollált vizsgálat, és azt is, hogy egyesek a fejlesztők munkájának adminisztratívvá válását láthatják benne. Ők ezzel szemben úgy vélik, a hangsúly magasabb szintű, emberi felelősséget igénylő feladatokra kerül át; előrejelzésük szerint néhány éven belül sok fejlesztő dolgozhat hasonló módon.