Az Amplitude új, proaktív termékügynöke, Wave, elsősorban OpenAI-modellekre épülve azonosítja a fejlesztési lehetőségeket, kidolgozza a megvalósítási terveket, továbbítja azokat kódoló ügynököknek és méri az eredményeket. A cég szerint Wave nagyjából 80%-ban OpenAI modellekre támaszkodik, köztük GPT‑6.1 Solra, GPT‑6 Lunara és GPT‑Image‑2.5 Flare‑re.
Milyen problémát old meg Wave
Wave célja, hogy a termékanalitikai adatokból és felhasználói visszajelzésekből gyorsan élesíthető fejlesztéseket hozzon létre. A csapat megad egy termékterületet és a javítandó célokat/mutatókat; Wave ezután összegyűjti az Amplitude-adatokat, a session replayeket, a vásárlói visszajelzéseket és a kódot, priorizálja a lehetőségeket, megfogalmazza a megoldási javaslatot és technikai tervet, majd koordinálja a kivitelezést emberekkel és kódoló ügynökökkel. A rendszer követi az eredményeket és az újabb tanulságok alapján finomít.
Amplitude becslése szerint Wave használatával a termékfejlesztés élesre vitele 1–2 napra csökkenhet a korábbi, nagyjából egy hónapos időtartamhoz képest. A cég saját honlapján végzett kísérletben Wave személyre szabott javaslatkártyái 160%-os növekedést hoztak a kártyákon keresztül küldött üzenetek számában a kontrollhoz képest egy nap után.
Modellkiosztás: melyik modell mit csinál
Amplitude feladatok szerint választ modelleket: GPT‑6.1 Solt használják az Opportunity Investigatorhoz és a mélyebb kód‑ és adatvizsgálatokhoz, GPT‑6 Lunát gyakoribb, alacsony költségű ellenőrzésekhez és kórszkennerekhez, míg GPT‑Image‑2.5 Flare generál mockupokat és vezetékvázakat session replay screenshotok alapján.
Amikor egy lehetőség készen áll a megvalósításra, a csapat közvetlenül továbbíthatja a Wave-ből a technikai tervvel és az elfogadási kritériumokkal együtt kódoló ügynököknek, például Codexnek.
Esettanulmány: személyre szabott javaslatkártyák az Amplitude honlapján
Amplitude a saját honlapján tesztelte Wave-et: egy mintában 100 session replayből 80 felhasználó saját kérdést gépelt be, és csak 12 választott javaslatot. Wave azt javasolta, hogy a javaslatkártyákat személyre szabják a legutóbbi diagramok, dashboardok vagy a felhasználó előző oldalának kontextusa alapján. A javaslat illusztrálta a változtatást, megírta a technikai tervet (beleértve a szabad gépelés megőrzését és a generikus javaslatok mutatását kontextus hiányában), majd rövid felülvizsgálat után a munka egy kódoló ügynökhöz került és A/B tesztelték.
A kísérletben a honlap javaslatkártyáin keresztül küldött üzenetek 160%-kal nőttek a kontrollhoz képest egy nap alatt. Eric Carlson, az Amplitude Senior Principal AI Engineerje szerint ez azt mutatja, hogy olyan apró, de figyelmen kívül hagyott változtatások is jelentősen növelhetik a funkciók használatát.
Modellek teljesítményének mérése
Amplitude az egyes feladatokhoz minőségi, késleltetési és költségkritériumok alapján rendeli a modelleket. Az Opportunity Investigator értékelésében a GPT‑6.1 Sol 4,06/5-ös összpontszámot ért el, míg három alternatív modell 3,62, 3,52 és 2,94 pontot kapott. A GPT‑6.1 Sol vezetett az öt vizsgálati kritériumban, és a medián vizsgálati ideje 54 perc volt, ami a leggyorsabbnak számított.
A Data Science Agent külön értékelésében a GPT‑6.1 Sol 67,5/100-as pontszámot kapott, míg egy másik vezető modell 69,3-at ért el; ugyanakkor a GPT‑6.1 Sol átlagos modellköltsége dispatchenként 1,28 dollár volt a 2,63 dollárhoz képest. A GPT‑6.1 Sol jobbnak bizonyult eszközigazodásban, becslésben és bizonytalanság kezelésében, valamint bizonyítékokhoz kötött állításokban.
A nagy volumenű, ismétlődő munkákhoz Amplitude a GPT‑6 Lunát használja alacsony késleltetés és költség miatt, így a drágább, nagyobb követelményű gondolkodást igénylő feladatokra megmarad a GPT‑6.1 Sol kapacitása.
A vizuális feladatoknál OpenAI képalkotó modellje 80,3/100-at ért el megoldási vezetékvázak minőségében, míg egy másik vizsgált képmodel 63,9-et; az értékelés 15 lehetőséget vizsgált kommunikációs minőség, termékhűség, utasításkövetés, szöveg- és UI-olvashatóság, valamint vizuális koherencia alapján.
Ügyfélhasználat és automatizálási szintek
Beta állapotban lévő ügyfelek már használják Wave-et különböző iparágakból, hogy azonosítsák és élesítsék a termékjavításokat. Wave elemzi a session és analitikai adatokat, majd javaslatot dolgoz ki javítási javaslattal, technikai tervvel és elfogadási kritériumokkal.
A csapatok eldönthetik az automatizálás mértékét: a legtöbb csapat a hibajavításokat közvetlenül kódoló ügynökökhöz továbbítja, míg új funkciók és nagyobb fejlesztési tételek emberi felülvizsgálatot kapnak. Azok között a változtatások között, amelyeket ügyfelek élesítettek, egynegyedük még azon a napon éles lett, amikor Wave felfedte a lehetőséget; a fele kevesebb mint négy nap alatt, és kétharmada egy héten belül.
Célok és jövőkép
Amplitude célja az OpenAI-modellekkel, hogy a szoftverfejlesztésben elterjedjenek az önmagukat javító termékek: ahogy a modellek egyre jobbá válnak a következtetésben és kódolásban, a csapatok egyre több vizsgálati és megvalósítási munkát delegálhatnak ügynökökre. Skates szerint ez gyorsabb és jobb termékekhez vezethet: az Amplitude már most is tapasztalja, hogy az ügynökök saját termékében találnak és szállítanak fejlesztéseket, miközben a csapat más prioritásokon dolgozik.
Jacob Newman, az Amplitude Principal AI Product Managere így foglalja össze a koncepciót: Wave egy egységes platformot kínál, amely ügynökökkel átvizsgál nagymennyiségű session replayt, analitikát és kódot a termékjavítási lehetőségek felkutatásához.
Eric Carlson és a többi Amplitude-vezető által közölt eredmények azt mutatják, hogy a célzott, automatizált elemzés és végrehajtás rövid távon is jelentős hatást érhet el a felhasználói engagemensen és a fejlesztési ciklusidőn.
