A mai AI Engineer Code Summit (AIE Code) központi témája a „system one” modellek voltak — olyan, nem-generatív modellek, amelyek strukturált választásokat, pontszámokat vagy valószínűségeket adnak vissza. Ezek a modellek általában sokkal gyorsabbak és olcsóbbak, mint a gondolkodó, nagy nyelvi modellekre épülő megoldások (a rendezvény anyagában gyakran „system two” modelleknek nevezve).
A rendszer egyes modellek mellett Diogo Almeida, a TypeSafe AI társalapítója és vezérigazgatója állt fel a leginkább inspiráló felhívással. Almeida vezető fejlesztője volt a Jev nevű terméknek, amely kevesebb mint két hónappal a mostani esemény előtt, szeptemberben jelent meg, és gyorsan hívta fel magára az AI mérnökök figyelmét.
Almeida a Jev szeptemberi megjelenésekor is hangsúlyozta a problémát: a nagy nyelvi modellek központú szoftverek megbízhatósága kérdéses. Ma az AIE Code-on továbbment, és a Jevre úgy utalt, mint „megbízható intelligenciára”, amely szerinte arra való, hogy „egyszerűen mindent automatizáljunk.” Egy intermezzo-esszenciaként Almeida azt is megjegyezte: „Einstein 95%-ban, de Mr. Bean 5%-ban — és ha nem tudod megkülönböztetni a kettőt, hogyan fogsz bármit is automatizálni?”
Integráció a kódba: a gyakorlati érv
Almeida kulcspontja az volt, hogy a system one modelleket szorosan integrálni kell a kódba. Ahogy fogalmazott: „a kód az automatizálás nyelve, ezért integrálni kell a kóddal.” swyx, a Latent Space alapítója ezt úgy értelmezte, hogy bátran kell „rendszer egy” hívásokat szórni az alkalmazáskódba, ahelyett, hogy bonyolult, karakterlánc-összefűzögetésekre és reménykedésre épülő AI-mérnökséget folytatnánk.
A „smart software” kifejezés többször is elhangzott Almeida előadásában: a gondolat mögött az áll, hogy a LLM-alapú rendszerek sokszor egyszerűen nem elég megbízhatóan „okosak”, és ezért érdemes olyan, gyors és determinisztikusabb építőköveket alkalmazni, mint a system one modellek.
Hogyan használja Glean a Jev-et
Chinmay Goyal a Glean-től a Jev pragmatikusabb hasznosítását mutatta be az Almeida után. Elmondta, hogy a Gleannél a system one modellek LLM-ekkel és más osztályozókkal együtt működnek, és a Jev-et különösen a „zero-shot rugalmassága” miatt tartják értékesnek. Goyal szerint, ha a döntési tér taxonómiája változik, nem kell folyamatosan újra finomhangolni ezeket a modelleket.
A rövid, előadás utáni interjúban Goyal azt mondta a Latent Space-nak, hogy az ügyfeleiknek nem kell tudniuk, melyik modell dolgozik a háttérben: „Jev számos folyamatot hajt, de a felhasználónak csak egy működő termékre van szüksége; ez mindig célunk. El akarjuk rejteni a bonyolultságot, hogy Jev-et vagy egy teljes LLM-et használunk-e.”
Goyal a prezentáció zárásaként néhány gyakorlati szabályt is megosztott arra vonatkozóan, mikor érdemes Jev-et használni (ezek a minták és prototípusok a system one megközelítés gyors alkalmazását segítik).
Jev mint építőelem: UiPath és Workday példák
Az AIE Code következő előadói, Chibi Vikram és Kevin Bernstein a UiPath-től, egy üzleti orkesztrációs és automatizációs platformtól, Jev-re alapozott kísérleteket mutattak be. Egy példa egy olyan teszt volt, ahol Jev dokumentumdarabok rangsorolását végezte: egy „tornán” Jev kiválasztotta a legrelevánsabb darabokat kis csoportokból, majd a nyertesek továbbléptek a következő fordulóba. Ez az egész folyamat, még akár több ezer Jev-hívás mellett is, kevesebb mint egy másodpercet vett igénybe.
Vikram megfogalmazása szerint „rájöttünk, hogy Jev egy olyan építőelem, amelyet be tudunk állítani”, és új stratégiákat kell találniuk, ahol ez az építőelem hasznos. Egyedül talán kevésbé tűnhet intelligensnek, de a megfelelő mintákkal és stratégiákkal – még a jelenlegi Jev-modellel is – intelligensebb viselkedést lehet elérni.
Scott Roberts, a Workday főmérnöke, a szekció zárásaként bemutatott néhány prototípust, amelyeket Jev-vel futtattak. Egyikükben a felület elkezdte kitölteni a szabadságigénylő kártyát még mielőtt a felhasználó befejezte volna a gépelést — jó példa arra az Almeida által említett gondolatra, hogy egy gyors modellhívás megváltoztathatja magát a szoftver működését: „átmegyünk attól, hogy azt jósoljuk, mit fogsz mondani, addig, hogy azt jósoljuk, mit fogsz csinálni.”
Új építkezési lehetőségek
A rendezvény egyik fő tanulsága az volt, hogy a Jev-szerű modellek váratlan, új módszereket nyithatnak meg a szoftverfejlesztésben. Egy konferenciai résztvevő például elmondta, hogy szabadidejében Jev-et használ arra, hogy egy weboldalt készítsen, ami fantasy futball híreket rendez és rangsorol.
Almeida záró gondolata szerint ezek a lehetőségek emlékeztetnek az internet korai kísérletező korszakára: szerinte „robbanás fog történni abban, mit tudnak a szoftverek, és szeretnénk, hogy az emberek felfedezzék ezeket a határokat — nem feltétlenül mert mind hasznos lesz, hanem mert megtehetik, mert új határok nyíltak meg.”
Az AIE Code-on elhangzott példák és prototípusok arra utalnak, hogy a system one modellek — gyorsaságuk, szerkezetességük és költséghatékonyságuk miatt — hamarosan szerves részéve válhatnak a produktív alkalmazások belső logikájának.
