A Dreamforce konferencián bemutatott Koa az egyik legnagyobb bejelentés volt a Salesforce részéről. A Koa a cég első, kifejezetten következtetésre (reasoning) optimalizált nyelvi modellje, amelyet Nvidia nyílt súlyú Nemotron alapmodelljére építettek, majd a Salesforce és az Nvidia közösen poszt-tréningezett, hogy különösen jól teljesítsen értékesítési, marketing- és ügyfélszolgálati feladatokban.
Miért fontos ez az vállalatok számára?
A Koa példája jól mutatja, hogy az üzleti szféra AI-igényei eltérnek a „frontier” kutatóintézetek által kínált megoldásoktól. Míg egyes tulajdonosi laborok arra ösztönzik az ügyfeleket, hogy fájlokat, kódot, promptokat és visszajelzést töltsenek fel közvetlenül a modellekbe — gyakran jelentős költségek árán —, a Koa célja egy vállalati szempontból kontrollálható alternatívát kínálni.
Salesforce hangsúlyozza a Koa által kínált előnyöket:
- nyílt súlyú alternatíva a zárt frontier modellekkel szemben
- kifejezetten munkafolyamatokra és üzleti feladatokra poszt-tréningezett modell, nem általános tudáspróbák megoldására
- a modellhez nem kerültek be valódi ügyféladatok, így azok nem szivároghatnak ki
- token-hatékonyabb működés, ami csökkentheti az AI költségeket
- automatikus irányítás az Agentforce AI-gateway rendszeren keresztül a feladat típusától függően
- a modell megfelel a Salesforce-on belül beágyazott ügyféladat- és biztonsági követelményeknek
Hogyan készült a modell?
A Koa létrehozásához a csapat poszt-tréninget alkalmazott: a Nemotron általános célú alapmodellt üzleti feladatokra specializálták. A poszt-tréning során a Salesforce és az Nvidia nem használt fel valós Salesforce-ügyféladatokat; ehelyett szintetikus, ügyfélviselkedést utánzó adatszetteket készítettek. Jayesh Govindarajan, a Salesforce AI ügyvezető alelnöke elmondta, hogy a szimulációk ügyfélszolgálati környezeteket és különböző szereplőket — például ideges hívókat vagy szerződést kötni próbáló értékesítési szakembert — modelleztek.
Govindarajan szerint a korábbi megoldásokban hosszabb, több lépéses következtetést igénylő feladatok esetén a kéréseket frontier modellekhez, például Claude-hoz vagy ChatGPT-hez irányították az Agentforce AI-gatewayjén keresztül. A Koa megjelenésével a Salesforce saját, vállalati szintű következtetési képességet kívánt biztosítani anélkül, hogy kompromisszumot kötne az adatproveniencia vagy a szuverenitás terén. Govindarajan megjegyezte, hogy a Nemotron megjelenéséig nem állt rendelkezésre olyan amerikai szuverén előre-tréningezett alapmodell, amely állami szintű teljesítményt, világos adatprovenienciát és hozzáférhetőséget egyaránt nyújtott volna.
Tokenhatékonyság és implementáció
A tokenhatékonyság fontos része a Koa értékajánlatának. Kari Ann Briski, az Nvidia Generative AI Software for Enterprise alelnöke azt emelte ki, hogy a Nemotron és az arra épülő architektúra lehetővé teszi a hatékonyabb inferenciát: gyorsabb első tokenre jutást és takarékosabb tokenhasználatot, ami a költségek szempontjából kedvezőbb működést eredményezhet.
Koa az Agentforce platformon belül alternatívaként lesz elérhető a többi, korábban kínált modell mellett. Az Agentforce-ban az ügyfelek ügynököket (agents) építenek rutinszerű feladatokra, például ügyfélszolgálati kérdések megválaszolására vagy időpontfoglalásra; a Koa célja, hogy ezeket a feladatokat hatékonyabban és biztonságosabban kezelje.
Nem zárja ki a harmadik feleket
A Salesforce nem hagy fel teljesen Anthropic vagy OpenAI modellek támogatásával. A cég bejelentett egy együttműködést Anthropic-kal, Claudeforce néven, amely lehetővé teszi, hogy vállalatok Claude-ot használjanak AI-felületként, miközben adataik a Salesforce rekordrendszerében maradnak, és a Salesforce infrastruktúrája biztosítja azok védelmét.
Összességében a Koa a vállalati ügyfelek számára olyan alternatívát ígér, amely a szuverenitást, adatbiztonságot és költséghatékonyságot helyezi előtérbe, miközben a Salesforce továbbra is együttműködik külső AI-szolgáltatókkal ott, ahol az ügyfelek azt igénylik.
