Anthropic bemutatja, hogyan segíthet a prompt engineering a Claude modellel épített vállalati megoldások teljesítményének javításában. A cég esettanulmánya szerint egy Fortune 500 vállalat Claude Instant alapú ügyfélszolgálati chatbotjának pontosságát 20%-kal sikerült növelni prompt engineering módszerek és a tárgyi szakértőkkel való együttműködés révén. A bejegyzés 2024. február 29-én jelent meg, és gyakorlati tippeket ad a helyes promptok felépítéséhez, amelyek csökkentik a hibás válaszok kockázatát, javítják a következetességet, és csökkenthetik a működési költségeket.
Miért fontos a prompt engineering?
Ahogy a vállalatok generatív AI modellekre építenek, a jól megfogalmazott promptok kulcsfontosságúak a magas minőségű kimenetek előállításához. Anthropic szerint a megfelelő promptok alkalmazásával a cégek növelhetik a termelékenységet különböző feladatkörökben — például adatok feldolgozásában, ügyfélszolgálati kérdések megválaszolásában vagy szerződések áttekintésében — miközben a válaszok hasznossága, relevanciája és pontossága összhangban marad a vállalati elvárásokkal és stílussal.
A jól kialakított promptok előnyei a következők:
- Pontosság: bár a Claude hallucination (pontatlan kimenetek) előfordulásának csökkentésén már dolgoztak, a prompt engineering tovább mérsékli a téves válaszok kockázatát.
- Következetesség: egységes élményt biztosít a felhasználóknak a minőség, formátum, relevancia és hangnem tekintetében.
- Hasznosság: célzottabb, iparágra vagy személyre szabott válaszok adhatók a pontos promptokkal.
- Költségmegtakarítás: a promptok optimalizálása csökkenti a felesleges iterációt és a skálázott futtatás költségeit.
Három gyakorlatias tipp
Anthropic három technikát emel ki, amelyek gyakran jelentős teljesítményjavulást hoznak:
1) Step by step (lépésenkénti gondolkodás)
Gyakran egyszerűen azzal is javul a pontosság, ha a modellt megkérjük, hogy „think step by step” — vagyis lépésről lépésre gondolkodjon — miután megadtuk az utasítást. Például egy biztosítási igény értékelésénél kérhetjük, hogy a modell részletezze a döntési folyamatot <thinking> tagek között.
2) Few-shot prompting (néhány példás betanítás)
Hasznos valós és konkrét input–output példákat adni a modellnek, beleértve nehéz esettanulmányokat és szélsőséges eseteket is. Az olyan feladatoknál, mint a személyes adatok (PII) eltávolítása, néhány példa segít a modellnek felismerni a PII különböző megjelenési formáit és a kívánt redakciós szabályokat.
3) Prompt chaining (prompt-láncolás)
Bonyolult feladatoknál jobb eredményt érhetünk el, ha a feladatot több, egymásra épülő promptra bontjuk. Minden lépésnél az előző prompt–válasz párt is felhasználhatjuk, így iteratívan felépítve a kontextust. Például adózási kérdés magyarázatánál először összegyűjthetjük a releváns jogszabálygyakorlatokat, majd az egyes dokumentumok vonatkozó részeit azonosítjuk, végül pedig ezek alapján válaszolunk a felhasználói kérdésre.
Esettanulmány: pontosság és sebesség növelése egy Fortune 500 cégnél
Egy Fortune 500 vállalat olyan ügyfélszolgálati chatbotot akart létrehozni, amely komplex és speciális kérdésekre ad gyors és pontos válaszokat. Korábbi piaci megoldásoknál problémát jelentett a túl bőbeszédű, merev hangnem és az összhang hiánya, továbbá a vállalat alacsonyabb késleltetést (latency) és alacsonyabb költséget is szeretett volna elérni pontosság feláldozása nélkül.
A cég Claude Instantre alapozott, de az első üzembe helyezések nem érték el a kívánt pontosságot. Anthropic ezért prompt engineert küldött, aki a vállalat tárgyi szakértőivel (SME) együttműködve javította a válaszok minőségét. Az alkalmazott technikák közé tartoztak:
- Scratchpad használatának előírása: a modell belső munkamenetben megjeleníti a számítási lépéseket (a végfelhasználó ezt nem látja), ami javította a pontosságot.
- Few-shot példák biztosítása a kívánt formátum és stílus tanítására.
- A tárgyi szakértők által ajánlott adatpontok és munkafolyamatok követése (például a jogi helyzetet befolyásoló tényezők halmaza).
Az Anthropic és az ügyfél közös munkájával a Claude pontossága 20%-kal javult, ami gyorsabb piacra jutást és alacsonyabb költségek elérését tette lehetővé.
Kezdéshez ajánlott lépések
Anthropic hangsúlyozza, hogy nincs egyetlen univerzális megoldás: minden nagy nyelvi modell (LLM) más, és a promptelés leghatékonyabb módja modellről modellre változhat. A prompt engineering folyamatos kísérletezést és iterációt igényel, valamint együttműködést a prompt engineer-ek és a tárgyi szakértők között.
A Claude-hoz való optimalizáláshoz Anthropic egy prompt engineering útmutatót és értékesítési csapatot ajánl, amely segít a bevezetésben és a testreszabásban.
Dátum és forrás
A cikk megjelenése: 2024. február 29. A bemutatott esettanulmány és eredmények az Anthropic publikációjából származnak, amely a prompt engineering legjobb gyakorlatait ismerteti.
