Anthropic 2023. szeptember 23‑i termékbejelentésében egy kvantitatív esettanulmányt tett közzé arról, hogyan lehet javítani a Claude modellek visszaemlékezését nagyon hosszú kontextusok esetén. A publikáció két konkrét promptolási technikát vizsgált: releváns idézetek kinyerését a válaszadást megelőzően (scratchpad használata), illetve a prompt kiegészítését helyes példaválaszokkal, amelyek más szakaszokra vonatkozó kérdések megoldását mutatják be.
Mit teszteltek és miért
A teszt célja az volt, hogy mérhetővé tegyék, miként növelhető Claude esélye egy konkrét információ helyes visszaidézésére egy hosszú dokumentumból. A tesztdátumok forrásául egy nyilvános, napi kiadású kormányzati dokumentum szolgált, amely különböző osztályok megbeszéléseinek jegyzőkönyveit tartalmazza. A kiválasztott dokumentum 2023. július 13‑i kiadású volt, azaz Anthropic szerint a Claude modellek tanítási vágási pontja után keletkezett, így csökkentve a modell előzetes tudásának szerepét.
A kérdés‑válasz párokat úgy generálták, hogy a dokumentumot szakaszokra bontották, majd Claude segítségével minden szakaszhoz öt darab feleletválasztós kérdést hoztak létre (minden kérdéshez három rossz és egy helyes válasszal). Ezután a szakaszok véletlenszerű összeállításával „collage” jellegű, hosszú dokumentumokat állítottak elő, amelyeket később a modelleknek adtak be a visszahívás (recall) tesztelésére.
Kihívások a kérdésírásban
A cikk részletezi azokat a problémákat, amelyekkel a kérdésgenerálás során szembesültek, többek között:
- Claude néha olyan kérdéseket javasolt, amelyekre a modell előzetes tudása alapján dokumentum nélkül is könnyen tud válaszolni.
- Vannak olyan kérdéstípusok (pl. szó- vagy token‑számlálás), amelyek a modell számára eleve nehézek.
- A generált válaszopciók stilisztikai eltérései (például az igaz válasz részletessége) könnyen utalhattak a helyes lehetőségre.
- A „this document” vagy „this passage” jellegű, nem egyértelmű hivatkozások problémát okoztak, amikor több dokumentumot varrtak össze hosszú kontextusba.
A megközelítés javítására egy prompt‑sablont használtak, amely két mintaszakaszt és kézzel írt példa‑kérdéseket tartalmazott few‑shot mintának, illetve iránymutatást arra, hogy Claude explicit módon határozza meg, melyik bekezdésre vagy érvelésre vonatkozik a kérdés.
Kiértékelési beállítások
A vizsgálat fókusza elsősorban a kisebb, gyorsabb Claude Instant modellen (verzió 1.2) volt, mivel Claude 2 már eleve jó hosszú dokumentumok utáni emlékezetben, és kisebb modellnél egyértelműbb, ha a promptolás változtatása hatással van a teljesítményre. Claude Instant továbbá annyira gyors, hogy a kísérletek reprodukálhatók a mellékelt jegyzetfüzettel.
Néhány mérőszám és eljárás:
- Amikor Claude Instantnek csak azt a pontos szakaszt adták, amelyből a kérdést generálta, a modell körülbelül 90%‑ban helyesen válaszolt. A 10% hibás kérdést kizárták, mert ezek alapból túl nehezek rövid kontextusban is.
- Ha a modell egy véletlenszerű, a kérdés forrását nem tartalmazó szakaszt kapott, elméletileg 25%‑os találati arányt várnánk (egy jóslásnál három hamis válasz mellett). Gyakorlatban 34%‑ot találtak, azaz a modell eseti általános tudása vagy válaszstilisztikai jelek miatt a találati arány többletet mutatott.
- Hosszú dokumentumokat úgy hoztak létre, hogy véletlenszerűen összeillesztettek szakaszokat addig, míg elérték a kívánt token‑méretet; a teszteknél említett kontextushosszok között szerepeltek kb. 70 000, 75 000, 90 000 és 95 000 tokenre összeállított kollázsok.
A kísérlet négy prompting‑stratégiát hasonlított össze:
- Base – csak a közvetlen kérés a válaszra.
- Nongov examples – két fix, általános ismeretekre vonatkozó, jó válasszal megadott példa, amelyek nem a vizsgált dokumentumhoz tartoznak.
- Two examples – két dinamikusan kiválasztott, a kontextusban lévő más szakaszokra vonatkozó, helyes példával.
- Five examples – ugyanaz, de öt példával.
Minden stratégiát kipróbáltak scratchpad (idézetkinyerés) használatával és anélkül, továbbá azt is vizsgálták, hogyan hat a válasz pontosságára, ha a releváns szakasz a hosszú kontextus elején, közepén vagy végén található. Mindkét modellt (Claude Instant 1.2 és Claude 2) több beállítással tesztelték; néhány eredmény csak Claude Instantre vonatkozik, másoknál bemutatták Claude 2 teljesítményét a legjobb és alap stratégia esetén.
Eredmények és megfigyelések
A fő megállapítások:
- A scratchpad (releváns idézetek behúzása) és a contextual examples (kontextuális példák) használata általában jelentősen javította a teljesítményt mind a 70K, mind a 95K körüli kontextushossznál.
- A releváns idézetek kinyerése javítja a pontosságot minden összehasonlításnál, bár kis késleltetési költséggel jár.
- Több példa általában jobb, azaz az öt példa jobb volt a két példánál.
- Az általános (nem dokumentumspecifikus) példa‑kérdések nem tűntek hasznosnak.
- Claude Instantnál látszott egy fordított monoton kapcsolat: minél távolabb volt a releváns szakasz a kérdéstől és a prompt végétől, annál rosszabb lett a teljesítmény. Claude 2‑nél 95K‑nál kisebb teljesítményesést észleltek a középső elhelyezkedésnél, ami eltérő mintázat lehet.
- A dokumentum végén elhelyezett információkra néha rontott az, ha a promptba példákat tettek; ennek magyarázata az lehet, hogy a példák növelik a távolságot a kontextusban lévő releváns információ és a szabályok (utasítások) között.
Az egyik mérőadat: Claude 2 pontossága a baseline stratégiáról 0,939‑ről 0,961‑re nőtt a promptolási technikák alkalmazásával; bár az abszolút növekedés kicsi, Anthropic szerint ez 36%‑os hibacsökkenést jelent.
Gyakorlati tanácsok
Anthropic néhány gyakorlati javaslatot is megfogalmazott, amelyeket fejlesztők beépíthetnek hosszú‑kontextusú Q&A promptjaikba:
- Használjunk sok példát és scratchpadet a legjobb teljesítmény eléréséhez mindkét vizsgált kontextushossznál.
- A releváns idézetek behúzása hasznos minden összehasonlításnál; a késleltetés ára általában kicsi, különösen Claude Instant esetén.
- A kontextuális példák javítják az eredményt; több példa jobb.
- Az általános, külső tudást demonstráló példák nem segítenek.
- Fontos az utasítások (prompt) elhelyezése: a végén tartott utasítások segíthetik az emlékezetet.
Anthropic Cookbook és reprodukálhatóság
A teljesen reprodukálható kód és a promptok megtalálhatók az új Anthropic Cookbook gyűjteményben. A Cookbook jelenleg további recepteket is tartalmaz, például egy Search and Retrieval demót Wikipedia‑keresésre és útmutatást mock‑PDF feltöltési funkció implementálásához az Anthropic API használatával. Anthropic jelezte, hogy tervezi a Cookbook bővítését és további prompt‑engineering források közzétételét. Ha valaki még nem kapott hozzáférést a Claude API‑hoz, Anthropic regisztrációs lehetőséget biztosít az érdeklődőknek.
Megjegyzések a vizsgálathoz
A cikkben szereplő lábjegyzetek megemlítik, hogy a modell által hibásan megválaszolt kérdések között sok a számolási jellegű kérdés (pl. hány válasz érkezik egy formára), illetve a generált „helyes” válaszok néha hibásnak is bizonyultak, ami zajforrásként hatott a vizsgálatban. Továbbá egy korábbi kutatás U‑alakú kapcsolatot talált a teljesítmény és a kontextusbeli helyzet között; Anthropic szerint az eltérés oka lehet a minta dokumentumok átlagos hossza és a jelen vizsgálatban használt hosszabb kontextusok különbsége.
Összességében a tanulmány konkrét, reprodukálható tanácsokat ad arra, hogyan lehet promptolással növelni nagy kontextusú dokumentumokból történő információkinyerés pontosságát, különösen a kisebb, gyorsabb modellek esetén, és kódpéldákat tett elérhetővé az érdeklődők számára.
