Az OpenAI továbbfejlesztette a GPT‑6 modellekhez kapcsolódó prompt gyorsítótár rendszert, hogy alapból magasabb cache hit arányt érjen el, csökkentse a válaszidőt, és fejlesztői költségmegtakarítást tegyen lehetővé. A cég szerint a gyorsítótár új viselkedése különösen hasznos a „persistent” (tartós) ügynökök számára, amelyek órákon át futó, összetett feladatokon dolgoznak — például kódbázisok refaktorálásán vagy alaposan kutatott dokumentumok és prezentációk elkészítésén.
Miért kell prompt cache? Hogyan működik most?
A tartós ügynököket működtető alkalmazások sorozatos API‑hívásokat indítanak, amelyek gyakran visznek tovább ugyanazokat utasításokat, eszközdefiníciókat és kontextust korábbi körökből. Az OpenAI ezeket az ismétlődő részeket gyorsítótárazza, hogy újrahasznosítsa a korábbi számításokat: ez rövidebb válaszidőt jelent, és egyes gyorsított input tokeneknél akár 90%-os kedvezményt a fejlesztőknek.
A GPT‑6 családdal bevezetett változtatások célja, hogy alapértelmezetten nagyobb legyen a cache „hit” aránya: mostantól kedvezményt kapnak az arra jogosult, megosztott prefixek, ha azokat 30 percen belül újrahasznosítják.
Új eszközök és vezérlők fejlesztőknek
-
Prompt Caching Dashboard: egy új irányítópult, amely megmutatja, hogy az alkalmazás bemenetének mekkora része szolgálható ki gyorsítótárból. A nézetekkel követhető a hit ráták alakulása időben, és az input összetételét ábrázoló grafikon segít összehasonlítani a cache‑elt és nem cache‑elt tokeneket. Ezek a nézetek segítenek észrevenni a cache‑teljesítmény visszaesését és értékelni a változtatások hatását.
-
Prompt caching diagnostics tool: amikor váratlan cache miss történik, ez az eszköz összehasonlít egy kérést egy korábbi válasszal, hogy feltárja, mi akadályozta az újrahasznosítást — például modell‑, eszköz‑, beállítás‑ vagy bemeneti változások. Az eszköz becsült, érintett token‑száma segít felmérni az incidens nagyságát és optimalizálási döntéseket hozni.
-
Explicit cache breakpoints: kifejezett gyorsítótár‑törési pontokkal a fejlesztők meghatározhatják, mely prompt prefixek legyenek újrahasznosíthatók. A frissített prompt caching útmutató részletezi, hogy ezeket hogyan kell használni, meddig maradnak jogosultak a gyorsítótárban a prefixek, és hogy az eszközök vagy bemenetek változásai miként befolyásolják az újrahasznosítást.
Finomhangolás: reasoning effort és eszközváltozások kezelése
-
Reasoning effort állítható anélkül, hogy megszakítaná a cache‑t: a GPT‑6 modelleken mostantól lehetőség van a „reasoning effort” módosítására a válaszok között úgy, hogy ez ne okozzon cache miss‑t. Ezt configuration_update hozzáfűzésével lehet elérni, miközben a kérés szintű reasoning effort változatlan marad. Így nehezebb feladatoknál növelhető az erőfeszítés, egyszerűbb következő lépéseknél pedig csökkenthető, miközben a felhasználható kontextus megmarad.
-
Eszköz‑ és utasításváltozásoknál megőrizhető a gyorsítótár: az OpenAI tanácsa, hogy a tool definíciókat, sémákat és sorrendet stabilan tartsuk, hogy a korábbi kontextus újrahasznosítható maradjon. Ha csak egy adott eszköz hívható, használjuk az allowed_tools beállítást, vagy ha nincs szükség eszközre, állítsuk tool_choice‑t none‑ra a definíciók eltávolítása helyett. Új fejlesztői üzeneteket (developer messages) érdemes a kontextus végéhez fűzni, hogy felülírják a korábbi utasításokat anélkül, hogy törölnék azokat.
Előmelegítés (prewarm) a késleltetés csökkentésére
A prewarming lehetővé teszi, hogy ismert kontextust előre betöltsünk, így a modell gyorsabban kezdhet el válaszolni egy beérkező kérésre. Például egy alkalmazás induláskor előmelegítheti a megosztott utasításokat, eszközdefiníciókat vagy hivatkozási anyagokat, még mielőtt a felhasználó feltenné az első kérdést — ezzel a feldolgozás egy részét kivehetjük a végfelhasználó várakozásából.
Hogyan illeszthetők ezek az opciók az alkalmazásokhoz?
Ezek az opcionális vezérlők az alapmotor teljesítményére épülnek, és lehetővé teszik, hogy a fejlesztők a saját munkaterhelésükhöz igazítsák a gyorsítótárazást. Az OpenAI hangsúlyozza a következő lépéseket:
- Kövesd nyomon a cache hit arányokat a Prompt Caching Dashboardon.
- Vizsgáld meg a váratlan miss‑eket a diagnostics tool segítségével.
- Tanulmányozd a prompt caching guide‑ot a beállítások javításához, vagy használd a Codex‑et a kód áttekintéséhez és a változtatások méréséhez.
Az új eszközök és útmutatások célja, hogy a fejlesztők könnyebben maximalizálhassák a gyorsítótárból származó előnyöket: alacsonyabb költségek, rövidebb válaszidők és stabilabb viselkedés tartós, összetett feladatok futtatásakor.
