Az OpenAI a GPT‑5.6 modellcsaládot úgy tervezték, hogy a teljesítményt és a költséghatékonyságot egyensúlyba hozza a felhasználók által végzett feladatok széles skáláján. A család zászlóshajója, a GPT‑5.6 Sol a megadott maximális gondolkodási beállítás mellett az Artificial Analysis Coding Agent Indexen felülmúlja a Claude Fable 5-öt, miközben az OpenAI szerint kevesebb mint a felébe kerül a kiszolgálása. A Terra a GPT‑5.5-tel megegyező intelligencia-benchmark teljesítményt nyújt nagyjából a felénél kevesebb költséggel, és a Luna a leggyorsabb, legolcsóbb modell a portfólióban, ára pedig körülbelül 80%-kal alacsonyabb, mint a Solé.
Az infrastruktúra-szintű megtakarítások eléréséhez a kutatási és mérnöki csapatok számos optimalizálást vezettek be a teljes veremben: magukon a modelleken, az inferenciafolyamaton (azaz a modellek futtatásán), valamint az agent‑harness nevű vezérlőrétegen, amelyet mind a Codex, mind a ChatGPT Work használ.
Miért fontos ez
Az elmúlt négy évben az OpenAI skálázta a szolgáltatást: ma már körülbelül 1 milliárd aktív felhasználóra és több mint 2 millió vállalati ügyfélre hivatkoznak. A vállalat célja, hogy az általános mesterséges intelligencia előnyei mindenkihez eljussanak, és a növekvő igények mellett az erőforrás-hatékonyság kulcsfontosságú a hozzáférhetőség terjesztéséhez. A GPT‑5.6 képzése során kifejezetten a token‑hatékonyság növelésére is fókuszáltak: a modellt úgy tanították, hogy egy tokenből több hasznos munkát érjen el, és a feladatok elvégzése során közvetlenebb megoldási útvonalakat keressen.
Inferenciára vonatkozó fejlesztések
Az inferencia‑stack célja több token kiszolgálása ugyanazon hardveren, miközben megőrzik az intelligenciát, késleltetést, rendelkezésre állást és megbízhatóságot. Ennek érdekében az OpenAI a teljes rendszer minden rétegét optimalizálta: routing (kérések elirányítása földrajz, kapacitás és gyorsítótípus alapján), scheduling (ütemezés), kernel‑optimalizáció (GPU‑kon futó szoftver), caching (újrahasznosított számítások) és a modell GPU‑kódjának megvalósítása.
A GPT‑5.6 Sol szerepe a gyakorlatban kettős volt: egyrészt segített a termelési forgalom elemzésében és a terhelés‑egyensúlyhiányok felismerésében, másrészt aktívan részt vett a kernel‑szintű optimalizációk írásában és javításában a Codex segítségével. A terheléselosztás finomítása önmagában jelentősen csökkent a modellek kiszolgálásának költségét.
A modell előremeneti (forward) számításának optimalizálásakor a felesleges memóriamozgatást, szinkronizációt és rossz adat‑elrendezéseket keresték meg és szüntették meg; a GPT‑5.6 Sol azonosította az előre kiszámítható, elkerülhető vagy párhuzamosítható munkát, majd a Codex-szel együtt autonóm módon átírta és optimalizálta a termelési kernelt. A GPT‑5.6 által a Triton és a Gluon GPU‑programozási nyelveken végzett munkára alapozott kernel‑fejlesztések (és a szélesebb körű kernel‑javítások) az OpenAI szerint a végponttól végpontig terjedő kiszolgálási költségeket körülbelül 20%-kal csökkentették.
Az ellenőrző eszközökbe is nagy beruházás történt: például az FpSan (Floating‑Point Sanitizer) nyílt forrású eszközt használják a GPT‑5.6 Sol által írt kernelfolyamatok helyességének validálására.
Spekulatív dekódolás és gyorsabb token‑generálás
A spekulatív dekódolás lényege, hogy egy kisebb „vázlat” (speculator) modellt futtatnak a főmodell mellett, amely több token‑javaslatot adhat, és a főmodell ezeket párhuzamosan ellenőrzi. Ha a javaslatok elfogadásra kerülnek, több kimeneti token keletkezhet egyetlen főmodell‑átfutással, így csökkentve a drága, soros számításokat. A GPT‑5.6 Sol több száz kísérletet futtatott saját architektúráján, módosítva méretet, struktúrát és funkciókat, továbbá önállóan indította és felügyelte a speculatorok képzését, és beavatkozott a felmerülő problémáknál (például hardverhibák vagy képzési instabilitások esetén). Az ebből származó fejlesztések több mint 15%-os növekedést eredményeztek a token‑generálási hatékonyságban.
KV‑cache, konfigurációk és munka‑specifikus optimalizáció
Amikor a modell uncached (előre nem tárolt) bemeneti tokenekkel dolgozik, egyetlen számításigényes átmenettel felépíti a key‑value (KV) cache‑t; a generálás során ezt ismételten olvassa és bővíti. Az ideális kiszolgálási konfiguráció (batching, sharding, KV‑kezelés) erősen függ a munkaterheléstől (prompt- és kimenethossz, batch‑méret, cache‑hit‑arány és egyéb jellemzők). Korábban a konfigurációs tér túl nagy volt ahhoz, hogy szisztematikusan hangolják; most azonban a GPT‑5.6 Sol és a Codex képesek elemezni produkciós munkaterheléseket, generálni és értékelni jelölt konfigurációkat, és hyper‑optimalizálni a beállításokat minden egyes forgatókönyvre. Ezáltal több hasznos inferenciát tudnak kinyerni ugyanabból a hardverből.
Az agentic harness és a többszörös hívások hatékony kezelése
A ChatGPT Work és a Codex komplex feladatokat hajtanak végre sorozatos modellhívásokkal és eszközmeghívásokkal. Egyetlen felhasználói forduló alatt a rendszer sok lépést végezhet: kód átvizsgálása, telepítési előzmények keresése, incidensjelentések olvasása, fájlok szerkesztése és tesztek futtatása — mindegyik lépés külön kérés lehet. A kontextus előkészítése, adatátvitel, inferencia futtatása, eszközök hívása és folyamatok indítása mind időt és számítási kapacitást igényel; ha egy feladat 30 modellhívást igényel, egy másodpercnyi többlet mindegyiknél sokat számít.
Ezek miatt az OpenAI egy Rustban írt orchestration réteget, az agentic harness‑t használja, amely a modelleket, eszközöket és a felhasználói környezetet köti össze. A tervezési elvek közé tartozik a kontextus‑felfúvódás (context bloat) elkerülése, az eszközök betöltésének késleltetése és a korábbi számítások újrafelhasználása.
Például a harness késleltetett felfedezést (deferred discovery) alkalmaz: az integrációk, egyedi MCP‑eszközök, készségek és pluginok csak akkor kerülnek a modell elé, amikor ténylegesen szükség van rájuk. Emellett a harness megakadályozza, hogy egyes eszközök vagy integrációk véletlenszerűen elfogyasszák a kontextusablakot. Az eszközök kimenetének alapértelmezett korlátja 10 000 token, hacsak a modell másként nem kéri.
A prompt caching a rendszer azon része, amely újrahasznosítja egy korábban feldolgozott prompt‑prefixhez kapcsolódó számítást, mivel a feladatok során gyakori, hogy ugyanazokat az instrukciókat, beszélgetési előzményeket, eszközdefiníciókat és korábbi eredményeket többször is elküldik a GPU‑knak. A harness ezért minden modell‑látható előzményt csak hozzáfűzéssel kezel (append‑only), így a korábbi prefixek megőrződnek. Az eszközöket determinisztikus sorrendben mutatják be, és a futásidejű beállítások (például jóváhagyási szabályok) végrehajtás közben érvényesülnek ahelyett, hogy be lennének ágyazva az eszközdefiníciókba. Ezek a döntések hozzájárulnak a Codex és a ChatGPT Work magas prompt‑cache hit‑arányához.
Összegzés és továbblépés
Az OpenAI szerint a GPT‑5.6‑tal elért hatékonysági javulások éveken át halmozódó optimalizációk eredményei: a kutatástól az inferencián át az agent‑harness‑ig. A GPT‑5.6‑nak köszönhető autonóm fejlesztések felgyorsíthatják a további optimalizációk ütemét; a vállalat azt tervezi, hogy folytatja a kernel‑ és egyéb alapszintű fejlesztéseket, és ezeket a belső javulásokat visszaforgatja a felhasználók és ügyfelek számára szélesebb körben elérhető, költséghatékonyabb intelligencia formájában.
Külön köszönet: Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson és Steve Coffey, Members of Technical Staff, az ő hozzájárulásukért a cikkhez.
