Drew Breunig eredeti blogbejegyzése alapján: a természetes nyelvű felületek lehetővé teszik, hogy az AI-alkalmazások gyorsan prototípusokra váljanak — angolul leírod, mit szeretnél, betáplálod egy élvonalbeli modellbe, és egy működő prototípus ott terem egy délután alatt. Ez azonban csapdába vezethet: a köznyelvű promptok ugyan ideálisak egyszeri, gyors feladatokra, de rossz specifikációs nyelvet adnak a tartós, megbízható rendszerekhez. Ennek lassan érkezik meg a számlája, és az alkalmazás előrehaladása megtorpan.
A „prompt adósság” tünetei
- Lassuló iteráció: amikor a felhasználók hibákat és szélső eseteket jelentenek, a fejlesztők újabb és újabb utasításokat adnak hozzá a prompthoz. Ha a nem kívánt viselkedés fennmarad, az utasításokat ismétlik és szigorítják. Egyre kevésbé elegendők az egyvonalas hotfixek, és a fejlesztési ciklus jelentősen lelassul.
- Csapatok képtelensége: a promptok egyre törékenyebbek és nehezen olvashatók lesznek. Sok team ezt úgy kezeli, hogy futásidőben összerakott, összetett sablonokra bontja a promptot, de ezek a részek is fejlődnek és újabb, egymásra ható feltételek bozótjává válnak.
- Modellekhez való kötődés: a javítások gyakran egyetlen modell viselkedéséhez igazodnak. Amit például hotfix-szel kikönyökölnek a GPT-4o-n, az teljesen más módon bukhat el GPT-5.4-mini vagy GPT-5.5 esetén. Így sok szervezet marad régebbi modelleknél; a Datadog jelentése szerint a forgalomban megfigyelt leggyakrabban használt modell a GPT-4o volt (ez márciusi adat).
Együtt ezek a problémák azt jelentik, hogy a prototípusok nem válnak skálázható termékké: az AI-funkciók befagynak, csak teljes újraépítéssel javíthatók, és egy elavuló modellhez kötődnek.
Miért alakul ki a prompt adósság?
A természetes nyelv nagyszerű felület egyszeri feladatokhoz és széles beszélgetésekhez, de nem alkalmas tartós rendszerviselkedés pontos meghatározására. A nyelv homályossága és a valószínűségi nyelvi modellek viselkedése miatt ugyanaz a szándék különböző megfogalmazásokkal más-más kimenetet hozhat.
- Egy vizsgálatban ugyanazt a klinikai kérdést a beteg és az orvos hangján feltéve a modell (Opus) tízből tízszer megtagadta a választ az egyik megfogalmazásnál, míg a másiknál tízből tízszer válaszolt.
- Egy Harvard tanulmány megmutatta, hogy a felhasználó által kedvelt NFL-csapat egyszerű megemlítése is megváltoztatta, milyen gyakran utasította vissza a modell az érzékeny témákra vonatkozó válaszadást.
Ezek a „véletlen” befolyások miatt az utólag hozzáadott javítások rontják a prompt stabilitását: egy új utasítás megváltoztathat egy korábban jól működő instrukció értelmezését. Gyakran ezért találunk rendszerpromptokban ismétlődő, erélyes tiltásokat és nagybetűs figyelmeztetéseket: például ChatGPT képekkel kapcsolatos korábbi promptja nyolcszor utasította a modellt, hogy ne válaszoljon, ha generált kép érkezett; Fable szivárgott rendszerpromptja egy szerzői jogi szabályt hatszor ismételt; Claude Code pedig hétszer kérte, hogy egy válasz több eszközhívást is tartalmazzon.
Mindez azzal jár, hogy a hibajavítások modellekhez köthetők: egy Berkeley-vezette tanulmány szerint a vállalatok azért maradnak régebbi modelleknél, mert az új modellek tönkreteszik a meglévő ágenseiket. Anthropic kiadási megjegyzései is figyelmeztetnek rá, hogy korábbi modellekre fejlesztett készségek „roncsolhatják a kimenet minőségét”.
Hogyan előzhető meg a prompt adósság?
A jó hír az, hogy nem csak elmélet létezik: a kódoló ágenseket használó fejlesztők gyakorlatban egy sor bevált megoldást alakítottak ki, amelyek megőrzik a modell képességeit, miközben karbantartható, moduláris szoftvert eredményeznek.
-
Viselkedés mérhető specifikációkkal, nem prózával: mivel a modell kimenete probabilisztikus, és a nyelv pontatlan, érdemes kemény határokat adni: értékelések, metrikák, és típusos specifikációk használatával. Ezek olvasható, megosztható artefaktumok, amelyekhez a kollégák hozzájárulhatnak.
-
Több teszt és automatizált keresés a promptokhoz: a legjobb mérnökök ma már inkább a tesztelésre fordítanak nagyobb figyelmet — a tesztek nemcsak biztonsági hálót jelentenek, hanem lehetővé teszik, hogy a modell „főzzön”. Emellett abba kell hagyni a prompt kézzel való folyamatos reszelgetését: ha vannak metrikáink, akkor a promptok létrehozása keresési problémává válik, amelyet automatikusan lehet megoldani. Léteznek már erre eszközök, például a DSPy és a GEPA, amelyek promptokat kezelnek és összevetik őket a kívánt viselkedéssel.
-
Modell-függetlenség a mérések révén: ha a rendszer viselkedését mérési eredmények határozzák meg, egy új modell értékelése órák alatt elvégezhető a hetek helyett. Így amikor gyorsabb vagy olcsóbb modell jelenik meg, érdemes kipróbálni; vagy egy deprecációs értesítés esetén az átállás ma már nem tűzoltás, hanem tervezett feladat. A cikk bemutatja, hogy ez hogyan csökkenti a kockázatot, akár szabályozási okokból történő kivonásnál (például Anthropic Fable esetében), akár verzióelavulásnál (például Groq bejelentése a Llama-3.1-8b kapcsán).
Összegzés
A promptok kézi finomhangolása valódi szakértelem, és egyszeri feladatoknál gyakran optimális. De ha a cél megbízható, továbbfejleszthető és hordozható rendszerek építése, a kézi promptírást fel kell váltani mérhető specifikációkkal, automatizált prompt-kereséssel és erős teszteléssel. Ellenkező esetben a „prompt adósság” megállítja a növekedést: a funkciók befagynak, csapatok modellekhez ragadnak, és javítások csak teljes újraépítéssel lehetségesek.
(Forrás: Drew Breunig blogbejegyzése; a Datadog statisztikája márciusi adatokat tükröz.)
