A nap egyik AIE keynote-ja a dspy-ról szólt, ami emlékeztetett arra, hogy érdemes megnéznem, tud‑e segíteni a Datasette Agent rendszerpromptjainak javításában. Ennek tesztelésére aszinkron kutatási feladatot indítottam Claude Code for web környezetben Claude Fable 5-öt használva.
A vizsgálat célja az volt, hogy pip segítségével telepítve a legfrissebb Datasette alpha, datasette-agent és dspy csomagokat, kiderítsem: hogyan lehet a dspy-t alkalmazni a Datasette Agent alap rendszerpromptjainak értékelésére és finomhangolására. A konkrét funkció, amit teszteltem, az a képesség volt, amelyben a Datasette Agent olvasásra korlátozott SQL lekérdezéseket futtat, hogy válaszoljon a felhasználói kérdésekre.
Claude Fable 5 több megközelítést is javasolt, és a teszteléshez GPT‑4.1 mini és GPT‑4.1 nano modelleket választotta. A kísérlet több ígéretes irányt azonosított, köztük egy különösen fontos megfigyelést a rendszerpromptok tartalmával kapcsolatban:
- A jelenlegi sémalistázás csak az adatbázis táblaneveit adja meg, oszlopneveket nem. Emellett a promptban szereplő „ne hívd meg a describe_table-t, ha már megvan az információ” jellegű tanács arra ösztönözte a modelleket, hogy oszlopneveket találgassanak (például page_count, o.order_id, first_name), és hibautasítás/újrapróbálkozás hurkokba kerüljenek a baseline trace-ekben.
A javasolt megoldások közé tartozik, hogy vagy azonnal szerepeltessük az oszlopneveket a sémaalistában, vagy enyhítsük a describe_table használatát tiltó tanácsot, hogy a modellek biztonságosabban és pontosabban tudjanak lekérdezéseket generálni. Ezek az apró promptváltoztatások konkrétan csökkenthetik a hibák számát és a felesleges újrapróbálkozásokat a lekérdezési folyamat során.
Miért fontos ez
A Datasette Agent olyan funkciót nyújt, amely automatikusan generál SQL lekérdezéseket felhasználói kérdésekre, ezért a rendszerpromptrendszer pontossága közvetlenül befolyásolja a lekérdezések helyességét és a végfelhasználói élményt. Ha a prompt nem ad elegendő információt a sémáról, a modellek találgatásra kényszerülnek, ami rossz lekérdezésekhez vagy további hibakezelési ciklusokhoz vezethet.
Ez a kísérlet bemutatja, hogy a DSPy használata és automatizált kísérletek futtatása segíthet azonosítani olyan konkrét prompthibákat, amelyeket viszonylag egyszerű módosításokkal orvosolni lehet.
Következő lépések
A felfedezés alapján érdemes a következőket megfontolni a Datasette Agent promptjainak fejlesztésekor:
- Soroljuk fel a táblák mellett az oszlopneveket is a sémaalistában.
- Ha az oszlopnevek feltüntetése nem lehetséges, finomítsuk a describe_table-től való elriasztó utasítást, hogy a modell szükség esetén biztonságosan lekérdezhesse a séma részleteit.
- Folytassunk további DSPy‑alapú értékeléseket különböző modellekkel és valós world trace-ekkel, hogy mérjük a változtatások hatását a hibaarányra és a lekérdezések pontosságára.
A kísérlet rövid leírása rávilágít arra, hogy az automatizált eval eszközök — mint a dspy — hogyan segíthetnek finomhangolni LLM‑alapú rendszerek integrációját adatbázisokkal, és hogyan lehet csökkenteni az olyan gyakori problémákat, mint a fölösleges találgatás és az újrapróbálkozási hurkok.
