A LiteLLM fejlesztőcsapata egy teljes platformot tett közzé, amely lehetővé teszi kódszolgáló ügynökök flottájának futtatását izolált Kubernetes-sandboxokban. A megoldás célja, hogy biztonságos, skálázható környezetet adjon fejlesztők és csapatok számára anélkül, hogy az ügynökök közvetlen hozzáférést kapnának a valódi hitelesítő adatokhoz.
Hogyan működik
- Minden ügynöksession saját, friss Kubernetes podban fut; ez a pod a leválasztás után 24 óráig megmarad.
- A platform úgy kezeli a hitelesítőket, hogy azok soha nem kerülnek közvetlenül az ügynök kódja mellé: a rendszert egy credential vault valósítja meg, amely az ügynökök előtt csak stub tokeneket láttat.
- Kilépő hálózati kapcsolatoknál a platform átlátható módon behelyettesíti a valós titkos kulcsokat, így egy rosszindulatú vagy hibás ügynök nem tudja kiszivárogtatni a tényleges API-kulcsokat.
Ez a megközelítés különösen hasznos, ha egyetlen kódszolgáló ügynökről több ügynököt használó csapatra méretezünk, mert jelentősen csökkenti a titkosítási kockázatokat.
Támogatott ügynökök és sandbox jellemzők
A platform ügynök-agnosztikus sandboxokat kínál, első osztályú támogatással a következő ügynökök számára:
- Claude Code
- Codex
- Hermes
Ezek az ügynökök mind izolált podokban futnak, és a fent említett 24 órás megőrzési idő érvényes a leválasztást követően.
Felhasználói munkafolyamatok és API
A platform két fő felhasználói felületet biztosít:
- Terminal-first CLI: a parancssoros eszközzel megnyithatunk egy sandboxot, csatlakoztathatjuk a terminálunkat, elvégezhetjük a munkát, majd Ctrl-D-vel leválaszthatjuk a sessiont. Ez egyszerű és tiszta munkamenetet kínál.
- Teljes fejlesztői REST API: ügynökök létrehozása, sessionök megnyitása, üzenetek küldése és válaszok olvasása mind REST hívásokon keresztül történik, így saját orchestration réteg építhető rá.
Licenc és telepítés
A projekt nyílt forráskódú, MIT licenccel érhető el, helyi fejlesztői támogatással és egy éles üzemre történő telepítési útvonallal AWS-re. A forrás megtekinthető a GitHubon a github.com/BerriAI/litellm-agent-platform címen.
Összegzés
A LiteLLM platformja elsősorban a biztonságra és skálázhatóságra fókuszál: izolált Kubernetes-podok, credential vault mechanizmus az API-kulcsok védelmére, valamint kényelmes CLI és REST-es felület a fejlesztők számára. Ezek a jellemzők megkönnyítik és biztonságossá teszik a kódszolgáló ügynökök csapatokhoz történő méretezését.
