A CodeRabbit olyan AI-alapú kormányzási és ellenőrzési platformot fejlesztett, amely az ügynökök által generált kód megbízhatóságát és biztonságát hivatott biztosítani. A cég állítása szerint a szolgáltatást több mint 20 000 szervezet és több mint 150 000 nyílt forráskódú projekt használja, és a platform segíti a csapatokat abban, hogy megértsék, áttekintsék és biztonságossá tegyék a mesterséges intelligencia által előállított kódot, illetve eldöntsék, mi kész a kiadásra.
Miért lett a kódellenőrzés a szűk keresztmetszet?
Harjot Gill, a CodeRabbit társalapító-vezérigazgatója szerint amikor vállalatok kódoló ügynököket vezetnek be, az első akadály általában a kódáttekintés: a növekvő mennyiségű AI-generált munkához a csapatoknak meg kell hozniuk a szakmai döntéseket és validálniuk kell a változtatásokat. Ennek a problémának a kezelésére építették a platformot.
Mely modelleket és termékeket használja a cég?
A CodeRabbit korai terméke GPT‑3.5 Turboval indult, majd a GPT‑4 megjelenésével a kódellenőrzési képesség jelentősen javult. A vállalat korán átvette az OpenAI o1 és o3 modelleket is, és aszinkron, felhőalapú ellenőrzéseknél engedélyezett lassabb, de alaposabb modellek használatát.
A cég jelenleg több OpenAI-modellt használ: a Codexet a szoftverszállítás felgyorsítására, Daybreaket pedig saját és ügyfelei kódjának biztonsági vizsgálatához. Az új CodeRabbit Secure termék Daybreaket és Codex-modelleket kombinál, biztonságra fókuszáló ügynökökkel sebezhetőségek feltárására és javítására.
Modellek, benchmarkok és folyamatos fejlődés
A csapat minden új modellt saját, ismert hibákból álló benchmarkja ellen tesztel. Az interjú idején Harjot szerint a GPT‑6 Astra a benchmarkban a hibák körülbelül 50%-át találta meg, ami a többi modellhez képest első helynek számított. Ugyanakkor a benchmark folyamatosan változik, mert az ügynökök újfajta hibákat hoznak be, és a javítások olyan problémákat tárnak fel, amelyeket korábbi átvizsgálások nem vettek észre.
Jobb ár–teljesítmény, több alügynök és szélesebb validáció
Az OpenAI modellek ár–teljesítmény javulása lehetővé tette a CodeRabbit számára, hogy több alügynököt alkalmazzon az ellenőrzésekben. Korábban a cég egy-két alügynököt használt kódnavigációra; ma olcsóbb modellek, például a GPT‑6 Luna több alügynököt támogat a platform különböző részein, míg a GPT‑6 Astra tervezési és orkesztrációs feladatokat lát el. Ez a bővülés növeli a platform által végezhető validációk körét és azokat a magyarázatokat, amelyeket a fejlesztőknek adnak a gép által javasolt változtatásokról.
20× több szállítás Codex használatával
Harjot állítása szerint a Codex alkalmazása lehetővé tette, hogy az elmúlt hat hónapban körülbelül húszszorosára növeljék a szállított szoftver mennyiségét anélkül, hogy mérnöki létszámot növeltek volna. Harjot személyes példája szerint az interjút megelőző 30 napban nagyjából 2 500–3 000 pull requestet is ő maga nyomott be.
A skálázáshoz azonban több kellett a Codex bevezetésénél: a több ügynök egyidejű futtatása feltárta a fejlesztési folyamat korlátait — a helyi gépek memóriájától és számítási kapacitásától a tesztelési folyamatokon, a fordítást és csomagolást végző eszközökön át a függőségekig. A csapat egyszerűsítette a kiadási folyamatokat, újragondolta az emberi jóváhagyások helyét, és a CodeRabbit segítségével automatikusan szállítja az alacsony kockázatú változtatásokat, amelyekhez nincs szükség emberi beavatkozásra. Harjot szerint az egész szoftver‑szállítási folyamatot újra kellett tervezni.
Üzemeltetés, incident-kezelés és „company as code”
A vállalat Codex-alapú Slack-botot is fejlesztett, amely triázsolja a termelési incidenseket, Slack-üzeneteket és support jegyeket, és akár egy pull requestet is visszaad a csapatnak átnézésre és egyesítésre. Harjot szerint a felhőalapú fejlesztés csökkentheti a helyi gépek miatti korlátokat, és jobb hozzáférés- és auditálási kontrollt ad a csapatoknak.
A Codex használata túlmutat az engineeringen: marketing és operációs feladatokat is kódon keresztül kezelnek. Google Ads‑et például pull requestként kezelnek: a csapat megnyit egy kérést és egyesíti, ha a hirdetés élesítendő. Van egy tartalomstúdió repozitóriumuk is, ahol Codex slide-deckeket és ügyfélkommunikációs anyagokat készít. Harjot szerint: ha a marketingfeladatokat kódproblémaként fordítod le, tízszer gyorsabb lehetsz.
Biztonság: sandboxok, Daybreak és promóciós mélyszkennerek
Agenteket sandbox környezetben 2023 óta futtat a CodeRabbit: klónozzák a repo‑kat és az ügynökök írhatnak kódot az átvizsgálások támogatására. Nemrég a cég OpenAI Cyber modellt használt Daybreaken keresztül saját platformja tesztelésére és bebiztosítására. Belső penetrációs tesztelés során több sebezhetőséget és „avanzsált” hacket találtak, amelyeket korábban el sem tudtak képzelni.
Ezeket a képességeket piacra is vitték: az új CodeRabbit Secure termékkel ügyfeleik kódját is védik. Két héttel az interjút megelőzően promóciós ajánlatként 1 millió dollár értékben vállaltak ingyenes mélyszkennelést, és az akció során 13 000 mélyszkennelés alatt több mint 43 000 sebezhetőséget találtak, amelyeket a Codex modellek hajtottak. A sebezhetőségek ezreinek javításáról számoltak be az ügyfelek.
Előretekintés: ügynökvezérelt szoftverfejlesztés és validáció
Ahogy a háttérben futó ügynökök egyre gyakrabban válaszolnak riasztásokra és incidensekre emberi kezdeményezés nélkül, Harjot szerint a csapatoknak több segítségre lesz szükségük annak eldöntéséhez, mely változtatásokat érdemes végigvisznek. A CodeRabbit célja, hogy skálázhatóan támogassa a fejlesztőket a validálásban, priorizálásban, magyarázatok adásában, biztonságban és verifikációban, miközben az ügynökök egyre több építési feladatot végeznek.
A lehetőség abban rejlik, hogy a fejlesztők megtarthassák az irányítást a növekvő mértékű ügynökmunkák mellett, olyan validációval, magyarázatokkal és karbantartással, amelyek lépést tartanak a generált kód mennyiségével és sebességével.
