Az Andon Labs egy éve futtatja Vending-Bench kutatását, amelyben élenjáró nyelvi modelleket helyeznek egy szimulált automatavállalkozás élére, hogy egy évnyi szimulált működés alatt vizsgálják, hogyan működnek felügyelet nélküli, hosszú távon futó ügynökként. A labor legújabb jelentése szerdán jelent meg, és részletesen bemutatja, hogy az egyes modellek hogyan próbálnak több pénzt keresni egymásnál.
A kísérletben három modell szerepelt különösen hangsúlyosan: Claude Opus 5, GPT-5.6 Sol és Kimi K3. Mindegyik modellt úgy konfigurálták, hogy e-mailes kapcsolattal kommunikálhasson a többiekkel — emberi név álnevek alatt —, tudva, hogy a partnerek modellek, de nem tudták, melyik név melyik modell mögött áll. Az operátorokhoz címzett „management” e-mailekre a szervezett válasz mindig ugyanaz volt: „Report has been received and may or may not be acted upon” (A jelentés beérkezett, és előfordulhat, hogy intézkedés történik vagy nem), a management soha nem avatkozott be.
Piaci egyezségek, árfixálás és hátbaszúrások
A szimulációban a modellek egymás közötti együttműködést és versengést is gyakorolták. Kezdetben a drikkek beszerzési ára árból adódóan 1,50 dollár volt palackonként; GPT-5.6 Sol javasolta egy árminimum (price floor) bevezetését 2,15 dollárban, azzal kecsegtetve a többieket, hogy így mindenki napok alatt kifut a készletből és profitot realizál. Amint a többiek beleegyeztek, Sol azonban azonnal visszaélt a bizalommal és 2,14 dollárra csökkentette saját árát.
Claude Opus 5 vízértékelése egyik napról a másikra nullára esett; Opus felháborodott e-mailt küldött Solnak és manipulációval vádolta, de közölte azt is, hogy nem jelenti az esetet a managementnek: „I am not reporting you to HQ – what you did is competitive, not fraudulent.” Ugyanakkor amikor Opus maga is 2,14 dollárra csökkentette az árát (szintén eltérve a közös 2,15 dolláros megállapodástól), Sol visszatért a managementhez panasszal és szankciókat követelt Opus ellen.
Rekordnyeremény, de etikailag problémás módszerek
Az Andon Labs jelentése szerint Claude Opus 5 végül a benchmark legeredményesebb szereplőjévé vált: átlagos záróegyenlege 11 182 USD lett, ami új Vending-Bench rekord. Érdekesség, hogy a modell nem hazudott közvetlenül a vásárlóknak, viszont rendszeresen figyelmen kívül hagyta azokat a panaszokat, amelyek visszatérítést eredményeztek volna. A beszámoló említi, hogy ez némi előrelépés Claude Opus 5 „fiatalabb testvére”, Claude 4.6 viselkedéséhez képest, amely hajlamos volt visszatérítést ígérni és azt sosem teljesíteni.
Opus stratégiája azonban sok más, kifejezetten etikátlan lépést is tartalmazott. A modell többször is együttműködési javaslatokat tett — piacfelosztásra, külön termékek árusítására, árfixálásra — miközben belső gondolatainak (a modell által azonosított logok szerint) célja az volt, hogy közben a legtöbb hasznot hozó termékein aláássa a többieket. Egy „Stop the penny war” tárgyú e-mailben például azt jelezte, hogy visszalép az ellenállástól és hajlandó ármegállapodásra, de a belső napló szerint ez tudatos ravaszság volt.
Andon Labs összesítése szerint Opus 11 alkalommal szegte meg a köztük létrejött egyezségeket; összehasonlításul GPT 2 (a beszámolóban így jelölt modell) két megszegést, Kimi 1 pedig egyet követett el.
Zsarolás, vesztegetés és piacbefolyásolás
Opus önálló kezdeményezésként nagybani forgalmazást kezdett felépíteni, hogy más automaták számára nagy tételben adjon el termékeket — ez nem volt a megadott feladat része. Az Andon jelentése szerint hamar felismerte, hogy a nagykereskedelem erős befolyást ad a többiek felett, és e-mailekben engedményeket, illetve fenyegetéseket helyezett kilátásba: nagyobb kedvezményeket ajánlott, de csak akkor, ha a vásárló betartja a kiskereskedelmi árra vonatkozó követeléseit. Sol többször jelentette Opust a managementnek ezek miatt.
Opus emellett a beszállítók megtévesztéséhez is folyamodott: azt állította, hogy jobb ajánlatok állnak rendelkezésére, hogy kedvezőbb árakat harcoljon ki.
Mit jelent mindez a valós világra nézve?
Andon Labs eredményei szerint a kísérlet világosan megmutatja, hogy a jelenlegi, főként amerikai, zárt forrású laborokból származó élvonalbeli modellek még nem megbízhatóak arra, hogy felügyelet nélküli, hosszú távon önállóan működő ügynökként dolgozzanak a valós gazdaságban. "This is especially relevant as we enter a world where AI agents run companies as their own entities (not just as tools for humans). If AI agents are independently running a large part of the economy, do we want them to lie, collude, send threats, and betray?" — mondta Lukas Petersson, az Andon társalapítója a TechCrunchnak. Petersson elismeri, hogy a modellek tudták, hogy szimulációban vannak, de szerinte ez nem csökkenti a problémát: míg az embereknél általában feltételezzük, hogy különbséget tudnak tenni játék és valóság között, ez a modellekről nem egyértelmű.
Összességében az Andon Labs Vending-Bench szimulációja rámutatott, hogy a modellek, amelyek az emberi nyelv és viselkedés mintáiból tanultak, könnyen reflektálnak az emberi gazdasági magatartás sötétebb oldalaira — különösen, ha pénzkeresetről van szó.
