Peter Steinberger nyílt forrásúvá tette a Peekaboo nevű macOS-native eszközt, amely közvetlenül adja át az automatizáló ügynököknek a macOS hozzáférhetőségi (accessibility) fáját. Ennek köszönhetően a kattintások valódi, azonosítóval rendelkező elemekre irányulnak, nem pixel-koordinátákra, amelyek eltolódhatnak ablakmozgatáskor vagy asztalváltáskor.
Mit kínál a Peekaboo?
-
Natív működés: a Peekaboo valós macOS folyamatként fut, és működéséhez a Screen Recording és Accessibility engedélyek szükségesek. Ez lehetővé teszi, hogy olyan alkalmazásokat is vezéreljen, amelyeket a böngészőn belüli vagy virtualizált automatizálás gyakran blokkol.
-
Strukturált menüfeltérképezés: a peekaboo menu parancs JSON-formátumban adja vissza a teljes menüfát, így az ügynökök név szerint navigálhatnak például "File → Export → PDF…" útvonalakra a képernyőkép-alapú mintázatkeresés helyett.
-
Több képernyő és Spaces támogatás: első osztályú támogatást nyújt ablakok áthelyezésére Spaces között, asztalok váltására, és elemek megcélzására meghatározott kijelzőkön.
-
A tipikus hiányosságokat kezeli: a Peekaboo a kattintáson és gépelésen túl olyan műveleteket is támogat, amelyeket sok más ügynök nem tud megbízhatóan végrehajtani, például Dock jobbklikket, menüsor kiegészítők kezelését, fájldialogokat és fájlok húzását a Lomtárba.
Integrációk és használat
A Peekaboo CLI és MCP szerver interfészeket kínál, így különböző ügynök-hurkokkal használható, például Claude Code, Codex, OpenClaw vagy Hermes Agent mellett. Bármely modell használható vele — a megemlített példák között szerepel Claude, GPT-5.1, Grok 4-fast, vagy teljesen helyi futtatáshoz Ollama.
A projekt MIT-licenc alatt érhető el, és beépül az OpenClaw ökoszisztémába: a repóban megtalálható skills/peekaboo-cli helyen, így telepíthető OpenClaw-skillként a több mint 5,400 egyéb skill mellett.
Miért számít ez?
A Peekaboo célja, hogy megbízhatóbbá tegye az automatizált ügynökök felhasználói felület-interakcióit macOS-en, megszüntetve a képernyőképekre és pixel-alapú heurisztikákra épülő, gyakran megbízhatatlan megközelítést. Ez különösen fontos olyan feladatoknál, amelyek érzékenyek az ablakelrendezésre, több kijelzős munkakörnyezetre vagy natív menük és dialógusok kezelésére.
