Ahmad Osman, az Osmantic alapítója és a lokális mesterséges intelligencia korai szószólója, a AI Engineer World’s Fair rendezvényen tartott két részes workshopot a helyi (workstationon vagy dedikált hardveren futó) nyelvi modellekről és ügynökökről. Osman hosszú ideje azon dolgozik, hogy a helyi AI-t és az ehhez kapcsolódó nyílt forráskódú szoftvereket terjessze; cégének célja a helyi AI rendszerek telepítését és működtetését segítő nyílt eszközök fejlesztése.
A nyílt modellek felzárkózása
Az AIEWF-en megjelent egyik fő téma az volt, hogy az open source LLM-ek egyre inkább releváns alternatívát jelentenek a zárt, nagy teljesítményű "frontier" modellekkel szemben. Mivel sok helyi AI-rendszer nyílt modellekre épül, ez az irány erősíti Osman korábbi érveit: „the gap between open-source models and closed-frontier models keeps shrinking,” ahogyan ő fogalmazott. Osman saját honlapján, az Open Source AI Must Win oldalon is hangsúlyozza, hogy „the ability to study, build, repair, deploy, audit, adapt, teach, preserve, and run intelligence systems without asking permission is of existential importance.”
A workshop: kézzelfogható bemutató a helyi AI-ról
A két részes workshop iránt nagy volt az érdeklődés; több jelentkezőt vissza kellett utasítani. Osman bemutatott egy demonstrációs weboldalt és egy hardver-arénát, ahol különböző rendszereket — például DGX Spark, AMD Strix Halo gépeket és egyéb eszközöket — lehetett egymással és egy felhő alapú frontier modellel összehasonlítani. A cél az volt, hogy a résztvevők saját szemükkel lássák a teljesítményt, a kimenetek minőségét, a sebességet és a késleltetést, és ne csak elméleti vitákat halljanak.
A demonstráció mögött álló szoftver nyílt forráskódú, elérhető a GitHubon; a második workshop részletesebben foglalkozott a rendszer felállításával és a teljes üzem bemutatásával.
Nemcsak modellek: az infrastruktúra szerepe
Osman felhívta a figyelmet arra, hogy egy modell önmagában ritkán elegendő: a hosted szolgáltatások — például ChatGPT vagy Claude Code — nem csak a modellből állnak, hanem keresőkből, eszközökből, ügynöki komponensekből és további környezeti szolgáltatásokból. Egy konkrét példát is elmondott: egy ismerőse RTX 5090-et vett Qwen 3.5 helyi futtatásához, és Claude Code-dal próbálta megváltoztatni a GPU RGB világítását; ez helyileg meghiúsult, de a hosztolt szolgáltatásnál működött. Kiderült, hogy a helyi rendszer nem kapott hozzáférést egy kereső végponthoz és a modell tudáskörét érintő friss információkhoz.
Osman szerint ezért fontos az end-to-end megközelítés: chat felület, dokumentumfeltöltés, ügynökök, harness-ek és keresőeszközök — ez a réteg a helyi AI-ökoszisztémában sokszor hiányzik, és Osmantic nyílt forráskódú telepítési rendszere erre próbál teljes megoldást adni.
Széles érdeklődés: diákoktól vállalati döntéshozókig
A workshop résztvevői változatosak voltak: érkeztek diákok, akik az első AI-képes gépük vásárlásán gondolkodtak, és vállalati vezetők is, akik modellek útvonaltervezéséről, privát infrastruktúráról és az üzleti adatok feletti kontrollról érdeklődtek. Egy Intel-vezető például azt kérdezte, hogyan lehetne a szoftvert úgy futtatni Windows alatt, hogy jobb felhasználói élményt nyújtson.
A kérdések a modellek útvonalkezelésétől, adatgyűjtésen és trace-eken át az ügynökök sandboxolásáig és a késleltetésig terjedtek. Egy kevésbé vállalati jellegű kérdésre Osman elárulta, hogy otthon 22 darab RTX 3090 GPU-val rendelkezik.
GPU-vásárlás: nem mindig szükséges
Az, hogy valakinek új GPU-t kell-e vásárolnia a helyi AI kísérletezéshez, a használni kívánt modell méretétől függ. Oszman elmondása szerint egy négybites Qwen modell futtatható MacBookon, míg a legnagyobb, frontier-osztályú nyílt modellek több RTX Pro 6000 GPU-t igényelhetnek. Ugyanakkor a nagyobb trend a hatékonyság növekedése: modern telefonokon már olyan modellek futtathatók, amelyek pár évvel ezelőtt csak felhőben voltak elérhetők.
Modellek és hardver együtt fejlődnek
Osman szerint a gyors előrelépést elsősorban a modellek és szoftverek hatékonyságjavulása hozza: architektúrák válnak hatékonyabbá, apró fejlesztések összeadódnak, és az open source közösség képes visszafejteni frontier képességeket költséghatékonyabb módon. Jelenleg néhány tízmilliárd paraméteres modell képes olyan teljesítményre, amely korábban sokkal nagyobb rendszereket igényelt volna, és néhány ilyen modell akár egy 2020-as RTX 3090-en is futhat.
A hibrid és szuverén AI növekedése
Osman szerint valószínű, hogy egyre több alkalmazás kombinálja majd a helyi és a felhős AI-t. A vállalatok egyre inkább érzékelik a kockázatot, hogy a külső szolgáltatók minősége, árazása vagy hozzáférése megváltozhat; emiatt vonzóvá válik a dedikált, kontrollált hardver használata — akár on-premise, akár colocation formában. Ennek előnye, hogy a modell minősége nem változik váratlanul, a hozzáférés nem vonható vissza könnyen, és a cég megőrzi az irányítást az IP, adatvédelem és megfelelőség felett.
Különleges modellek és vállalati használat
Osman úgy látja, hogy sok vállalati esetben a kisebb, specializált modellek jelentik a valódi üzleti lehetőséget. Egy vállalat általános modellel indulhat, majd a használati trace-ek, üzenetek és visszajelzések alapján idővel speciális, a cég munkafolyamataira hangolt modellt alakíthat ki. Ez javíthatja a teljesítményt, csökkentheti a költségeket és növelheti a rendszer hasznosságát. Emellett Osman szerint az open source modelleket fejlesztő cégek jövedelmet szerezhetnek finomhangolási, megerősítéses tanítási vagy speciális kereskedelmi telepítési licencekből.
Összegzés
Ahmad Osman AIEWF-en tartott előadásai és workshopjai azt mutatták, hogy a helyi, nyílt forráskódú AI gyorsan válik életképes alternatívává a felhőalapú, zárt modellekkel szemben. A fejlődés motorja egyszerre a modellek hatékonyságának javulása és a hardverek elérhetőbbé válása, miközben a vállalatok egyre inkább a kontroll és szuverenitás felé mozdulnak el a saját adatuk és számítási kapacitásuk felett.
