A PrismML, amelyet Caltech-kutatók alapítottak és tanácsadója Ion Stoica (UC Berkeley), bemutatott egy kisméretű nyelvi–vizuális modellt, amely Qualcomm Snapdragon chipeken futtatható okosszemüvegekre céloz. A bejelentés a Qualcomm Snapdragon Summit rendezvényén történt szerdán, ahol a gyártó bemutatta a PrismML 1-bit Bonsai LLM-ét.
Mit tartalmaz a modell?
- A PrismML által bemutatott változat egy 2 milliárd paraméteres modell, amelyet kifejezetten látás és nyelv feladatokra hangoltak. Ez lehetővé teszi, hogy a viselők valós időben kérdéseket tegyenek fel arról, mit látnak.
- A startup azt állítja, hogy a Bonsai változat körülbelül négyszer kisebbre zsugorítja a nagyobb modelleket, miközben a szabványos benchmarkokon szinte teljes egészében megőrzi azok teljesítményét.
- A modell 1-bites kvantálást használ, és helyben, az eszközön futtatható, a Qualcomm Snapdragon AR1 Gen 1 Platformon.
Miért fontos ez?
A PrismML stratégiai célja az, hogy nyílt súlyú (open-weight) AI-t tegyen elérhetővé az eszközökön, kihasználva a már meglévő számítási kapacitást, és csökkentve a felhőfüggést. A vállalat ezt alternatívának ajánlja a zárt, proprietáris AI-laborok szolgáltatásaival és azok nagy számításigényével szemben, különös tekintettel a felhasználói adatok helyben tartására és a magánélet védelmére.
Állapot és további lépések
Bár a Qualcomm chipre optimalizált modell fejlesztése fontos előrelépés a PrismML víziója felé, egyelőre nem jelentettek be olyan kereskedelmi okosszemüveget, amelyen a PrismML modell ténylegesen futna. A bemutató lépésként értelmezhető az ökoszisztéma felé, de a végfelhasználói eszközök megjelenése és elérhetősége még kérdéses.
Összefoglalás
PrismML új, 2 milliárd paraméteres, látás- és nyelvalapú modellje a Qualcomm Snapdragon AR1 Gen 1 Platformon futtatható, 1-bites Bonsai-quantizálással. A cég szerint a modell lényegesen kisebb méret mellett megőrzi a nagyobb modellek teljesítményét, és célja az on-device, nyíltabb AI terjesztése — ugyanakkor kereskedelmi PrismML-alapú okosszemüveg eddig nem került bejelentésre.
