Az Apple tárgyalásokat folytat a PrismML nevű kaliforniai startuptal, amely szerint sikerült olyan mértékben tömörítenie nagy nyelvi modelleket, hogy azok közvetlenül egy iPhone‑on is futtathatók – mondta el a cég vezérigazgatója, Babak Haszibi, a CNBC‑nek adott nyilatkozatában. A PrismML a Khosla Ventures támogatásával jött létre, és a Caltechről indult spin‑offként működik.
Mit jelent a tömörítés a gyakorlatban?
A PrismML kedden tette közzé az Alibaba nyílt forráskódú Qwen modelljének tömörített változatait. A startup állítása szerint az eredeti, nagyjából 54 gigabájtos modellt 4 gigabájt alá sikerült redukálni, így a modell mind a 27 milliárd paramétere futtatható egy iPhone 15‑ön vagy annál újabb készüléken.
A cég módszere azt jelenti, hogy a belső adatok tárolását drasztikusan leegyszerűsítik: az egyes értékeket 16 bitről mindössze egy vagy három lehetséges értékre csökkentik. A PrismML által közölt számok szerint a tömörített modellek tíz‑tizenötször kevesebb memóriát igényelnek, hatszor‑nyolcszor gyorsabban reagálnak, és három‑hatod résznyi energiát fogyasztanak a hagyományos változatokhoz képest. Ugyanakkor a vállalat is elismeri, hogy a teljesítmény általában néhány százalékponttal csökken, és elsőként a tények pontos felidézése, illetve az érvelési, matematikai és kódolási készségek gyengülhetnek.
Apple motivációja és időzítés
A bejelentés egy nappal azután érkezett, hogy az Apple elindította az iOS 27 nyilvános béta‑verzióját, amely szélesebb körben teszi elérhetővé az átdolgozott Siri‑t. Az Apple célja, hogy Siri versenyképesebb legyen az OpenAI és az Anthropic megoldásaival szemben, miközben az adatvédelmi szempontokat erősítve a számítási feladatok és az AI‑alapú feldolgozás minél nagyobb részét helyben, az eszközökön tartja.
A helyben futó modellek csökkentenék a hálózati késleltetést, mérsékelnénk a felhőalapú infrastruktúra költségeit, és erősítenék az Apple adatvédelmi érveit; egyes funkciók így internetkapcsolat nélkül is működnének. Babak Haszibi azonban hangsúlyozta, hogy az Apple és más technológiai vállalatok tesztelései még a korai fázisban vannak, és a tárgyalások "szépen haladnak", de nem zárta ki, hogy további vizsgálatok szükségesek.
Mely modellek következnek, finanszírozás és szellemi tulajdon
A PrismML technológiája a Haszibi vezette Caltech‑en működő kutatócsoport eredményeiből származik, és a Caltech kizárólagos felhasználási jogot biztosított a startup számára a kapcsolódó szabadalmakra. A cég márciusban zárt egy 16,25 millió dolláros finanszírozási kört. A nyilatkozat szerint a következő lépés a Google nyílt forráskódú Gemma modelljének tömörítése lesz, majd később nagyobb modelleken folytatnák a fejlesztést.
Elemzői óvatosság és technikai kockázatok
Elemzők óvatos állásponton vannak: a PrismML‑állításokat a laboratóriumi demonstrációkon túl a valós használatban is igazolni kell. A Counterpoint Research szakértői szerint a komplex utasítások feldolgozásának minősége, a többfeladatos működés közbeni akkumulátorhasználat, valamint a többmillió lekérdezésre vonatkozó megbízhatóság lesznek a döntő tényezők. Az IDC egyik szakértője kiemelte, hogy az energiafogyasztás lehet a legnagyobb kihívás: a folyamatosan vagy gyakran futó modellek gyorsan lemeríthetik az akkumulátort még akkor is, ha a memóriaigény alacsonyabb.
A D.A. Davidson elemzője arra hívta fel a figyelmet, hogy a modellek méretének csökkentése nem feltétlenül szünteti meg a chipek iránti keresletet, csupán áthelyezi azt az adatközpontokból a mobil eszközökbe, ahol a chipek kihasználtsága gyakran alacsony maradhat.
Összegzés
A PrismML tömörítési megközelítése ígéretes lehetőséget kínál arra, hogy erősebb mesterséges intelligencia‑funkciók fussanak közvetlenül iPhone‑okon, ami csökkentené a késleltetést és erősítené az adatvédelmet. Ugyanakkor a valódi érték és skálázhatóság megítélése a valós körülmények közötti tesztelés, az akkumulátor‑használat és a többfelhasználós megbízhatóság eredményeitől függ majd.
