Egy Hacker News‑bejegyzés szerzője azt emelte ki, hogy az EmbeddingGemma 2 Apache 2.0 licenc alá helyezése fontos előnyt jelent az embedding alapú alkalmazások számára. A komment szerint a zárt, kizárólag hosztolt modellek hosszú távon kockázatot jelentenek, mert egy szolgáltató megszüntetheti az adott modellt, ami tömeges újraszámolást és költségeket eredményezhet.
Miért számít a licence?
A szerző hangsúlyozza, hogy embedding modelleknél tipikus, hogy alkalmazások ezreket vagy akár milliókat számolnak ki és tárolnak el későbbi összehasonlításra. Ha a használt modell zárt, proprietáris és csak hosztolt formában érhető el, fennáll az a veszély, hogy a szolgáltató egy későbbi időpontban leállítja vagy lecseréli a modellt. Ilyen esetben a korábban tárolt embedding vektorokat újra kellene számolni az új modellhez kompatibilis formában, ami jelentős idő- és pénzráfordítást jelenthet.
Példa és korlátozások
A komment megemlíti, hogy 2024 áprilisában az OpenAI felajánlotta, hogy „téríti a felhasználók újramappingelésének pénzügyi költségét” bizonyos új modellekre való átálláskor. A szerző azonban rámutat, hogy ez nem általános garancia, és nem lehet minden szolgáltatótól elvárni hasonló kompenzációt.
Nem feltétlenül ön-hostolás a cél
Fontos részlet a kommentben: a szerző nem szeretne feltétlenül maga hosztolni a modellt. A preferencia az, hogy inkább egy szolgáltatótól béreljen hosztolt modellt, de tudja, hogy ha a szolgáltató később beszünteti a hosztolást, akkor jogilag és technikailag hozzáférjen a model weights‑hez (az Apache 2.0 licenc révén), és szükség esetén futtathassa azt maga, vagy alternatív szolgáltatót találjon, aki elvégzi a futtatást.
Következmények az alkalmazások számára
- Megbízhatóság: nyílt licenc mellett a szolgáltatóváltás vagy a hosztolás megszűnése kevésbé kockázatos, mert a modellek súlyai elérhetők maradnak.
- Költségkezelés: a tárolt embeddingek tömeges újraszámolásának költsége csökkenthető, ha a szervezetek rendelkeznek lehetőséggel az eredeti modellek futtatására.
- Rugalmasság: a fejlesztők továbbra is bérelhetik a hosztolt szolgáltatást, de nem vesztik el az alternatív üzemeltetés jogát.
Összegzés
A komment szerint az EmbeddingGemma 2 Apache 2.0 licenc alá helyezése gyakorlati előnyöket nyújt a nagy mennyiségű embeddinget használó rendszerek számára: csökkenti a hosszú távú függést egyetlen hosztolt szolgáltatótól, és mérsékli a későbbi átállásoknál felmerülő költségeket, miközben lehetővé teszi a továbbra is kényelmi szempontból előnyösebb hosztolt modellek használatát.
