A Sentence Transformers egy Python-könyvtár beágyazások és rerankerek használatára és tanítására — alkalmazási területei közé tartozik a retrieval-augmented generation, szemantikus keresés és szemantikus hasonlóság. A 6.0-s verzió új modelltípust vezet be: a MultiVectorEncodert, amely ColBERT-stílusú late-interaction lekérdezésre szolgál, és mellé teljes finomhangoló folyamatot ad. A példák futtatásához a szerző azt használta, hogy pip install -U "sentence-transformers[train]".
A cikk bemutatja, hogyan lehet többkomponensesen finomhangolni multi-vector modelleket: maga a modell, adathalmazok, veszteségfüggvények, tanítási argumentumok, értékelők és a trainer osztály szerepét részletesen ismerteti, gyakorlati példákkal illusztrálva.
Konkrét eredményként a szerző egy saját finomhangolást mutat be: a multi-vector-encoder/mLateOn-medical modellt 14,5 óra alatt tanította egyetlen NVIDIA RTX 3090-en (csúcs VRAM-használat ~17,5 GB), és ez a modell a tesztelt általános célú retrieverekhez képest jobbnak bizonyult a saját orvosi visszakeresési értékelésén.
Mi az a Multi-Vector modell?
A hagyományos sűrített (dense) embedding modell a teljes szöveget egyetlen vektorra képezi le, és két szöveg hasonlóságát egy skaláris szorzattal mérik. A multi-vector (late-interaction vagy ColBERT-stílusú) modell token-szinten tart egy kis vektort minden tokenhez, és a lekérdezést a MaxSim operátorral méri: minden lekérdezés-token megkeresi a legjobban illeszkedő dokumentum-tokenjét, és ezek pontszámait összeadja. Ez a token-szintű egyezés finomabb jelzéseket tart meg, ami általában jobb visszakeresést eredményez, viszont nagyobb indexmérettel jár.
Részletes architektúráról és indexelésről a szerző a hozzá kapcsolódó "Multi-Vector Embedding Models" blogbejegyzésre utal; itt a fókusz a betanításon van.
Miért érdemes finomhangolni?
A domain-specifikus finomhangolás jelentősen javítja a visszakeresés minőségét: a szókincs, lekérdezésstílus és relevanciafogalom domainről domainre eltér (web, jog, kód, tudományos irodalom, orvosi szöveg stb.). A token-szintű illesztés miatt a multi-vector modellek érzékenyebbek a finom domainjelekkel kapcsolatos példákra, és már mérsékelt mennyiségű in-domain adat hatására is jól reagálnak.
További tényező, hogy sok kiadott modell rövid bekezdésekre van konfigurálva (például 180–512 tokent truncate-olnak), míg a szerző orvosi adatai átlagosan 941 token hosszúak. A dokumentumkapacitás korlátozása egyes modellek esetén jelentős teljesítményveszteséget okozhat; a példában akár 0.24 NDCG@10 veszteség is mérhető volt a rövidítés miatt. Saját modellt tanítva megadható a kívánt dokumentumhossz, így elkerülhető a levágás.
A betanítás fő komponensei
A MultiVectorEncoder modellek betanítása a következő elemekből épül fel:
- Modell (finomhangolás vagy új építés)
- Adathalmaz (train/validation/eval)
- Veszteségfüggvény
- Tanítási argumentumok (sebesség, naplózás stb.)
- Értékelő (evaluator)
- Trainer, amely egyesíti ezeket
A következőkben röviden áttekintjük a szerző gyakorlati megoldásait és javaslatait.
Modell: finomhangolás vagy új fej
Ha létező multi-vector checkpointot finomhangolsz (például lightonai/mLateOn-unsupervised), nem kell az architektúrán változtatni; érdemes azonban ellenőrizni a query- és document-hosszkorlátokat (query_length, document_length) és a tokenizer model_max_length beállítását. Sok checkpoint alapból rövid korlátokra van állítva — ezeket fel kell oldani, ha hosszú dokumentumokkal dolgozol.
A szerző például a lightonai/mLateOn-unsupervised betöltését fp32-ben javasolja (ha memória megengedi), és a processor_kwargs segítségével model_max_length=8192-t állít be. Emellett egy írásjelekből álló skiplistet vett fel a dokumentum-oldali scoringból, ami a tesztben ~9.6% indexméret-csökkenést és egy kis minőségi javulást hozott.
Lehetőség van teljesen új head építésére is: a MultiVectorEncoder tetszőleges alap-transformerre mutatható, és a token-szintű projekció (például 128 dimenziós) véletlenszerű inicializálással jön létre — ez tanítást igényel, de erős alapokra építve gyorsan jó eredményt adhat.
Melyik kezdőpontot válasszuk?
A szerző kísérletet végzett hat különböző kiindulóponttal, mindet ugyanazzal a recepttel tanítva 25k orvosi kérdés-passage páron, majd 1k tartott kérdésen értékelve 50k corpus ellen. A fontos megfigyelés: az "-unsupervised" (kontrasztívan előtréningezett, még nem felügyelt finomhangolt) checkpointok jobban alkalmazkodtak az új domainhez, mint a teljesen kész, általános retrieverként finomhangolt checkpointok, még akkor is, ha nulla-shot pontszámuk alacsonyabb volt. Tehát ha elérhető, előnyös egy pre-supervised checkpointról indulni; második opció egy erős, retrieval-pretrained backbone friss projekcióval.
Adathalmaz
A MultiVectorEncoderTrainer a datasets.Dataset vagy DatasetDict formátumot használja. A szerző példája a Hugging Face Datasets Hub-ról töltött MIRIAD adathalmaz: a "tomaarsen/miriad-4.4M-split" dataset, amely ~4.4 millió orvosi kérdés–passage párt tartalmaz (átlagosan 941 token per passage). A szerző ebből a futásból 1 millió párral tanított (train.select(range(1_000_000))).
A kitöltésnél fontos, hogy az adathalmaz formátuma megfeleljen a választott veszteségfüggvény input-elvárásainak: a címkék (label/score) és az input-oszlopok sorrendje számít, és vannak multi-vector specifikus konvenciók (például az első oszlop mindig a query, a többi dokumentum).
Veszteségfüggvény
Kérdés–passage párok esetén a gyakori megközelítés az in-batch negative loss: MultiVectorMultipleNegativesRankingLoss (a szerző GradCache variánsát használta: CachedMultiVectorMultipleNegativesRankingLoss), ahol a többi batch-beli dokumentum mind negatívnak számít. A GradCache/mini_batch_size mechanizmus lehetővé teszi nagy effektív kontrasztív batch méretet anélkül, hogy a GPU memóriája korlátozná azt.
Fontos multi-vector csapda: a kontrasztív lossok alapértelmezett "scale" értéke 1.0 (ellentétben a dense esetben használt 20.0-val). A MaxSim pontszám token-szám szerint máris szélesebb skálán mozog, ezért a 20.0 bemásolása itt gradient-problémákat okozna.
A tudásdistillációhoz a MultiVectorDistillKLDivLoss használható.
Tanítási argumentumok
A MultiVectorEncoderTrainingArguments sok beállítást ad a tréninghez: output_dir, num_train_epochs, per_device_train_batch_size (a szerző effektív kontrasztív batch=128-t ér el GradCache-szel és per_device_train_batch_size=128-cal), per_device_eval_batch_size, learning_rate (a szerző 1e-4-et használt), warmup_steps, prompts (például "[Q]" és "[D]"), fp16/bf16 beállítások, eval/save/log lépésszintek, run_name stb. A szerző megjegyzi, hogy a max_length-argumentumot tréningnél érdemes nem korlátozni, ha a cél, hogy a tréning megfeleljen a futáskorinferencia hosszának; rövidítés gyorsít, de minőségveszteséget okozhat.
Értékelő (Evaluator)
Konkrét retrieval-metrikák sokkal informatívabbak, mint puszta tréning-loss. A Sentence Transformers több beépített multi-vector értékelőt tartalmaz; domain finomhangolásnál a MultiVectorInformationRetrievalEvaluator a releváns: lekérdezések, korpusz és releváns dokumentum-mapping szükséges.
A szerző tanácsa: az értékelő korpusza legyen elég nehéz ahhoz, hogy modelleket el lehessen különíteni. A MIRIAD esetében az eval kérdések és a hozzájuk tartozó gold passage-k közötti könnyű felismerés miatt a szerző 200k körüli deduplikált zavartó (distractor) passage-sel tette realisztikusabbá a corpus-t.
Trainer és teljes edzésrecept
A MultiVectorEncoderTrainer összekapcsol minden komponenst. A szerző bemutatja teljes scriptjét, amelyből kiemelendők a gyakorlatilag fontos lépések:
- Kiinduló checkpoint: lightonai/mLateOn-unsupervised (fp32), model_max_length=8192
- Korlátok feloldása: query_length=None, document_length=None
- Írásjelek skiplist-je és tokenizátorral való újrafeloldás
- 1_000_000 tanító pár betöltése a MIRIAD-ból
- CachedMultiVectorMultipleNegativesRankingLoss mini_batch_size=16
- Dev evaluator 500 tartott kérdéssel és ~10k kezdeti korpusszal a tanulás megfigyelésére
- Training arguments: num_train_epochs=1, per_device_train_batch_size=128, learning_rate=1e-4, bf16=True stb.
- trainer.train(), model.save_pretrained(...), opcionálisan model.push_to_hub(run_name)
A teljes futás 14.5 órát vett igénybe a szerző gépén (egy RTX 3090), csúcs VRAM-felhasználás ~17.5 GB. A szerző skálázási kísérletei szerint 100k pár (~75 perc edzés) mindössze ~0.012 NDCG@10 deficitbe kerül a teljes 1M futáshoz képest — a legtöbb haszon az első órában jön.
Callback-ek és multi-dataset edzés
A trainer támogatja a transformers.TrainerCallback alosztályokat: WandbCallback, TensorBoardCallback, CodeCarbonCallback stb., amelyeket a report_to argumentummal lehet aktiválni.
A MultiVectorEncoderTrainer több adathalmaz együttes tanítását is kezeli: dictionary-ként átadott datasets, külön loss-ok dataset-enként, és sampling-stratégiák (ROUND_ROBIN vagy PROPORTIONAL) állíthatók.
Értékelés: eredmények a MIRIAD benchmarkon
A szerző a finomhangolt multi-vector-encoder/mLateOn-medical modellt több mint 50 modellkonfigurációval hasonlította össze négy arkitektúra-családból egy MIRIAD-hoz épített értékelőn: 1,000 tartott orvosi kérdés keres 200,000 egyedi passage ellen (10k gold passage rejtve 190k deduplikált distractor között). A fő eredmény:
- multi-vector-encoder/mLateOn-medical (finomhangolt): NDCG@10 = 0.9139, acc@1 = 0.849
- Következő legjobb zero-shot multi-vector: lightonai/mLateOn — NDCG@10 = 0.8520, acc@1 = 0.758
- Erős dense zero-shot: Qwen/Qwen3-Embedding-4B — NDCG@10 = 0.7817
- BM25 (lexikai baseline): NDCG@10 = 0.7501
A finomhangolt modell a legjobb zero-shot modellhez képest +0.062 NDCG@10 előnyt ért el. Ez a különbség azt jelenti, hogy míg a legerősebb zero-shot modell a lekérdezések 75.8%-ára az első találatként adja a helyes passage-t, a finomhangolt modell 84.9%-on áll, ami a rank-1 hibaarányt több mint harmadával csökkenti a szerző adatkészletén.
A szerző kiemeli, hogy a topok között dominálnak a late-interaction modellek, különösen hosszú dokumentumok esetén: token-szintű head jobb, mint egyetlen vektor per dokumentum, még az azonos háttérrendszerek és kiképzés mellett is.
Fontos megjegyzés: ez a győzelem saját domainre vonatkozik; nem állítja, hogy ez a modell minden domainon a legerősebb lenne.
Index-optimalizálás: méret vs. pontosság
A multi-vector megközelítés hátránya az indexméret: tokenonként tárolt vektorok miatt a szerző modellje esetén átlag ~878 vektor per passage, ami a 200k passage korpusszal körülbelül 45 GB fp16-ban. Ezzel szemben egy dense modell indexe jóval kisebb lenne. A dokumentumhossz-szórás itt döntő tényező.
A szerző két fő csökkentési stratégiát vizsgál:
- Token pooling (HierarchicalTokenPooling): minden dokumentum token-vektorait klaszterezve a klaszter-átlagok tárolása csökkenti a vektorok számát 1/pool_factor arányban. A mérések szerint például a vektorok felére csökkentése 0.0033 NDCG@10 veszteséggel járt, a negyedére zsugorítás 0.8991 NDCG@10-t eredményezett (~11.2 GB).
- Quantizáció + pruning (PLAID-stílusú): a szerző által említett fast-plaid 1-bit residual kvantálással és további prune-lépésekkel nagyon kis indexet ad: az összes vektor megtartása mellett 3.37 GB indexet kapott (1-bit PLAID), ami 13× kisebb, mint a nyers 45 GB, és csak 0.0155 NDCG@10 veszteséggel jár. Aggresszívebb prunimg 42% megtartott vektor mellett 1.45 GB-ot eredményezett és 0.8642 NDCG@10-t.
A kvantálás tehát jelentős méretcsökkentést ad jó pontossággal; pooling és pruning ezt tovább javítja. A szerző megjegyzi, hogy egy reális telepítésnél ezek kombinációját érdemes használni — így a multi-vector indexméret-ellenérv többnyire eloszlik.
Összegzés
A Sentence Transformers v6.0 MultiVectorEncoder-rel a ColBERT-stílusú late-interaction modellek egyszerűen taníthatóvá válnak ugyanazzal a könyvtárral, amely más embedding és reranker feladatokat is kiszolgál. Domain-specifikus finomhangolással — a szerző receptje szerint: pre-supervised kiinduló checkpoint, egy millió domain pár, in-batch negatives GradCache-szel, teljes dokumentumhossz és magasabb tanulási rátával — 14,5 óra alatt egyetlen RTX 3090-en olyan modellt kapott, amely a saját orvosi benchjén minden általános célú retrievert felülmúlt.
A cikk gyakorlati útmutatót ad a lépésekhez (modellválasztás, adatformátum, veszteség, training args, evaluator, trainer, callbackek, indexelési stratégiák) és bemutatja, hogyan lehet mérsékeltebb erőforrásokkal is jó eredményt elérni (például 100k pár ~75 perc alatt, kis veszteséggel).
Köszönetnyilvánítás és további anyagok
A szerző megköszöni Omar Khattabnak a kvantált és pruned index konfigurációk méréseit. További források: a cikk kódpélderei, a MIRIAD és más példák (MS MARCO, multimodális, PEFT/LoRA), valamint a Sentence Transformers dokumentációs oldalai (Installation, Quickstart, Training Overview, Loss Overview, API Reference, Distributed Training) és a kapcsolódó "Multi-Vector (Late Interaction) Embedding Models with Sentence Transformers" útmutató.
(A fenti leírás a szerző blogposztjának szerkezetét és mérési eredményeit foglalja össze, minden konkrét szám és modellnév a forrásból származik.)
