A NVIDIA egy olyan utólagos tanítási módszert ismertetett, amellyel a Nemotron 3.5 Super VL modell szűkebb tudományos feladatokra szabható. A bemutatott példában a rendszer egy kiinduló vegyület és az azt átalakító enzim alapján jósolja meg a keletkező metabolitot, a válaszokat pedig kísérleti adatokkal összevetve értékelik.
A vállalat szerint a módszer a tudományos munkafolyamatokat végző, autonóm MI-ügynökök egyik fontos problémáját célozza: az egymásra épülő lépések során a nem ellenőrzött hibák felhalmozódhatnak, miközben a késleltetés és a számítási költség is növekszik. Ezek az ügynökök természetes nyelven megfogalmazott hipotézisek alapján tervezhetnek feladatokat, futtathatnak szimulációkat és értékelhetik az eredményeket.
A Nemotron 3.5 Super VL a NVIDIA Nemotron for Science modell-, adatkészlet-, eszköz- és módszergyűjtemény része. A nyílt, testreszabható multimodális modell mellett a csomag tartalmazza a NVIDIA Nemotron Litmus-Bench V2.0 nyílt forráskódú kémiai következtetési adatkészletet és tesztet is, amelyet molekulatulajdonságokkal kapcsolatos modellek tanítására és értékelésére terveztek. A NVIDIA szerint a modell alapállapotban is élvonalbeli pontosságot ér el tudományos teszteken, és gyorsan old meg tudományos programozási feladatokat.
Kísérleti adatokból tanítási környezet
A gyógyszer-metabolizmust bemutató példa a MetxBioDB kísérletileg igazolt biotranszformációs reakcióit használja. A kiinduló CSV-fájlban szereplő bemeneteket és eredményeket kérdés–válasz párokká alakítják. A molekulák szerkezetét a Simplified Molecular Input Line Entry System, röviden SMILES szöveges jelölésével adják meg.
A modell válaszát egy automatikus ellenőrző hasonlítja a kísérleti referenciaadathoz. Így ellenőrizhető jutalmakon alapuló megerősítéses tanulási környezet jön létre, amelyhez nincs szükség emberi preferenciajelölésre: a jutalom közvetlenül az adatokból származik. A környezet infrastruktúráját a NVIDIA NeMo Gym, az utólagos tanítás keretrendszerét a NVIDIA NeMo RL adja.
A példában az ellenőrző a jósolt és a referencia-metabolit szerkezeti jellemzőit leíró molekuláris ujjlenyomatokat hasonlítja össze Tanimoto-hasonlósággal. Az alkalmazott bináris ujjlenyomatoknál a pontszám 0 és 1 közé esik; a nagyobb érték nagyobb hasonlóságot jelez. Más feladatoknál egyszerű szekvenciahasonlóság, kémiai informatikai könyvtár, molekulaszimulátor vagy akár autonóm laboratórium is szolgáltathatja az értékelést.
Megerősítéses tanulás és modelllepárlás
A bemutatott közvetlen tanítás csoportos relatív policy-optimalizálást, azaz GRPO-t és alacsony rangú adaptereket, LoRA-t használ. A modell lépésenként végiggondolja a feladatot, majd egy eszközhívással beküldi a metabolitra vonatkozó jóslatát. Az ellenőrző automatikusan pontozza a választ. A NVIDIA szerint a folyamat más területre is átültethető, ha az adott feladathoz számszerű jutalom rendelhető.
A vállalat közlése szerint 16 384 tokenes kimeneti keret mellett a felügyelt finomhangolás 12%-kal javította a Nemotron for Science pontosságát a gyógyszer-metabolizmust vizsgáló környezetben, a további megerősítéses tanítás pedig újabb 17%-os javulást hozott. A bemutatott értékelés az átlagos molekuláris hasonlóságot vizsgálta.
Ha a kiinduló modellnek további segítségre van szüksége, vagy a megerősítéses tanulás lassan konvergál, előzetes modelllepárlás is alkalmazható. Ilyenkor egy erősebb tanítómodell ugyanazokra a feladatokra készít megoldásokat, és a referenciaeredménnyel egyező, illetve ahhoz kellően hasonló válaszokhoz tartozó következtetési nyomokat használják a kisebb modell finomhangolására.
A példában az Anthropic Claude Sonnet 5.5 modellje készítette a tanítási mintákat. Az 1934 feladatból 1123 jó minőségű következtetési nyomot szűrtek ki legalább 0,7-es Tanimoto-küszöbbel. Egy bemutatott feladatban a CYP1A2 enzim által végzett N-demetilezést kellett felismerni; a megadott metabolit ujjlenyomata pontosan egyezett a referenciával. A hasonlósági pontszám azonban önmagában a végső molekuláris ujjlenyomatot méri, nem igazolja külön a következtetés minden lépését.
A gyakorlati megvalósítás
A NVIDIA által ismertetett recept a CSV-adatok JSONL formátumú tanítási és validációs példákká alakításával kezdődik. A területspecifikus kiszolgáló munkamenetenként tárolja a referencia-SMILES-t, majd a beküldött első választ 2048 bites, kettes sugarú Morgan-ujjlenyomatok Tanimoto-hasonlóságával pontozza. A környezetet és az adatkészleteket ezután a NeMo Gym és a tanítóprogram konfigurációjához kapcsolják.
A bemutatott többcsomópontos futtatás négy csomóponton összesen 16 GPU-t használ: a GRPO-példa legfeljebb 100, a felügyelt finomhangolási példa 55 tanítási lépéssel indul. A lepárlási folyamat a tanítómodell válaszait pontozza, a küszöböt elérő példákból pedig felügyelt tanítási adatkészletet állít össze.
A megközelítés kulcsa a megfelelő jutalomfüggvény: annak a kívánt tudományos eredményt kell mérnie. A NVIDIA a szűken meghatározott feladattal való kezdést, a pontozás ellenőrzését és elkülönített értékelő adatok használatát javasolja annak megállapítására, hogy az utólagos tanítás valóban javít-e a kiinduló modell teljesítményén.



