Core Automation, az OpenAI és a Google korábbi munkatársaiból alakult AI-startup, közzétett egy bejegyzést az elosztott (distributed) tréningről, és bemutatta saját kísérleteit is. Az elosztott tréning alatt azt értjük, amikor egy AI-modellt több adatközpontban, eltérő kapcsolat- és gyorsítótípusokkal párhuzamosan képeznek. Ennek a technológiának a fejlődése fontos, mert lehetővé teheti, hogy ne csak a hiperskálázott adatközpontok üzemeltetői tudjanak nagy modelleket fejleszteni.
Mit valósítottak meg?
A cég beszámolója szerint „egy körülbelül 32 milliárd paraméteres, mixture-of-experts jellegű modell 32×-es sparsity-val két klaszter között lett betanítva, amelyek nagyjából 9 000 mérföldre voltak egymástól.” Fontos részlet, hogy a két helyszín különböző gyorsítókat használt: az egyik oldalon GB300, a másikon B300 típusú GPU-k szerepeltek, eltérő párhuzamosítási sémákkal és különböző össz-batch méretekkel.
Konkrétan 160 B300 GPU-t alkalmaztak az Egyesült Államokban és 160 GB300 GPU-t Ázsiában. A szinkronizálás nem az egész modellt egyszerre végezte: „ahelyett, hogy az egész modellt egyszerre szinkronizáltuk volna, fragmentenként szinkronizáltuk, minden 50 lépéses ablakon belül eltolva.” Minden helyszín egy Distributed Shampoo variánst használt a tanításhoz.
Ez a demonstráció nem a legnagyobb elosztott tréning (ilyen például Covenant 72 milliárdos modellje), de figyelemre méltó, hogy a korábban visszafogott Core Automation most nyilvánosan jelzi érdeklődését az elosztott megoldások iránt. Ez utal arra, hogy az elosztott tréning releváns lehet a jövő nagy skálájú futtatásaihoz és hogy a nagy, folyamatosan elérhető számítási kapacitás hiánya korlátozza az újabb startupok lehetőségeit.
Az „orbita” mint jövőkép
A cég szerzői azt is megemlítik, hogy érdeklődésük részben szó szerint magasabb céleszközök felé mutat: elképzelésük szerint nagy skálájú AI-rendszerek fejlesztése egy nap akár az űrben, műholdakon keresztül is történhetne. Egy ambiciózus első lépésként felvetik, hogy egy kisebb modellt előképzhetnének néhány műholdon, és összehasonlíthatnák a földi alapvonallal; egy trillió-paraméteres „orbitális” futtatás azonban még jóval távolabb van a megvalósítástól.
Miért fontos ez?
A Core Automation szerint a gyorsított számítások telepítésének legnagyobb szűk keresztmetszete nem maga a chip, hanem az energiaellátás, a hálózati infrastruktúra és a helyigény: „A legfőbb korlát a gyorsított számítások telepítésében nem a chipek, hanem az energia, a hálózati berendezés és a terület.” A szerzők szerint sok szervezetet nem a nyers számítási kapacitás tart vissza, hanem az a képesség, hogy egységes, értékes tréningfuttatássá alakítsák a különböző számítási szigeteket.
Következtetések
A Core Automation kísérlete bemutatja, hogy technikailag lehetséges heterogén, földrajzilag távoli klaszterek összekapcsolása egyetlen tréning érdekében, és ezzel része lehet a megoldásnak arra a problémára, hogy a nagy, koncentrált számítási forrásokhoz való hozzáférés korlátozott. A cég felvetései az elosztott megoldások és akár az orbitális számítás jövőbeni szerepét hangsúlyozzák a nagyobb modellek elérésében.
(Forrás: Core Automation — The Hitchhiker’s Guide to Training on Compute Islands.)
