Xiaohongshu (RedNote) dots infrastruktúra csapata nyílt forrásúvá tette a BigMacet, egy multimodális tanítási rendszert, amely a gyakorlatban egy gyakori kompromisszumot kíván megszüntetni: vagy gyorsan tanítunk és az aktivációk kitöltik a GPU memóriát, vagy megtakarítunk memóriát, de a drága lapkák jelentős részét tétlenül hagyjuk. A BigMac megtartja a nagy nyelvi modell (LLM) feldolgozási csővezetékét, miközben a látásfeldolgozókat és média-generátorokat a cső köré szervezi.
Működés és mérések
A csapat bemutató eredményei szerint Qwen3-30B-A3B feladatokon a BigMac a tréning sebességét 1,08× és 1,9× közötti mértékben növelte, miközben a csúcsmemória-használat stabil maradt a nagyobb batch-méretek esetén. Ez azt jelenti, hogy a rendszer ahelyett, hogy több memóriát felhalmozna az aktivációk tárolására, ütemezési megoldásokkal csökkenti a GPU-k tétlenségét.
Miért számít ez a valóságban?
A multimodális AI-fejlesztés eddig gyakran járt infrastruktúra-pazarlással: laborok több GPU-t vásároltak, hogy kompenzálják a pipeline-ok miatt keletkező várakozási időt, és a pluszköltségeket végül a szolgáltatások díjaiba, például tokenárakba építették be. A BigMac a tétlenség és a túlzott aktivációtárolás problémáját ütemezési feladattá alakítja, így egyazon klaszterrel nagyobb multimodális modellek gyorsabban taníthatók, több munkaterhelés futhat, és csökkenhet az előállított tokenek mögötti infrastruktúra-költség.
Fő üzenet
A BigMac nem „találta fel” az olcsóbb intelligenciát önmagában; azt tette, hogy azonosította és mérsékli a GPU-használatban rejlő pazarlást, ami közvetett módon többszörös megtakarítást eredményezhet a tokenek előállítási költségében. Amennyiben a megközelítés beválik éles, kereskedelmi rendszerekben, a modellfejlesztés hatékonysága és a teljes infrastruktúra-költség is javulhat.
