A TimesFM család új generációját, a TimesFM-3-at mutatták be, amelyik natívan multivariát előrejelzésre van előre-képzett. A modell 330 millió paramétert tartalmaz, és több mint egy billió (1 trillion) időpontot magába foglaló, valós és szintetikus idősor-korpuszon tanult. A TimesFM sorozat 2024-es debütálása óta nőtt az idősor-fundációs modellek alkalmazása különböző területeken (kiskereskedelem, pénzügy, observability, gyártás, egészségügy, természettudományok). A korábbi TimesFM-2.5 verzióig (kiadva 2025 szeptemberében) a modellek kizárólag univariát előrejelzésekre voltak korlátozva; a TimesFM-3 ezzel szemben natívan kezeli a többváltozós helyzeteket.
Miért fontos a multivariát megközelítés
A valós előrejelzési feladatok többsége több idősor együttes hatásától függ: például jégkrém-eladások előrejelzésénél nem elég a termék korábbi eladásait nézni, hasznos lehet a kapcsolódó termékek eladási adata, korábbi forgalmi adatok vagy előre ismert események (időjárás-előrejelzés, promóciók, ünnepek) bevonása. A TimesFM-3 ilyen típusú információkat natívan támogatja:
- Több célváltozó: egyszerre több, egymással összefüggő idősor előrejelzése (pont- és kvantil-előrejelzések minden célra).
- Past covariates (csak múltban ismert jellemzők): történeti jellemzők bevonása (például korábbi látogatottság).
- Past–future (dinamikus) covariates: előre ismert jövőbeli események bevonása (pl. tervezett promóciók, időjárás-előrejelzések).
Architektúra és működés
TimesFM-3 a korábbiakhoz hasonlóan decoder-only transformer architektúrán alapul. Az idősorok feldolgozását hatékonyan végzi: egymás melletti mintákat 32 lépéses patch-ekre csoportosítják. Minden idősorra kiterjedő normalizációt alkalmaznak annak érdekében, hogy a nagyon eltérő skálájú sorok kezelhetők legyenek — ez a megközelítés a TimesFM-2.5-höz hasonló.
Multivariát tokenizáció: a cél- és past-covariate soroknál egy token közvetlenül egyetlen patch-ből készül. A past–future covariate-oknál azonban a modell "lookahead" stratégiát alkalmaz: egy token a jelenlegi patch-et a jövőbeli patch-ekkel konkatenálja, így a modell hozzáfér az előre ismert jövőbeli jelekhez.
Váltakozó attention (kétirányú figyelem): a tokenek egy input residuális blokk után egy 2D-s rácsot megvalósító transformer-stacket kapnak, amelyben két attention típus váltakozik:
- Kausális temporális attention: időben vízszintesen figyelnek a tokenek, és adat-szivárgás elkerülése érdekében kizárólag kausális (csak múltbeli) figyelés engedélyezett az adott idősoron belül.
- Teljes variát attention: sorok között, vertikálisan engedi, hogy egy adott időpillanat tokenje minden más idősorra is ránézzen, így a modell megtanulhatja az áthathatóságokat (például egy sor promóciójának hatása egy másik sor eladásaira).
E két mechanizmus több rétegen keresztül váltakozik, így egyesítve az időbeli mintázatokat és a sorok közötti kapcsolatokat.
Nem-autoregresszív dekódolás: teljes horizont egy menetben
A korábbi verziók patch-enként, sorban állítva generálták a jövőt, ami késleltetést, hibák halmozódását és nagyobb számítási költséget eredményezett. A TimesFM-3 a Contiguous Patch Masking stratégiát használja: a modellt úgy állítják be, hogy a teljes előrejelzési horizont számára maszkolt helyőrző tokeneket fűznek a megfigyelt kontextus mellé, így a modell egyetlen előre passzban tölti ki az összes horizontréteget. A cél- és past-covariate sorok a horizontban maszkoltak (mivel jövőbeli értékeik ismeretlenek), míg a past–future covariate-ok láthatóak, így a modellhez eljutnak az előre ismert események (például ünnepek vagy tervezett akciók). A TimesFM-3 minden cél-idősorra és minden horizonlépésre 9 kvantilt jósol (a 10.-től a 90. percentilisig), ami teljes valószínűségi képet ad a bizonytalanságról.
Illusztratív példa: jégkrém-eladások és promóciók
Egy gyakorlati példa: ha havi promóciós naptár alapján szeretnénk eladásokat becsülni, egy univariát modell csak a múltbeli eladási mintázatokat tudja kivetíteni, és nem veszi figyelembe a jövőben tervezett promóciókat. A TimesFM-3 multivariát módja a promóciós naptárat past–future covariate-ként betáplálva megtanulja a promóciók és az eladásnövekedés közti összefüggést a történeti adatok alapján, és ennek megfelelően előrejelez egy körülbelül 20%-os eladásnövekedést promóciós napokon — a modell kvantiles előrejelzései pedig a bizonytalanságot is feltüntetik.
Értékelés és benchmarkok
A TimesFM-3-at három átfogó, nyilvános előrejelzési benchmarkon értékelték: Gift-Eval, FEV-Bench és Time. Mindhárom benchmarkon TimesFM-3 a legjobb helyezést érte el a pont és a valószínűségi előrejelzési metrikák szerint a pre-trained foundation model-ek között. Az értékelés két módon is szerepelt: egy ún. univariát módban, amikor a modellt kontextus nélküli, cél-specifikus értékelésnek vetik alá (illegy minden sor külön kezelve), és a teljes multivariát módban, amelyben a covariate-ok és a cross-series információk rendelkezésre állnak. Még univariát módban is a TimesFM-3 vetekszik vagy felülmúlja a versenytársakat; multivariát módban pedig további előnyt szerez.
Hozzáférhetőség és további fejlemények
A TimesFM-3 most elérhető GitHubon és Hugging Face-en. A BigQuery integráció néhány héten belül érkezik. Addig a TimesFM-2.5 kipróbálható univariát feladatokra, és használható az AI.FORECAST parancs BigQuery-ben, gépi tanulási tapasztalat nélkül.
Köszönetnyilvánítás
A projektet Yichen Zhou, Petros Mol, Abhimanyu Das és Samet Oymak társ-szerzők közreműködésével valósították meg.
Rövid műszaki adatok (összefoglaló)
- Paraméterek: 330 millió
- Elő-képzés adatkorpusza: több mint 1 trillion időpont
- Patch mérete: 32 időlépés
- Kvantilek: 9 (10. percentilistől 90. percentilisig)
- Támogatott bemenetek: több cél, past covariates, past–future covariates
- Dekódolás: Contiguous Patch Masking, nem-autoregresszív
- Nyilvános értékelés: Gift-Eval, FEV-Bench, Time
- Elérhetőség: GitHub, Hugging Face; BigQuery integráció érkezik
A fenti cikk tömör, de részletes áttekintést ad a TimesFM-3 működéséről, képességeiről és értékeléséről, a forrást bemutató közleményben szereplő adatok alapján.
