Egy új megközelítésben a megerősítéses tanulást (reinforcement learning, RL) alkalmazták arra, hogy a kvantumszámítógép folyamatosan, a futó számítás közben állítsa a vezérlőparamétereket az analóg drift ellensúlyozására. A módszert a Google Quantum AI és Google DeepMind szerzői mutatták be a Nature-ben megjelent „Reinforcement learning control of quantum error correction” című munkában; a gyakorlatban a Willow szupervezető processzoron és nagyléptékű szimulációkban vizsgálták. A kísérleti eredmények szerint az RL-vezérlés a mesterségesen bevitt drift mellett 3,5-szeresre javította a logikai stabilitást, további 20%-os csökkenést ért el a logikai hibaarányban még egy alapos, szakértői kalibráció után is, és rekordalacsony logikai hibaarányt produkált: kevesebb mint 1 hibát 1000 hibajavító ciklusonként a surface code esetén, illetve 1 hibát 100 ciklusonként a color code esetén.
Miért van szükség folyamatos kalibrációra?
A kvantumszámítógépek analóg eszközök: qubitjeiket analóg jelek (frekvencia, amplitúdó, fázis) hajtják, amelyek időben elmozdulhatnak (drift). A jelenlegi működési modellben a teljes számítást le kell állítani a vezérlők újrabeállításához, ami komoly korlátot jelent, ha egy feladatnak napokon vagy hónapokon át kell futnia. A folyamatos kalibráció azt jelenti, hogy a rendszer menet közben, megszakítás nélkül korrigálja a vezérlést, így hosszabb távon megtartható a kvantum információ integritása.
Hibakezelés és hibadetektálás a kvantumrendszerekben
A mérések a kvantumszuperpozíciók összeomlásához vezetnek, ezért közvetlen olvasás nem alkalmazható. A Quantum Error Correction (QEC) módszere redundanciát használva logikai qubiteket épít fizikai qubitekből, és paritásellenőrzésekkel digitális hibadetektálási eseményekké alakítja az analóg zajt. Ezek az események arra utalnak, hogy valahol a környezet-idő régióban hiba történt, de nem adják meg pontosan a hibás helyet. A hibák lokalizálásához és a szükséges korrekciók kiszámításához dekóderekre van szükség: például a valós adatokon tanított AlphaQubit neurális háló alapú dekóder és az algoritmikus Tesseract dekóder.
Miért nem elég a hagyományos fizikai modellezés?
A hagyományos kalibrációs technikák fizikai modellekre épülnek, amelyek sok területen érik el teljesítményük határát, amikor a valós rendszer viselkedése túl bonyolult vagy zajos a kézi leíráshoz. A kvantumvezérlésnél a gyártás és hardverfejlődés révén megjelenő komplex, nemtriviális hibamechanizmusok egyre kevésbé írhatók le pontosan egyszerű modellekkel. Ugyanúgy, ahogy a számítógépes látás és a fehérjekutatás áttörései adatvezérelt megközelítéssel érkeztek, a kvantumkalibrációnak is adatalapú tanulás felé kellett mozdulnia.
Az RL megközelítés: ne csak javítsd a hibát, tanulj belőle
A megerősítéses tanulás olyan ügynököt hoz létre, amely kipróbál viselkedéseket, megfigyeli a következményeket és ezek alapján javítja stratégiáját. A Google Research korábbi tapasztalatai alapján ez a módszer jól alkalmazható olyan problémákra, amelyeket nehéz explicit szabályokkal modellezni. A QEC már eleve folyamatosan generál hibadetektálási eseményeket; ebben a munkában ezt az adatfolyamot nemcsak dekódolásra és korrekcióra használták, hanem tanuló jelként az RL-ügynök számára. Így az ügynök menet közben monitorozta a hibajelzéseket, és dinamikusan módosította a vezérlőparamétereket, hogy ellensúlyozza a driftet és megelőzze további hibákat.
Kísérlet a Willow processzoron
A módszert a Willow szupervezető kvantumprocesszoron valósították meg. Szándékosan injektáltak kontrollparaméter-driftet, hogy mérni tudják az RL hatását. Eredmény: az RL-vezérlés 3,5-szeresére növelte a logikai stabilitást a hibajavító kód esetén, azaz jelentősen meghosszabbította azt az időtartamot, amely alatt a processzor megbízható kvantummemóriaként működik. Ráadásul, még a hagyományos, szakértő által végzett alapos kalibráció után az RL finombeállítása további 20%-os csökkentést ért el a logikai hibaarányban.
A teljes technológiai összehangolással a kísérlet rekordalacsony logikai hibaszinteket ért el: a surface code esetén kevesebb, mint egy logikai hiba ezer hibajavító ciklusonként; a color code esetén körülbelül egy logikai hiba száz ciklusonként.
Skálázhatóság: nagy rendszerek és szimulációk
A kutatók nagyléptékű numerikus szimulációkat futtattak több száz qubitre és tízezrekre rúgó vezérlőparaméter-számra, hogy megvizsgálják az RL megközelítés skálázhatóságát. A szimulációk megerősítették a várakozást: az RL-tréninghez szükséges iterációk (epókok) száma nem függ a rendszer méretétől, mivel a QEC hibadetektálások helyi érzékenysége biztosítja a tanuló jel lokalitását. Ugyanakkor a teljes potenciál kiaknázásához szorosabb integrációra van szükség a kvantumprocesszor és az ügynök közötti kommunikáció felgyorsításával és fejlettebb gépi tanulási módszerek alkalmazásával.
Mire jó ez a jövő kvantumszámítógépeinek?
A megközelítés paradigmaváltást kínál: olyan kvantumszámítógépet, amely nem áll le a kalibráció miatt, hanem folyamatosan tanul a hibákból és korrigálja önmagát. Ez különösen fontos, ha a hasznos kvantumalgoritmusok hosszú ideig futnak, és a teljes leállításos kalibráció elfogadhatatlan lenne.
Köszönetnyilvánítás
A munka a Google Quantum AI csapatánál a Google Research-en belül készült, együttműködésben a Google DeepMind csapataival. A szerzők megköszönik társszerzőik hozzájárulását, különösen a hardver, szoftver, kriogenika és elektronika felépítésében és karbantartásában nyújtott segítséget.
