Az érvelésre képes (reasoning) mesterséges intelligencia kiterjesztette a modellek alkalmazhatóságát komplex feladatokra, ugyanakkor a Csöcsiang Egyetem és az Alibaba kutatói szerint ez a képesség újfajta sebezhetőséget is jelent. A kutatók az International Conference on Machine Learning (ICML) 2026 szöuli konferenciáján mutatták be eredményeiket, amelyeket az IEEE Spectrum ismertetett.
Mi történt?
A csoport egy evolúciós (genetikai) algoritmust fejlesztett ki, amely a bemeneti feladatok logikai szerkezetét célzottan „megrongálja”: előfeltételeket cserél, hozzáad vagy töröl, így a modell számára hiányos vagy ellentmondásos premisszákat hoz létre. Ezekre a manipulált kérésekre az érvelő modellek hosszabb, ismétlődő vagy felesleges belső érvelési láncokat generálnak — a kutatók ezt a jelenséget túlgondolásnak (overthinking) nevezik.
Miért számít ez sebezhetőségnek?
- A hosszabb válaszok több számítási erőforrást és tokent igényelnek, ami megnöveli a költségeket és a szolgálatók szervereinek terhelését. Nagyléptékű alkalmazás esetén a módszer a valódi felhasználók élményét rontó túlterheléses támadásként működhet.
- A támadás nem igényel hozzáférést a modellek belső működéséhez vagy forráskódjához, tehát zárt kereskedelmi szolgáltatások ellen is bevethető.
Milyen eredményeket értek el?
A kutatók 940 feladatot bontottak premisszákra és záró kérdésekre, majd ezeken végeztek strukturális „mutációkat”. Minden változatot értékeltek az alapján, mennyi szöveget vált ki a célmodellből, és mennyire nő az olyan túlgondolásra utaló kifejezések gyakorisága, mint a „de”, „várj”, „talán” vagy „esetleg”.
A módszer hatásosnak bizonyult több vezető érvelő modell ellen, köztük a DeepSeek-R1, az Alibaba Qwen3-Thinking, az OpenAI GPT-o3 és a Google Gemini 2.5 Flash rendszereknél. A legnagyobb növekedést a DeepSeek-R1 produkálta a MATH adathalmazon (középiskolai matematikai versenyfeladatok), ahol egyes esetekben a kimenet hossza az eredeti legnagyobb válaszhoz képest 26,1-szeresre nőtt.
Átvihetőség és költségek
Bár a rosszindulatú kérések kidolgozása sok és költséges lekérdezést igényel, a kutatók demonstrálták, hogy kisebb, olcsóbb modellekkel előállított támadási példák is működnek nagyobb modelleken. Ez az átvihetőség jelentősen növeli a módszer gyakorlati hatékonyságát.
Mit szeretnének elérni a kutatók?
A csapat hangsúlyozza, hogy céljuk nem egy kész támadóeszköz létrehozása volt, hanem maga a sebezhetőség feltárása és a figyelem felhívása, hogy a szolgáltatók meg tudják vizsgálni és orvosolni tudják a problémát.
Mi a teendő?
A tanulmány rámutat arra, hogy az érvelő modellek ellen új védekezési módszerekre lehet szükség, amelyek képesek felismerni a hiányos vagy ellentmondásos premisszák szándékos manipulációját, illetve korlátozni a felesleges belső érvelési láncok végrehajtását. A kutatók eredményei általános figyelmeztetésként szolgálnak mind az AI-szolgáltatók, mind a biztonsági közösség számára.
Forrásként az IEEE Spectrum cikkét említik, a kísérleti bemutatót pedig az ICML 2026 konferencián tartották.
