A mesterséges intelligencia (MI) körüli aggódás két irányra osztható: az egyik az a sci-fi‑szerű képzet, hogy egyszer majd egy szuperintelligencia „elszabadul” és az emberiséget veszélyezteti; a másik pedig a technológiát felhasználó rosszindulatú szereplők, illetve a rendszerek megbízhatatlansága okozta, reálisabb problémák. Az utóbbiakra jelenleg több bizonyíték és konkrét kockázat utal.
Miért kezdődött el a nagyobb riadalom?
A pánikot táplálja, hogy az MI-fejlesztés rendkívül gyorsan halad. 2012-ben jelent meg az AlexNet — egy új idegháló-architektúra, amely megalapozta a deep learning térnyerését; ez az irányzat mára a legtöbb korszerű MI-innováció (például arcfelismerés és generatív modellek) alapja. Ugyanakkor a technológia gyorstempójú fejlődése mellett sorra bukkannak fel olyan biztonsági incidensek és feltételezett visszaélések, amelyek Blackout-hoz hasonló kockázatokat juttatnak sokak eszébe.
A nagy MI-szereplők — köztük az OpenAI, az Anthropic, az Amazon Web Services és a Microsoft — több mint száz szervezettel egyetemben nyílt levélben figyelmeztettek, hogy hónapok maradhatnak felkészülni az MI-vel segített kibertámadások új hullámára. Ugyanakkor vannak kutatók és egykori céges dolgozók (például Jacob Coxon), akik a rekurzív önfejlesztés és az illeszkedési (alignment) problémák alapján sokkal sötétebb, egzisztenciális kockázatokat jósolnak; egyesek szerint több mint 10 százalék az esélye annak, hogy egy következő évtizedbeli katasztrófa az emberiség kipusztulásához vezethet. Ezen állítások megbízhatóságát azonban sokan vitatják: nincs egységes tudományos keretrendszer az ilyen valószínűségek kiszámítására, és a nyilatkozók prognózisai jelentősen eltérnek (az Nvidia vezére, Jensen Huang például 0 százalékra tette az apokalipszis esélyét 2030-ra).
Konkrét, közeljövőbeli veszélyforrások
A szakirodalom és a vállalati jelentések inkább azokra a közvetlen kockázatokra hívják fel a figyelmet, amelyek mostanra reálisabbnak tűnnek:
-
Biofelhasználás: az Anthropic jelentése szerint rosszindulatú kutatók és csoportok már megkísérelték modeljeik használatát vírusok vagy baktériumok módosítására; a vállalat öt konkrét esetet említ. A Stanford kutatói 2023-ban MI segítségével terveztek 300 potenciális bakteriofág‑kandidátust, amelyek közül 16 valóban képes volt E. coli‑t megfertőzni — ez megmutatja a technológia potenciális alkalmazhatóságát biológiában. Ugyanakkor a szakértők hangsúlyozzák: a kórokozó „megtervezése” csak egy rész a folyamatból; laborfelszerelés, alapanyagok, szakértelem és automatizált laborok is kellenek a valódi fegyveres alkalmazáshoz, és ilyen teljesen automatizált rendszerek ma még nincsenek.
-
Kibertámadások: az MI már most felgyorsítja a sebezhetőségek felismerését, kódgenerálást és támadó eszközök előállítását. Ha a kritikus infrastruktúrák védelme nem tart lépést a támadók által használt technológiákkal, egyes rendszerek (energiaellátás, vezérlő rendszerek) különösen veszélyeztetettek. Az egyik fontos javaslat a kiberbiztonság mellett az olyan nem kiberes intézkedések megerősítése, mint a rendszerek kézi üzemeltetésének képessége vagy az infrastruktúra túlzott összekapcsoltságának mérséklése.
-
Birodalmakat megingató dezinformáció: generatív MI-vel könnyen létrehozhatók hihető hamis képek, hangfelvételek és szövegek. 2024 januárjában több ezer amerikai szavazót érintő, Joe Bidennek tulajdonított hamis telefonhívás terjedt el — a deepfake benne MI-vel készült, a készítő végül 6 millió dollár büntetést kapott. Az ENSZ Globális Kommunikációs Főosztálya is figyelmeztetett, hogy az MI‑vezérelt tartalomgyártás növeli a digitális információs rendszer sérülékenységét, és alááshatja a független újságírás gazdasági alapjait.
-
Hibás MI‑generált döntések: több jel arra mutat, hogy egyes intézmények kritikus döntései torzulhatnak MI‑alapú elemzések hibái miatt; egy MI‑által generált jelentés téves információja az amerikai hadsereg közel egy kínai hajó megszállásához vezetett idén — ez is azt illusztrálja, hogy az MI alacsony megbízhatósága kritikus helyzetekben súlyos következményekkel járhat.
A pánikpolitika és a narratíva gazdasági oldala
Vannak, akik a „világvége‑hangulatot” stratégiai PR‑nak vagy üzleti érdekű kommunikációnak tartják. Kritikusok szerint a nagy MI‑cégek és egyes befektetők számára előnyös lehet a szabályozási válságnarratíva: ha a piacot szabályozzák, azt a szereplők befolyásolhatják, amikor a szabályok születnek. Steve Eisman és mások azt állítják, hogy a hangos apokalipszis‑retorika részben a tőkeacél és piaci pozíciók védelmét szolgálhatja.
Ugyanakkor több szereplő — például Jack Clark az Anthropictól — azt hangsúlyozza, hogy a kormányoknak akkor érdemes szabályozni, amikor a piac még kis számú meghatározó szereplőre koncentrál, mert így hatékonyabb, balesetmegelőző szabályozás hozható.
Mit érdemes szem előtt tartani?
-
A jelenlegi tudás alapján a legtöbb független kutató szerint nagyon kis a valószínűsége annak, hogy a technológia azonnal, a közeljövőben létrehozzon egy önfejlesztő, emberiséget kiirtó szuperintelligenciát. Ugyanakkor a technológia gyors fejlődése miatt a rosszindulatú felhasználás és a hibából fakadó súlyos következmények reális és sürgős problémák.
-
A kockázatok mérsékléséhez célzott intézkedésekre van szükség: kritikus infrastruktúra megerősítése, biobiztonsági szabályozások frissítése, a dezinformáció elleni eszközök fejlesztése és az MI‑alapú döntések emberi felügyeletének biztosítása.
-
Fontos a transzparencia: a fejlesztőcégek zárt ajtók mögötti tevékenységeiről és a biztonsági incidensekről szóló nyilvános kommunikációtól függ, hogy mennyire lehet hitelesen mérni a valódi kockázatokat.
Összességében: az apokaliptikus víziók médiavonzóak és részben politikai vagy üzleti szerepet is játszanak a diskurzusban, de a szakmai közösség nagyobb figyelmet fordít a közeljövő jól azonosítható és megelőzhető veszélyeire — kibertámadások, biovisszaélések, megbízhatatlan MI‑alapú döntések és dezinformáció –, amelyek ellen léteznek gyakorlati, szabályozási és technikai válaszok.
Források és szereplők, akiket a cikk említ
OpenAI, Anthropic, Amazon Web Services, Microsoft, Nvidia, Jacob Coxon, Jensen Huang, Jacob Aron (New Scientist), Stanford Egyetem kutatói, Heidy Khlaaf (AI Now Institute), AI Futures Project, Science és Nature cikkek, ENSZ Globális Kommunikációs Főosztálya, valamint az említett 2012‑es AlexNet áttörés.
body_en:
AI doomsday scenarios and realistic near-term risks
Concerns about artificial intelligence fall into two broad categories: dramatic, science‑fiction style fears about a future superintelligence that escapes control, and more immediate, evidence‑based risks arising from misuse, system unreliability, and the weaponization of AI. Current evidence and recent incidents make the latter group more pressing.
Why has alarm increased?
The pace of AI development has accelerated public attention. In 2012 AlexNet introduced a neural‑network architecture that helped spark the modern deep learning revolution; that approach now underpins many AI innovations, from smartphone face recognition to the generative models behind systems like ChatGPT. As capabilities have grown, so have reports of security incidents and potential misuse, which prompt comparisons to blackout or collapse scenarios.
Major AI actors — including OpenAI, Anthropic, Amazon Web Services and Microsoft — joined over a hundred other organizations in an open letter warning that there may be only months to prepare for a new wave of cyberattacks enabled by AI. At the same time, some researchers and former industry employees (for example Jacob Coxon) warn about existential risks tied to recursive self‑improvement and alignment failures; a few have estimated more than a 10 percent chance that AI could cause human extinction within the next decade. Those probability claims are highly contested, however: there is no agreed scientific framework to compute such odds, and public estimates vary widely. Jensen Huang, CEO of Nvidia, has put the chance of an apocalypse at 0 percent by 2030.
Concrete near‑term threats
Experts and company reports point to several realistic risks in the nearer term:
-
Biological misuse: Anthropic’s report warns that malicious actors have tried to use high‑performance models for designing rockets and bombs, creating lethal pathogens, and surveillance or influence operations; Anthropic describes five specific cases involving attempts to modify viruses or bacteria with the Claude model. Researchers at Stanford used AI to design 300 candidate bacteriophages and identified 16 that could infect E. coli — a demonstration of capability. Still, specialists stress that designing a pathogen is only one step: obtaining materials, equipment, specialized labs and expertise, plus highly automated laboratory systems, are required to turn a design into an operational weapon; such fully automated capacity does not currently exist.
-
Cyberattacks: AI already accelerates vulnerability discovery, code generation, and the creation of malicious tools. Much critical infrastructure relies on software that may not be designed to respond quickly to rapidly evolving attack techniques. Defenses will depend on hardening infrastructure, ensuring manual fallback options, and reducing unnecessary interconnections.
-
Disinformation: generative AI makes it cheaper and faster to produce believable fake images, audio and text. In January 2024, thousands of U.S. voters received robocalls falsely attributed to President Joe Biden; the calls used an AI‑generated voice and the creator was fined $6 million. The UN’s Global Communications Department has warned that uncontrolled AI use can amplify risks across the digital information ecosystem, and advertising funding can help spread deceptive content while undermining independent journalism.
-
Faulty AI‑generated intelligence: errors in AI‑produced analyses can have real geopolitical consequences. Earlier this year an AI‑generated report with incorrect information almost led the U.S. military to seize a Chinese ship, illustrating the danger of relying on unvetted AI outputs in critical decisions.
The politics and economics of apocalypse narratives
Some observers argue that apocalyptic language can serve PR and strategic interests. Critics claim that high‑profile warnings benefit incumbent firms and investors who might prefer regulation that entrenches established players. Steve Eisman and others suggest that promoting catastrophic scenarios can help shape future rules in ways favorable to large companies.
At the same time, people such as Jack Clark (Anthropic co‑founder) argue governments should act early — while the market has relatively few dominant players — to create rules that reduce accidents and prevent loss of control.
What should be done?
-
While most independent researchers assess the immediate probability of a runaway superintelligence as low based on current technology, AI’s rapid advance makes misuse and failure a real and urgent problem.
-
Risk reduction requires focused measures: strengthening critical infrastructure defenses, updating biosecurity regulations, improving tools against disinformation, and ensuring human oversight of AI systems used in high‑stakes contexts.
-
Transparency matters: because companies control what they disclose about capabilities and incidents, public assessment of risks is hampered. Better reporting and independent evaluation would improve understanding and policy responses.
In sum, apocalyptic visions are attention‑grabbing and sometimes play a political or commercial role in the broader discussion, but many researchers prioritize preventing and mitigating concrete near‑term harms — cyberattacks, biological misuse, unreliable AI outputs and the spread of AI‑generated disinformation — for which practical and regulatory responses exist.
Actors and sources referenced in this piece
OpenAI, Anthropic, Amazon Web Services, Microsoft, Nvidia, Jacob Coxon, Jensen Huang, Jacob Aron (New Scientist), Stanford researchers, Heidy Khlaaf (AI Now Institute), AI Futures Project, articles in Science and Nature, the UN Global Communications Department, and the 2012 AlexNet breakthrough.
