Chatbot zvyčajne pôsobí ako neškodný pomocník na písanie e-mailov, vyhľadávanie informácií alebo programovanie. Rovnaké schopnosti však môžu výrazne urýchliť aj prácu ľudí, ktorí sa nepokúšajú vytvoriť aplikáciu, ale navádzanú raketu či škodlivý softvér. Nová bezpečnostná správa Anthropicu ukazuje, že nejde iba o hypotetický scenár.
Spoločnosť počas uplynulých mesiacov identifikovala a prerušila viacero operácií zneužívajúcich modely Claude. Aktéri pochádzali z Číny, Ruska, severného Jemenu, Iránu aj ďalších regiónov. AI používali pri vývoji konvenčných zbraní, sledovaní ľudí, propagande, kybernetických útokoch a biologickom výskume s možným vojenským využitím.
Claude pomáhal s raketou, ktorá sa dostala až do terénu
Najvážnejší opísaný prípad sa týkal skupiny pôsobiacej v severnom Jemene. Podľa oficiálnej správy spoločnosti Anthropic využívala viacero inštancií Claude Code ako malý tím softvérových inžinierov. Jedna písala kód, ďalšia vyhľadávala informácie a tretia výsledky kontrolovala.
Skupina pracovala na riadiacom softvéri pre navádzanú raketu a ďalších podobných projektoch. Požiadavky rozdeľovala medzi množstvo konverzácií a skutočný cieľ ukrývala, aby obišla ochranné mechanizmy. Tie veľkú časť komunikácie zastavili, ale nie všetko.
Aktéri napokon uskutočnili skúšobný odpal rakety. Agentúra AP upozorňuje, že test zrejme zlyhal a skupina sa následne vrátila k chatbotu, aby jej pomohol zistiť príčinu. Anthropic nemá dôkaz, že sa útočníkom podarilo nasadiť plne funkčnú zbraň. Po odhalení zablokoval prepojené účty a informácie odovzdal príslušným partnerom.
Správa opisuje celkovo šesť operácií spojených s konvenčnými zbraňami. Tri mali pôvod v Číne, dve v Rusku a jedna v Jemene. Zahŕňali softvér pre roje dronov, elektronický boj, potláčanie protivzdušnej obrany, získavanie informácií o dodávateľoch aj ďalšie zbraňové systémy.
Citlivý biologický výskum sa posudzuje mimoriadne ťažko
Anthropic zaznamenal aj päť prípadov, v ktorých mohlo použitie AI podporovať vývoj biologických zbraní. Objavili sa požiadavky spojené s vírusom chikungunya, vtáčou chrípkou, skupinou vírusov zahŕňajúcou kiahne, ale aj toxínmi. Neznamená to, že Claude vytvoril nový vírus alebo že niekto pomocou neho nákazu skutočne rozšíril.
Problémom je dvojité využitie vedeckých poznatkov. Rovnaký výskum môže viesť k lieku, pochopeniu prenosu ochorenia alebo k nebezpečnému zvýšeniu schopností patogénu. Automatický filter preto nemusí spoľahlivo rozpoznať zámer odborníka, ktorý formuluje požiadavku ako legitímnu vedeckú prácu.
Firma tvrdí, že novšie modely vybavila prísnejšou ochranou biologických tém. Zároveň však otvorene priznáva, že samotné klasifikátory nestačia. Pri najcitlivejších schopnostiach preto považuje za bezpečnejší prístup cez programy s overenými používateľmi než úplne otvorené poskytovanie každému.
AI zlacňuje schopnosti, ktoré kedysi vyžadovali expertov
Najznepokojivejší nie je fakt, že chatbot pozná verejné informácie o zbraniach. Dôležité je, že dokáže písať kód, odstraňovať chyby, analyzovať dáta a rozdeľovať komplikovaný projekt na menšie kroky. Anthropic pri vlastných testoch zistil, že modely už pri niektorých vojenských a spravodajských úlohách zvládajú prácu, ktorá bola kedysi dostupná iba úzkej skupine školených odborníkov.
Nie všetky incidenty pritom súviseli priamo so zbraňami. Claude mal byť zneužívaný aj na sledovanie politických oponentov a etnických menšín, krádeže prístupových údajov či propagandu vydávanú za nezávislé spravodajstvo. Riziko teda nespočíva v jedinom katastrofickom scenári, ale v postupnom znižovaní ceny a náročnosti škodlivých operácií.
Za nás je pozitívne, že Anthropic prípady zverejnil a problematické účty zablokoval. Jeho správa však zároveň dokazuje, že ochrana reaguje aj spätne, keď už útočníci časť práce vykonali. Pravidelné nezávislé audity a výmena informácií medzi firmami a štátmi preto budú rovnako dôležité ako samotné filtre. Viac o označovaní obsahu a bezpečnostných opatreniach firmy sme písali v článku Claude označí texty NEVIDITEĽNÝM vodoznakom. Ako?.
Mali by byť najvýkonnejšie AI modely dostupné iba overeným používateľom, alebo by to príliš obmedzilo užitočný výskum? Napíšte nám svoj názor do komentára na Facebooku alebo Instagrame.
Ak hľadáte overený iPhone so zárukou, ktorý prešiel rukami odborníkov zo SvetApple.sk, určite sa pozrite do nášho e-shopu Loopi.sk. Nájdete tu starostlivo skontrolované zariadenia za výrazne nižšie ceny než pri nových modeloch. 📱
