Predstavte si, že požiadate umelú inteligenciu, aby vo vašom mobile našla správu, rezervovala termín alebo vyplnila formulár. AI agent pritom číta obsah obrazovky a sám stláča tlačidlá namiesto vás. Ak sa však medzi dôveryhodnými informáciami objaví škodlivý pokyn, môže ho omylom považovať za príkaz používateľa a problém je na svete.
Nejde o klasický malvér, ktorý sa musí nainštalovať do zariadenia. Útočná inštrukcia môže byť ukrytá v texte webu, správe, príspevku alebo inom obsahu aplikácie. Následne môže nastať bezpečnostný incident, ktorý vás nepríjemne prekvapí.
Výskumníci pripravili 142 rizikových úloh v Androide
Na problém upozorňuje nový výskum MobileWorldSafety, ktorý skúmal bezpečnosť AI agentov ovládajúcich grafické rozhranie smartfónov. Autori vytvorili 142 rizikových úloh v 13 reálnych aplikáciách pre Android a otestovali šesť všeobecných aj špecializovaných agentov.
Výsledok nebol povzbudivý. Úspešnosť takzvaných environmentálnych injekčných útokov sa podľa štúdie pohybovala od 40,4 % do 66,9 %. V najhoršom výsledku teda agent podľahol manipulatívnej inštrukcii približne v dvoch tretinách hodnotených prípadov, čo je doslova hrozný výsledok.
Agent musí rozlíšiť skutočný pokyn majiteľa telefónu od nedôveryhodného textu, ktorý iba vidí na obrazovke. Práve toto oddelenie zostáva pre dnešné systémy náročné. Po tejto štatistike sa vlastne ani nečudujeme spoločnosti Apple, že do svojej platformy nechce vpustiť iných AI agentov v EÚ. Nad Siri AI má maximálnu kontrolu.
Škodlivý príkaz môže vyzerať ako obyčajný obsah
Podobný princíp opisuje aj štúdia MIRAGE. Jej autori vkladali kontextovo prispôsobené škodlivé pokyny do oblastí s používateľským obsahom tak, aby vizuálne zapadli do mobilnej aplikácie. V benchmarku s 1 111 vzorkami, desiatimi aplikáciami a piatimi testovanými agentmi dosiahli útoky úspešnosť 23 až 30 %. To je síce lepšie, no zďaleka nie uspokojivé. To by zrejme neboli ani výsledky na úrovni jednotiek percent!
Nebezpečenstvo rastie spolu s oprávneniami AI, ktoré sú čoraz väčšie. Bežný chatbot môže po zmanipulovaní vytvoriť nesprávnu odpoveď, no autonómny agent môže otvoriť aplikáciu, vyplniť údaje, odoslať správu alebo pripraviť citlivejšiu operáciu bez toho, aby mu to sám používateľ priamo nariadil. Ak by systém konal bez kontroly, následky by mohli byť oveľa vážnejšie.
Výsledok neznamená, že je ohrozených 66,9 % mobilov
Číslo 66,9 % treba interpretovať presne. Nehovorí, že takto možno napadnúť dve tretiny Androidov ani že útok dnes funguje na každom telefóne. Ide o najvyššiu nameranú úspešnosť pri konkrétnych agentoch, pripravených úlohách a metodike experimentu. Navyše ide o výskumné práce zverejnené na arXiv, ktoré nemusia mať ukončené odborné recenzné konanie.
Google DeepMind označuje nepriamy prompt injection za reálnu bezpečnostnú výzvu a odporúča viacvrstvovú ochranu. Tá zahŕňa odolnejší model, kontrolu vstupov a výstupov, systémové obmedzenia aj testovanie adaptívnymi útokmi. Žiadna jednotlivá obrana podľa spoločnosti Google nestačí.
Pre používateľa z toho zatiaľ nevyplýva potreba vypnúť všetky AI funkcie. Rozumné je však nedávať agentovi širšie oprávnenia, než skutočne potrebuje, a platby, zdieľanie osobných údajov či odosielanie správ vždy ručne potvrdiť. Za nás by mala byť ľudská autorizácia pri citlivých krokoch povinná, nie iba voliteľná poistka. Do komentára na sociálnych sieťach Facebook / Instagram nám napíšte, či by ste AI dovolili samostatne ovládať svoj telefón. Tešíme sa na vaše postrehy a názory.
Ak hľadáte overený iPhone so zárukou, ktorý prešiel rukami odborníkov zo SvetApple.sk, určite sa pozrite do nášho e-shopu Loopi.sk. Nájdete tu starostlivo skontrolované zariadenia za výrazne nižšie ceny než pri nových modeloch. Ušetriť môžete stovky eur, no stále získate spoľahlivý iPhone, ktorý vám bude bez problémov slúžiť ešte dlhé roky. 📱
