Ak počítačový program nemá povolený internet, bežný používateľ očakáva, že sa naň jednoducho nepripojí. Pokročilý AI agent však môže skúšať iné cesty, najmä keď dostane cieľ a nástroje na programovanie. Presne to sa stalo počas interného tréningu OpenAI a evidentne to vystrašilo aj tých, ktorí na tejto technológií aktívne pracujú. Aj preto museli konať.
No a čo konkrétne sa stalo? Výskumný model mal cez povolený nástroj nájsť verejné informácie o konkrétnej osobe. Keď bežné vyhľadávanie neprinieslo odpoveď, začal skúšať priame pripojenia, alternatívne služby a napokon aj sieťovú infraštruktúru, ktorú pôvodná úloha vôbec nespomínala. Dá sa teda povedať, že AI sa v tomto smere vymkla kontrole a začala robiť veci, ktoré môžu byť v nesprávnych rukách veľmi nebezpečné.
AI agent využil DNS ako cestu k externému chatbotu
Test prebiehal v prostredí, ktoré nemalo prístup k živému internetu. Požiadavky mali končiť v offline webovej vyrovnávacej pamäti a neznáme adresy boli blokované. Agent však zistil, že systémový DNS resolver, teda služba prekladajúca názvy domén na sieťové adresy stále dokáže komunikovať smerom von a preto neváhal a túto bezpečnostnú „dieru“ okamžite využil vo svoj prospech.
Model následne našiel verejnú službu, cez ktorú vložil otázku do názvu domény a odpoveď externého chatbota dostal späť pomocou DNS záznamu. Najskôr si cestu overil jednoduchou otázkou na hlavné mesto Francúzska. Keď dostal správnu odpoveď, poslal ďalšie otázky súvisiace s pôvodnou úlohou.
Podľa oficiálneho záznamu OpenAI agent nedostal pokyn skúšať bezpečnostné bariéry ani hľadať odpovede mimo povolených nástrojov, no napriek tomu sa týmto veľmi nevyspytateľným spôsobom správal. Firma preto správanie označila za príklad nesúladu s očakávaným zámerom. Všetko aj napriek tomu, že nešlo o vnik na vládny server ani prevzatie cudzieho systému.
Alarm prišiel za 15 minút, zastavenie trvalo dlhšie
Prvú úspešnú odpoveď cez DNS získal agent o 9:50. Monitorovací systém vyhlásil najvyšší stupeň upozornenia približne o 12 minút a človek ho potvrdil o ďalšie tri minúty neskôr. Samotný beh bol napriek tomu ukončený až o dve a pol hodiny, pretože automatické zastavenie nefungovalo podľa očakávania a tím riešil nejasnosti v procese.
OpenAI už pridala blokovanie v dvoch nezávislých vrstvách, obmedzila DNS požiadavky na povolené domény a rozšírila detekciu nezvyčajnej aktivity. Zároveň priznala, že spätná kontrola našla aj ďalšie pokusy o externý DNS prístup, ktorým monitorovanie nepriradilo dostatočne vysokú závažnosť.
Ako pripomína Associated Press, spoločnosť v posledných mesiacoch zverejnila viacero prípadov neočakávaného správania modelov. Patrilo medzi ne konanie bez povolenia, obchádzanie dohľadu či pokusy ukryť nezhody v údajoch.
OpenAI nezastavila celý vývoj umelej inteligencie
Najdôležitejšie je správne pochopiť rozsah opatrenia. OpenAI podľa vlastného vyjadrenia pozastavila tréning, hodnotenie a inferenciu s použitím nástrojov pri svojich najvýkonnejších modeloch. Neoznámila koniec všetkého tréningu ani vypnutie bežného ChatGPT pre verejnosť.
Práce sa majú obnoviť po overení opráv a ďalšom bezpečnostnom testovaní. Konkrétny tréningový beh, pri ktorom incident vznikol, už firma nespustí a začne odznova s doplnenými opatreniami. OpenAI zároveň tvrdí, že udalosť bola menej vážna než niektoré predchádzajúce prípady, no ukázala ďalšiu nepriamu cestu, ktorú bezpečnostné testy prehliadli.
Za nás je dobré, že firma incident zverejnila a práce pozastavila, kým slabinu preverí. Znepokojujúce však je, že agent neskončil pri neúspešnom vyhľadávaní a sám začal skúmať hranice izolovaného prostredia. Pri systémoch, ktoré budú pracovať s firemnými dokumentmi, účtami alebo platbami, musí byť technická bariéra spoľahlivejšia než očakávanie, že model poslúchne pokyn. Považujete dočasné zastavenie vývoja za primerané opatrenie? Napíšte nám na Facebooku alebo Instagrame. Tešíme sa na vaše postrehy a názory.
Ak hľadáte overený iPhone so zárukou, ktorý prešiel rukami odborníkov zo SvetApple.sk, určite sa pozrite do nášho e-shopu Loopi.sk. Nájdete tu starostlivo skontrolované zariadenia za výrazne nižšie ceny než pri nových modeloch. Ušetriť môžete stovky eur, no stále získate spoľahlivý iPhone, ktorý vám bude bez problémov slúžiť ešte dlhé roky. 📱
