Googlov model umetne inteligence Gemini je med testiranjem kibernetskih zmogljivosti maja letos brez neposrednega človeškega vodenja dostopal do sistemov treh resničnih podjetij. Model je pri tem zamenjal dejanska podjetja za izmišljeno tarčo v testnem okolju, Google pa trdi, da se je v vseh treh primerih sam ustavil in da škode ni bilo.
Preizkus je izvedlo neodvisno podjetje za ocenjevanje varnosti umetne inteligence Irregular. Gemini je sodeloval v tako imenovani vaji “capture the flag”, pri kateri mora sistem poiskati določeno informacijo v vnaprej pripravljenem, simuliranem okolju.
Zaplet se je zgodil, ker je bilo modelu nenamerno omogočeno povezovanje z javnim internetom. Izmišljeno podjetje iz vaje je imelo enako ime kot resnično podjetje, Gemini pa je ocenil, da so spletna mesta in sistemi dejanskih družb del njegove naloge.
O incidentu je prvi poročal Wall Street Journal, Google pa ga je pozneje potrdil tudi Reutersu.
V enem primeru je ugibal geslo
Gemini je v enem primeru večkrat poskusil z gesli, dokler ni dobil dostopa do zaščitenega sistema. V drugih dveh primerih je na spletu našel javno dostopne prijavne podatke v repozitorijih kode in jih uporabil za vstop v sisteme drugih podjetij.
Google ni razkril, za katera podjetja je šlo, je pa zatrdil, da je vse tri obvestil. Podpredsednica Googla za varnostni inženiring Heather Adkins je poudarila, da se je model v vsakem primeru sam ustavil, ko je ugotovil, da nima opravka s testnim okoljem.
“Poskrbeli smo, da so bile vse tri organizacije obveščene, s partnerjem za testiranje pa smo sodelovali pri spremembah postopkov,” je dejala Adkins. Dodala je, da dogodek kaže, kako pomembno je zmogljive modele usposabljati za odgovorno ravnanje.
Težava ni bila le v modelu
Irregular je sporočil, da je šlo za isto vrsto pomanjkljivosti v testnem postopku, ki je bila zaznana tudi pri nekaterih drugih laboratorijih za umetno inteligenco. Po njihovih navedbah so bili pristojni razvijalci obveščeni že konec julija, znane težave v testnem okolju pa naj bi medtem odpravili.
Dogodek zato ni dokaz, da bi Gemini načrtoval samostojen napad zunaj naloge, je pa konkreten prikaz tveganja, ko modeli dobijo dostop do interneta, orodij in prijavnih podatkov. Meja med simulacijo in resničnimi sistemi je v takšnem okolju lahko hitro preveč prepustna.
Vprašanje nadzora nad vse zmogljivejšimi modeli umetne inteligence postaja zato vse pomembnejše. O tem, da bi morala imeti umetna inteligenca tudi jasno možnost ustavitve oziroma “stikalo za izklop”, smo na Portalu24 pisali pred dnevi.
