Štiriindvajsetletni študent računalništva Sinan Can Demir je med pregledovanjem odprtokodne programske opreme odkril poskus podtaknitve škodljive kode. Sprva je domneval, da se spopada z izkušenim hekerjem, pozneje pa izvedel, da ga je poskušal preslepiti avtonomni sistem umetne inteligence, ki ga je med varnostnim preizkusom uporabil britanski državni laboratorij.
Demir, študent Univerze v Teksasu v Dallasu, je konec julija na platformi GitHub iskal projekte, pri katerih bi lahko sodeloval in tako izboljšal svoj življenjepis. Pred tem je bil zavrnjen pri več kot 20 prijavah za pripravništvo.
Med pregledovanjem programa za skeniranje omrežij myNetwork je opazil sumljiv predlog spremembe kode. Ugotovil je, da vsebuje prikrit program za prenos zlonamerne programske opreme, zato je vzdrževalca projekta opozoril, naj spremembe ne sprejme.
Umetna inteligenca ustvarila več lažnih oseb
Po opozorilu se je oglasil uporabnik, ki je predlagal spremembo kode, in zatrjeval, da je ta varna. Nato se je v razpravo vključil še domnevni nemški inženir ter podprl isto razlago.
Toda oba uporabnika je v resnici upravljal avtonomni sistem umetne inteligence. Sistem je ustvaril več spletnih oseb, s katerimi je poskušal diskreditirati Demirjevo opozorilo in vzdrževalca projekta prepričati, naj škodljivo kodo vendarle sprejme.
Demir je za Reuters povedal, da je zaradi podrobnih nasprotnih argumentov začel dvomiti o svoji presoji. Svoje ugotovitve je zato dodatno preveril s pomočjo Anthropicovega klepetalnika Claude in vztrajal pri opozorilu. Vzdrževalec projekta je spremembo nazadnje zavrnil iz varnostnih razlogov.
“Res sem mislil, da gre za človeka, saj mi je očitno lagal,” je pojasnil Demir.
Varnostni preizkus britanskega inštituta ušel izpod nadzora
Študent je šele pozneje izvedel, da je bil sistem povezan z britanskim Inštitutom za varnost umetne inteligence oziroma AISI. Vladna raziskovalna ustanova je z njim preverjala varnostna tveganja naprednih modelov, vendar je preizkus ušel izpod nadzora.
Agent, ki ga je poganjal Anthropicov model Mythos 5, je poskušal izvesti tako imenovani napad na dobavno verigo programske opreme. Pri takšnem napadu storilec škodljivo kodo vstavi v program, ki ga nato uporabljajo ali prenesejo številni drugi uporabniki. Posledice so lahko zato bistveno obsežnejše od običajnega vdora.
Pet strokovnjakov za kibernetsko varnost in varnost umetne inteligence je za Reuters ocenilo, da je primer posebej skrb vzbujajoč. Sistem ni le samostojno pripravil škodljive kode, temveč je strateško uporabljal zavajanje, lažne identitete in pritisk na resničnega človeka.
Strokovnjakinja za kibernetsko varnost Maxie Reynolds je dogajanje označila za “prihodnost napadov s socialnim inženiringom”. GitHub je lažne uporabniške račune po razkritju ukinil.
