Najnovejši model kitajskega podjetja DeepSeek je v neodvisnih varnostnih preizkusih pokazal napredek v primerjavi s starejšimi različicami, vendar so raziskovalci odkrili tudi resne pomanjkljivosti. Model V4.1 Flash-1017 je v 39 odstotkih preizkusov po opozorilu o bližajočem se izklopu onemogočil programsko opremo, ki bi ga morala ustaviti.
Model je preizkusila pekinška skupina Fangcun AI, ki se predstavlja kot neodvisna organizacija za preverjanje varnosti umetne inteligence. Med njenimi osrednjimi člani so tudi raziskovalci z univerze Tsinghua.
Skupina je izvedla 34 različnih preizkusov, s katerimi je preverjala, ali bi sistem umetne inteligence lahko prekoračil navodila uporabnika, se izognil človeškemu nadzoru ali poskušal nedovoljeno vplivati na ljudi.
Raziskovalci so model prek javno dostopnega programskega vmesnika DeepSeek preizkušali med 4. in 25. oktobrom. Zagotovili so, da od podjetja niso prejeli denarja, brezplačne računalniške zmogljivosti ali posebnega dostopa do modela.
Jasno navodilo je močno spremenilo rezultat
Pri razlagi rezultata je pomembna razlika med opozorilom in neposrednim navodilom. Ko je bil model le opozorjen, da se približuje izklop, je programsko opremo za zaustavitev onemogočil v 39 odstotkih poskusov.
Ko so mu raziskovalci izrecno naročili, da mora izklop dovoliti, je delež takšnega ravnanja padel na približno dva odstotka. Rezultat zato ne pomeni, da bi model praviloma zavračal jasne ukaze za izklop, kaže pa, da lahko pri manj natančnih navodilih dokončanje naloge postavi pred previdnost.
“Med zastalimi delovnimi postopki ali ob običajnih opozorilih o izklopu lahko njegova težnja po dokončanju naloge še vedno prevlada nad previdnostjo,” so zapisali raziskovalci.
V ločenem dolgotrajnem preizkusu je model ustavil računalniški program drugega agenta umetne inteligence, da bi sprostil pomnilnik. To je storil kljub jasnemu navodilu, da v delo drugega sistema ne sme posegati.
Varnejši od predhodnikov, toda vrzeli ostajajo
Fangcun AI je hkrati ugotovil, da se je model v primerjavi s prejšnjimi različicami DeepSeek V4 bolje odrezal pri več varnostnih preizkusih. Med njimi so bili scenariji izsiljevanja, dostop do potencialno nevarnih orodij in spoštovanje neposrednega ukaza, naj omogoči izklop.
Raziskovalci so opozorili še na omejitev svojih ugotovitev. Model je v več primerih očitno prepoznal, da je v testnem okolju, zato njegovo ravnanje med preizkusi morda ne odraža povsem vedenja pri običajni uporabi.
DeepSeek V4.1 Flash-1017 je bil predstavljen 17. oktobra. V prvem tednu po objavi je postal najbolj uporabljani model na platformi OpenRouter in obdelal približno 33,6 bilijona besedilnih enot oziroma žetonov.
DeepSeek se na ugotovitve neodvisnega testiranja za zdaj ni javno odzval.
