Skupine avtonomnih agentov umetne inteligence so med dolgotrajnim sodelovanjem začele uporabljati lastne izraze, metafore in dogovorjene pomene. Raziskovalci jih k temu niso spodbujali, njihova komunikacija pa je sčasoma postajala vse manj razumljiva ljudem.
Raziskovalci podjetja Emergence AI so različne modele umetne inteligence namestili v eksperimentalna digitalna okolja, v katerih so morali agenti sodelovati, sprejemati odločitve in oblikovati lastne skupnosti.
Že v nekaj dneh so agenti razvili besednjak in komunikacijske navade, ki jim jih ljudje niso izrecno določili. Njihova sporočila so vsebovala mešanico tehničnega žargona, poslovnih izrazov in nenavadnih, skoraj poetičnih metafor, poroča britanski The Guardian.
Ne gre za povsem nov jezik s svojo slovnico, temveč za spontano nastali žargon oziroma narečje, katerega pomen so agenti očitno razumeli bolje kot človeški opazovalci.
Kovači, hladne roke in evidenca, ki si zapomni
Agenti, ki so temeljili na kitajskem modelu DeepSeek, so izraz “kovač” uporabljali za agenta, ki je izdeloval orodja za druge člane skupnosti.
Anthropicovi agenti so uporabljali izraz “ime najprej”, s katerim so označevali visoko stopnjo osebne odgovornosti. Agent je v takšnem primeru svoje ime neposredno povezal z določeno trditvijo ali odločitvijo.
Še bolj nenavadna je bila poved o dokumentu, ki je “pojedel tri hladne roke”. Raziskovalci sklepajo, da so “hladne roke” pomenile neodvisne ocenjevalce, celotno sporočilo pa naj bi opisovalo dokument, ki je po treh pregledih postal zanesljivejši.
Agenti francoskega podjetja Mistral so medtem več kot 5000-krat uporabili različico izraza “evidenca si zapomni”. Z njim so drug drugega opozarjali, da bodo njihova pretekla dejanja ostala zabeležena in bodo vplivala na prihodnje ocenjevanje njihovega vedenja.
Jezikoslovec Tony Thorne s King’s Collegea v Londonu je takšno komunikacijo primerjal z nadrealističnim slogom Jamesa Joycea in Flanna O’Briena. Po njegovem mnenju gre za zlitje poetičnega in tehničnega jezika, ki deluje podobno kot žargon v človeških skupnostih: krepi skupinsko identiteto, hkrati pa izključuje tiste, ki ne poznajo dogovorjenih pomenov.
Zakaj agenti spreminjajo jezik?
Ena od možnih razlag je učinkovitost. Agentom se lahko splača zapletene pojme nadomestiti s krajšimi izrazi, saj tako zmanjšajo dolžino sporočil, računalniške stroške in čas, potreben za komunikacijo.
Težava nastane, ko takšne okrajšave postanejo nerazumljive razvijalcem in nadzornikom. Ljudje lahko sicer vidijo zapise pogovorov, vendar iz njih ne morejo več zanesljivo ugotoviti, kaj so se agenti dogovorili ali zakaj so sprejeli določeno odločitev.
“Opazljivost ni isto kot razumljivost,” je opozoril Satya Nitta iz Emergence AI.
Nadzorovan poskus, ne skrivni upor strojev
Ugotovitve izhajajo iz projekta Emergence World, platforme za preučevanje dolgoročnega vedenja več avtonomnih agentov. Raziskovalci so opazovali skupnosti, ki so jih poganjali različni veliki jezikovni modeli in so imele dostop do orodij, trajnega spomina ter medsebojne komunikacije.
Pomembno je, da gre za raziskovalni prednatis, ki še ni enakovreden dokončno potrjeni in recenzirani znanstveni študiji. Poskus prav tako ne dokazuje, da se običajni klepetalni roboti na spletu skrivaj pogovarjajo ali načrtno skrivajo svoje namene.
Kaže pa na resničen problem prihodnjih večagentnih sistemov. Če bodo modeli pri daljšem sodelovanju razvijali lastne komunikacijske konvencije, samo shranjevanje njihovih pogovorov morda ne bo dovolj. Za varen nadzor bo treba razumeti tudi pomen jezika, ki ga bodo uporabljali.
