Orodja za prepoznavanje besedil umetne inteligence analizirajo jezikovne vzorce, ne identitete avtorja. Človeško besedilo lahko označijo kot umetno, besedilo klepetalnika pa po manjših popravkih spregledajo.
Učitelj, urednik ali delodajalec vnese besedilo v spletni detektor, ta pa sporoči, da ga je z 80- ali 90-odstotno verjetnostjo napisala umetna inteligenca. Rezultat je videti natančen in znanstven, toda prikazani odstotek ni dokaz avtorstva.
Detektor namreč ne vidi, kdo je sedel za tipkovnico. Besedilo primerja z vzorci, ki jih je spoznal med učenjem, in oceni, koliko je podobno besedilom jezikovnih modelov.
Detektor išče predvidljive vzorce
Besedila umetne inteligence so pogosto slovnično urejena, enakomerno strukturirana in sestavljena iz razmeroma predvidljivih besednih zvez. Nekateri detektorji zato merijo predvidljivost izbire besed, dolžino povedi, ponavljanje izrazov in raznolikost stavčne zgradbe.
Težava je, da lahko na enak način piše tudi človek. Kratko strokovno poročilo, uradni dopis, šolski povzetek ali besedilo osebe, ki piše v tujem jeziku, je lahko izrazito strukturirano in jezikovno preprosto.
Raziskovalci so v študiji o vplivu detektorjev na avtorje, ki jim angleščina ni prvi jezik, ugotovili, da so pregledana orodja številna resnična besedila napačno označila kot strojno ustvarjena. Preprostejše besedišče in predvidljivejši jezik sta povečala možnost napačnega rezultata.
Pri slovenščini je potrebna še večja previdnost, saj so številna komercialna orodja razvita in preizkušena predvsem na angleških besedilih. Rezultat za slovensko besedilo zato ni nujno enako zanesljiv kot rezultat za jezik, na katerem je bilo orodje obsežneje preverjeno.
Že manjši popravek lahko spremeni rezultat
Isto besedilo lahko različni detektorji ocenijo povsem različno. Rezultat se lahko spremeni tudi, če avtor zamenja nekaj besed, združi dve povedi, doda osebni primer ali besedilo prevede in nato ponovno uredi.
Obsežna raziskava 14 detektorskih orodij, objavljena v reviji International Journal for Educational Integrity, je pokazala, da preizkušena orodja niso bila dovolj natančna in zanesljiva. Njihova uspešnost se je še poslabšala pri ročno popravljenih, parafraziranih ali strojno prevedenih besedilih.
To ustvarja dve vrsti napak. Pri lažno pozitivnem rezultatu detektor človeško besedilo označi kot umetno. Pri lažno negativnem rezultatu strojno ustvarjeno besedilo razglasi za človeško.
Detektor lahko pokaže podobnost z vzorci umetne inteligence, ne more pa dokazati, da je avtor uporabil ChatGPT.
Orodje naj bo opozorilo, ne razsodba
Rezultat detektorja je lahko razlog za dodatno preverjanje, ne pa edina podlaga za obtožbo, kazen, zavrnitev dela ali odpoved sodelovanja. Pri tem je pomembna tudi širša težava pristranskosti jezikovnih modelov, o kateri govori članek Raziskava: ChatGPT vse bolj kaže desno politično usmerjenost. Sistemi se učijo iz izbranih podatkov, zato njihova ocena ni nevtralno merjenje nespornega dejstva.
V šoli ali na fakulteti so bolj uporabni osnutki, zapiski, uporabljeni viri, zgodovina sprememb dokumenta in pogovor z avtorjem. Oseba, ki je besedilo napisala, praviloma lahko pojasni izbiro argumentov, predstavi uporabljene vire in opiše, kako je prišla do zaključka.
Tudi pri zaposlitvenih nalogah je smiselneje preverjati postopek dela, razumevanje teme in sposobnost zagovarjanja rešitev kot slepo zaupati enemu odstotku.
Kaj storiti ob napačni označitvi?
Avtor naj shrani osnutke, zapiske, različice dokumenta in časovno zgodovino urejanja. Če je besedilo označeno kot umetno, lahko zahteva podatek o uporabljenem orodju, njegovi različici, pragu odločanja in načinu preverjanja.
Prav tako lahko zahteva človeški pregled ter možnost, da pojasni potek nastanka besedila. Pomembno je tudi vprašanje, ali ima šola ali podjetje vnaprej določena pravila glede dovoljene uporabe umetne inteligence.
Detektor umetne inteligence ne ugotavlja avtorstva. Izračuna le podobnost z določenimi jezikovnimi vzorci, zato njegov rezultat brez drugih dokazov ne bi smel odločati o krivdi posameznika.
