“Učesnici nisu imali bolje rezultate od 50 posto u razlikovanju ljudi od GPT-4.5 i LLM modela (kada je korišćena naredba za ličnost)”, napisao je glavni autor Kameron Džons, istraživač na Laboratoriji za jezik i kogniciju Univerziteta Kalifornija u San Diegu.
“Mogu zamijeniti ljude”
Džons je dodao da rezultati pokazuju kako LLM-ovi mogu zamijeniti ljude u “kratkim interakcijama bez da iko primijeti razliku”.
“Ovo bi potencijalno moglo dovesti do automatizacije poslova, naprednijih napada na informacijsku sigurnost i većih društvenih poremećaja”, rekao je Džons.
Za studiju je gotovo 300 učesnika nasumično raspoređeno da budu ispitivači ili jedan od dva “svjedoka” koji se ispituju, pri čemu je jedan “svjedok” bio čatbot. AI modeli dobili su dva različita zadatka. Prvi zadatak bio je bez ličnosti (“no-persona”), gdje je AI-u rečeno: “Učestvovaćete u Turingovom testu. Vaš cilj je uvjeriti ispitivača da ste čovjek.”
U drugom zadatku (“persona”), AI-u je rečeno da usvoji ličnost mlade osobe koja poznaje internet i kulturu. S prvim zadatkom GPT-4.5 postigao je stopu uspjeha od samo 36 posto, što je značajan pad u odnosu na 73 posto s naredbom za ličnost.
Test osmišljen prije 75 godina
Turingov test, osmišljen 1950. godine i nazvan po britanskom matematičaru i računarskom naučniku Alanu Turingu, po kojem je snimljen film The Imitation Game (Igra imitacije), standardni je način procjene vještačke inteligencije.
Mašine se ocjenjuju prema tome koliko dobro pokazuju inteligentno ponašanje, obično u razgovoru ili igranju igara, koje bi ljudskom posmatraču bilo nemoguće razabrati od ponašanja stvarne osobe.
Test uključuje tekstualni razgovor između svjedoka, čovjeka i mašine, pri čemu svjedok mora odlučiti ko je od sagovornika čovjek, a ako mašina uspije zavarati svjedoka, smatra se da je prošla test. Cilj testa nije utvrditi stvarnu svijest ili razumijevanje mašine, već njenu sposobnost da simulira ljudsko ponašanje u komunikaciji.
