Kako prepoznati besedila, ki jih ustvarja umetna inteligenca

Pred nekaj dnevi sem na LinkedInu prebral objavo nekoga, ki ga poznam že leta, oziroma že celo življenje. Da ne bo pomote: gre za resnega in zelo uspešnega strokovnjaka z ugledno kariero in, če sem povsem iskren, precej uspešnejšega od mene. Berem torej njegovo objavo in že sredi stavka se mi je samodejno porodilo vprašanje: je to res napisal on ali je besedilo ustvarila umetna inteligenca?

Takrat sem spoznal, da se pred našimi očmi razvija nova vrsta literarnega oziroma "digitalnega detektivskega dela", ki se je večina ljudi sploh še ne zaveda. Preberemo e-pošto, objavo na družbenem omrežju, akademski članek, časopisni komentar ali poročilo in nekaj nam preprosto "ne gre skupaj". Besedilo je slovnično pravilno. Stavki so urejeni. Argumentacija je logična. Vse je na svojem mestu. Kljub temu se po nekaj stavkih ali odstavkih zalotimo pri misli: to je zagotovo napisala umetna inteligenca.

Še pred nekaj leti je bilo takšen dvom precej lažje razrešiti. Umetna inteligenca je imela zelo prepoznaven slog: preveč urejen, preveč predvidljiv, preveč nagnjen k ponavljanju istih izrazov in skoraj obseden z dolgimi pomišljaji, v bosansko-angleškem žargonu imenovanimi "em dash". Danes so razmere precej drugačne in zanimivejše. Najnovejši modeli so se ves ta čas pridno učili, dobivali novo gradivo za učenje ter se naučili spreminjati ton, posnemati različne avtorje, pisati kratko ali obširno ter uporabljati pogovorni ali akademski slog. Če jim dovolj natančno pojasnimo, kaj želimo, lahko ustvarijo besedilo, ki je na prvi pogled videti, kot da ga je napisala določena oseba.

V začetku avgusta letos je ugledna revija The Economist objavila primerjalno študijo prav o tem vprašanju: kako razlikovati besedilo, ki ga je ustvarila umetna inteligenca, od besedila, ki ga je napisal človek, ko začnejo stari, površinski znaki izginjati. Izhodiščni problem je bil metodološki. Za prepoznavanje "rokopisa" umetne inteligence je namreč potreben zanesljiv vzorec besedila, za katerega ni nobenega dvoma, da ga je napisal človek. V tem primeru so bili to članki novinarjev revije. Vsi članki in komentarji, objavljeni v reviji, so namreč podvrženi strogemu preverjanju glede uporabe umetne inteligence.

Na drugi strani so izbrali štiri vodilne jezikovne modele: ChatGPT, Claude, Gemini in Grok. Dobili so nalogo, da brez iskanja po spletu napišejo svoje različice besedil. Besedila, ki jih je ustvarila umetna inteligenca, so nato primerjali še z novinarskimi besedili CNN-a, The New York Timesa in The Washington Posta ter z odlomki iz uspešnih romanov, objavljenih med letoma 1950 in 2022. Priznam, ko sem prvič prebral metodologijo, sem podvomil, ali je vzorec treh medijskih hiš dovolj velik za resno raziskavo. Ko pa sem videl, da je celoten korpus obsegal 55.940 stavkov in 1,2 milijona besed, mi je zmanjkalo argumentov.

Raziskava je pokazala, da so besedila, ki jih ustvari umetna inteligenca, mogoče prepoznati, vendar ne po ključnih besedah ali pretirani uporabi dolgih pomišljajev, kot sem pričakoval, temveč po izbiri besed in ločil ter strukturi stavkov in odstavkov. Študija je pokazala, da obstaja več strukturnih "signalov", ki lahko kažejo na uporabo umetne inteligence. Eden od njih je skromnejša uporaba ločil. Veliki jezikovni modeli namreč redkeje uporabljajo vejice in podpičja, oklepajev pa skorajda ne uporabljajo.

Naslednji signal je izbira besed, o čemer bo več govora v razdelku P. S. na koncu. Po mojem skromnem mnenju pa je ključna ugotovitev povezana s tem, kar se dogaja znotraj posameznega stavka. Gre za ritem. Besedilo, napisano z uporabo umetne inteligence, je vse težje prepoznati po enem samem znaku na strani, vse lažje pa po njegovem celotnem ritmu: dolgih in razmeroma enoličnih stavkih, urejeno povezanih odstavkih ter pomanjkanju drobnih odklonov, omahovanj, digresij in skladenjskih zasukov, značilnih za um, ki med pisanjem dejansko razmišlja. Človek, ki razmišlja skozi besedilo, pogosto spremeni smer. Vrne se korak nazaj. Prizna, da česa ne ve. Navede primer, ki se na prvi pogled ne zdi nujen. Napiše stavek, ki ni popoln, vendar nosi njegov osebni pečat. Modeli umetne inteligence večinoma "vedo, kam morajo priti", in do cilja pogosto pridejo preveč gladko in urejeno.

Pri tem velja dodati še izkušnjo, ki sem si jo v zadnjih letih pridobil ob prebiranju več sto študentskih in svetovalnih besedil: ne obstaja niti ena beseda, za katero bi lahko z gotovostjo trdili, da je "beseda umetne inteligence". Prav tako ne obstaja enoten slog pisanja umetne inteligence, tako kot ne obstaja enoten slog človeškega pisanja. Različni modeli pišejo na različne načine, nekatere značilnosti umetne inteligence, kot je nagnjenost k uporabi dolgega pomišljaja, pa so značilne tudi za nekatere človeške avtorje. Študija The Economista denimo opozarja, da je slavna Emily Dickinson dolgi pomišljaj rada uporabljala že dolgo pred pojavom računalnikov. Zato je vsak posamezen znak, ne glede na to, kako prepričljiv se zdi, v najboljšem primeru zgolj indic, nikoli pa dokončen dokaz. In prav tu se začne precej resnejši problem. Ne gre več za vprašanje posamezne besede, temveč za obliko besedila.

Dimitry Kobak je s sodelavci leta 2024 opravil obsežno analizo več kot 15 milijonov povzetkov biomedicinskih raziskav, objavljenih med letoma 2010 in 2024 ter indeksiranih v zbirki PubMed. Raziskava je pokazala nenaden porast uporabe določenega nabora "slogovnih besed" prav v času, ko se je ChatGPT začel množično uporabljati. Analiza je pokazala, da je bilo najmanj 13,5 odstotka povzetkov iz leta 2024, pripravljenih s pomočjo velikih jezikovnih modelov (LLM). Gre za spodnjo mejo ocene, pri čemer se delež precej razlikuje glede na znanstveno področje, državo in revijo, v nekaterih skupinah pa dosega celo 40 odstotkov.

Analiza, objavljena januarja 2026 v reviji Nature, je zajela več kot 41 milijonov znanstvenih člankov, med njimi približno 311.000 takšnih, pri katerih je bila ugotovljena uporaba umetne inteligence. Raziskava je razkrila zanimiv paradoks: znanstveniki, ki uporabljajo orodja umetne inteligence, objavijo več člankov, so pogosteje citirani in hitreje napredujejo v karieri kot tisti, ki teh orodij ne uporabljajo, vendar se njihove raziskave osredotočajo na ožji nabor tem. Ugotovitve odpirajo pomembna vprašanja in vzbujajo pomisleke o morebitnem vplivu orodij umetne inteligence na znanstvenike in znanost kot celoto.

Depositphotos

Univerza v Marylandu in Google DeepMind sta leta 2026 izvedla projekt z naslovom StoryScope. Raziskava je pokazala, da je mogoče besedila, ustvarjena z umetno inteligenco, prepoznati ne le po izbiri besed ali slogu pisanja, temveč tudi po načinu, kako je zgodba zgrajena. Pokazalo se je namreč, da besedila, ustvarjena z umetno inteligenco, glavne teme pogosto pojasnjujejo preveč neposredno ter uporabljajo urejen in linearen razvoj zgodbe z jasnim začetkom, razvojem in koncem. Človeški avtorji pa pogosteje ustvarjajo moralno ambivalentne like, kompleksnejše odločitve in nelinearno časovno strukturo, ki vključuje retrospektivne prizore in časovne preskoke. Raziskovalci so analizirali 61.608 zgodb, nastalih na podlagi 10.272 pozivov. Za vsak poziv so analizirali eno zgodbo, ki jo je napisal človek, in po eno različico, ki jo je ustvarilo pet različnih modelov umetne inteligence, med njimi Claude, ChatGPT, Gemini, DeepSeek in Kimi. Namesto da bi se osredotočili zgolj na besedišče, so vsako zgodbo ocenili glede na 30 strukturnih značilnosti. Med drugim so preverjali, kako neposredno je izražena osrednja tema, ali zgodba vsebuje stranske zgodbe, ali je njen razplet preveč preprost in ali izrecno poimenuje konkretne probleme. Analiza podatkov je pokazala, da je že na podlagi pripovednih značilnosti mogoče besedila, ki so jih napisali ljudje, razlikovati od besedil, ustvarjenih z umetno inteligenco, s 93,2-odstotno natančnostjo.

Hkrati se besedila, ustvarjena z umetno inteligenco, med seboj bolj povezujejo v skupine in kažejo manjšo raznolikost, medtem ko človeške zgodbe zavzemajo precej širši in bolj raznolik pripovedni prostor. Ključna ugotovitev je, da dokaz o uporabi umetne inteligence ni nujno skrit v posamezni besedi ali značilni besedni zvezi, temveč v sami zgradbi zgodbe, torej v načinu razvoja dogajanja, opisovanju ravnanja likov, uporabi časa in stopnji pripovedne kompleksnosti. Če nekoliko razmislimo, ugotovimo, da je pristno človeško razmišljanje, tudi ko ga prenesemo na papir, običajno nekoliko neurejeno, pogosto se vrača nazaj in priznava tisto, česar ne ve. Strojno ustvarjeno besedilo pa ima kljub vsej svoji tekočnosti še vedno težnjo, da do cilja pride prehitro in preveč gladko.

Enako težnjo po urejenosti je mogoče opaziti tudi pri tem, kako modeli oblikujejo posamezne stavke, kadar želijo besedilo nekoliko poživiti. The Economist ugotavlja, da imajo veliki jezikovni modeli priljubljen in razmeroma omejen nabor retoričnih figur. Med njimi so konstrukcije, kot so "ne X, ampak Y", "ne samo ..., ampak tudi ..." ter tako imenovano pravilo treh, pri katerem so ideje razvrščene v tri dele, da bi zvenele efektivne in si jih je bilo lažje zapomniti. ChatGPT in Claude te vzorce uporabljata celo pogosteje kot drugi modeli in pogosteje kot človeški avtorji, vključeni v raziskavo. Ko boste naslednjič naleteli na poslovno ali akademsko besedilo, v katerem je skoraj vsak tretji stavek oblikovan po istem vzorcu "ne samo ..., ampak tudi ...", je to verjetno precej zanesljivejši namig kot katerikoli "dolgi pomišljaj".

Ker je bila objava z začetka naše zgodbe MORDA napisana s pomočjo umetne inteligence in je takšen način objavljanja na družbenih omrežjih postal nekaj vsakdanjega, so se nekatere platforme, kot je LinkedIn, odločile, da bodo znova dale prednost človeškim idejam in razmišljanju. LinkedIn je po letih aktivnega spodbujanja objav, ustvarjenih s pomočjo umetne inteligence, zdaj krenil v nasprotno smer. Konec julija 2026 je uvedel funkcijo, ki uporabnikom omogoča, da objave označijo kot "AI slop", kar bi lahko prevedli kot "AI-odpad". Statistični podatki o zaupanju jasno kažejo, zakaj se platforme premikajo v to smer. Raziskava iz marca 2026 je pokazala, da umetno inteligenco za raziskovanje, pisanje ali analizo podatkov redno uporablja že 51 odstotkov ljudi, vendar informacijam, ki jih ustvari, zaupa le 21 odstotkov vprašanih, sedemindvajset odstotkov, pa jih pravi, da ji skoraj nikoli ne zaupa. Očitno je, da zaupanje v profesionalne vsebine vidno upada.

To je še posebej neugoden položaj za vsakega strokovnjaka, katerega verodostojnost temelji na tem, da ga drugi dojemajo kot vir lastne presoje in razmisleka, ne pa kot nekoga, ki zgolj preoblikuje tuje ideje.

Na koncu je morda najpomembnejše priznati nekaj, kar postaja vse bolj očitno. Jezikovni modeli umetne inteligence postajajo iz dneva v dan zmogljivejši, in sicer do te mere, da smo verjetno že prišli do točke, ko ne bomo več mogli zanesljivo ugotoviti, ali je besedilo napisala umetna inteligenca ali človek z njeno pomočjo. Jezik se spreminja, modeli se učijo naših vzorcev, ljudje pa hkrati prevzemamo vzorce, ki so jih modeli naredili običajne. Meja med "človeškim" in "strojnim" slogom zato postaja vse manj opazna. Iskanje ene same značilne besede, ločila, pravila treh, dolgega pomišljaja ali zanašanje na rezultat detektorja umetne inteligence zato ni le nezanesljivo. Odvrača nas od veliko pomembnejšega vprašanja.,

Depositphotos

Ni odločilno, ali lahko za stavkom prepoznamo stroj, temveč ali lahko za idejo prepoznamo človeka: kdo je zastavil vprašanje, kdo je izbral argument, kdo je preveril dejstva, kdo je prevzel odgovornost za lasten sklep in kdo je pripravljen stati za objavljenim. Umetna inteligenca lahko oblikuje stavek, bistveno pospeši raziskovanje, preuredi misli in naredi besedilo prepričljivejše, vendar ne bi smela postati nadomestilo za intelektualno odgovornost. Morda bo prav zato nova pismenost v času navdušenja nad umetno inteligenco manj temeljila na sposobnosti ugotavljanja, ali je besedilo "napisala umetna inteligenca", in veliko bolj na sposobnosti presojanja kakovosti razmišljanja, ki stoji za napisanim. Največji problem prihodnosti ne bo v tem, da v besedilu ne bomo več mogli prepoznati stroja, temveč v tem, da v popolno oblikovanem besedilu ne bomo več mogli prepoznati človeka, ki je imel povedati nekaj svojega, pristnega in vrednega.

P. S. Kot sem obljubil, sledi seznam besed, ki bi lahko nakazovale, da je besedilo napisala umetna inteligenca. Tom Juzek in Zina Ward s Florida State University sta v raziskavi "Why Does ChatGPT 'Delve' So Much?", predstavljeni na konferenci COLING 2025, identificirala 21 besed, ki se najpogosteje pojavljajo v znanstvenih besedilih. Pogostost uporabe nekaterih se je od začetka množične uporabe ChatGPT povečala za skoraj 67-krat. To ne izpodbija tega, kar sem zapisal prej: nobena posamezna beseda ni dokaz. Če pa se določene besede v istem besedilu pojavljajo prepogosto, je to vsaj indic, vreden pozornosti. Če vam je v enem besedilu uspelo uporabiti prav vse besede iz tabele, čestitam ... Kajti po vsem, kar ste pravkar prebrali, vam tega nihče več ne more dokazati.

In za konec sem GPTZero prosil, naj oceni celoten komentar. Dobil sem odgovor, da je s 95-odstotno verjetnostjo celotno besedilo napisal človek.

 

Dr. Nedžad Pirić je strokovnjak za digitalizacijo.

Vsebina, stališča in mnenja, izražena v komentarjih, objavljenih na Bloomberg Adria, so avtorjeva in ne odražajo nujno stališč uredništva Bloomberg Adria.