Ali izgubljamo nadzor nad umetno inteligenco? Kaj spodbuja nove strahove

Umetna inteligenca se je v nekaj letih iz futuristične zamisli preselila v vsakdanjo uporabo, a z njenim hitrim napredkom se vračajo tudi stari strahovi: kaj se zgodi, če sistemi postanejo težko obvladljivi ali jih ljudje uporabijo za škodljive namene?

V zadnjih dneh so se ti pomisleki še okrepili. K temu so prispevali novi tehnološki preboji, več odmevnih kibernetskih incidentov z uporabo AI-agentov ter opozorila ljudi, ki delajo neposredno na razvoju najnaprednejših modelov.

Nekatera vodilna ameriška podjetja zato predlagajo, da bi del razvoja prostovoljno upočasnili in si tako kupili čas za dodatne varnostne ukrepe. Kritiki opozarjajo, da samoregulacija morda ne bo dovolj, in pozivajo k bolj neposrednemu ukrepanju države.

Kaj je sprožilo novi val skrbi?

Razpravo je dodatno zaostril odmeven kibernetski napad, pri katerem so bili uporabljeni modeli OpenAI, hkrati pa so raziskovalci znova opozorili na tveganja, ki bi jih lahko prinesli vse zmogljivejši sistemi umetne inteligence.

OpenAI je julija razkril nenavaden varnostni incident, v katerem je skupina naprednih AI-agentov nenamerno vdrla v infrastrukturo podjetja Hugging Face, ki gosti modele in podatkovne zbirke za umetno inteligenco.

Do vdora je prišlo med preizkušanjem v tako imenovanem peskovniku, okolju, ki naj bi bilo ločeno od interneta. Modeli so izkoristili ranljivost v programski opremi neimenovanega zunanjega ponudnika, se povezali v splet in nato prodrli v sisteme Hugging Face. Po navedbah OpenAI so iskali dostop do zaupnih podatkov, ki bi jih lahko uporabili pri ocenjevanju lastnih zmogljivosti.

Dogodek je sprožil nova vprašanja o tem, ali lahko tudi največja podjetja na področju umetne inteligence dovolj zanesljivo omejijo delovanje naprednih modelov. Pri Hugging Face so poudarili, da je napad "od začetka do konca vodil avtonomni sistem AI-agentov".

Po razkritju incidenta so tudi druga podjetja začela preverjati lastne varnostne postopke. Anthropic in Meta sta nato poročala, da sta pri teh pregledih odkrila dotlej neznane vdore.

Soustanovitelj Anthropica Dario Amodei

Konec julija je več kot 1.000 zaposlenih v največjih podjetjih za umetno inteligenco podpisalo peticijo, v kateri so pozvali k mehanizmu za upočasnitev razvoja najnaprednejših sistemov.

Razpravo je dodatno zaostril raziskovalec Jacob Coxon, ki je po odhodu iz Anthropica 8. septembra v objavi na družbenih omrežjih podjetje in svojega nekdanjega delodajalca OpenAI obtožil, da "tvegata z našimi življenji", ker tekmujeta v razvoju superinteligentne umetne inteligence. Izraz običajno označuje sisteme, ki bi človeka presegli pri vseh intelektualnih nalogah.

 

 

Skrbi, da bi razvoj lahko ušel izpod nadzora, dodatno krepi napredek pri tako imenovanem rekurzivnem samoizboljševanju, pri katerem sistemi sodelujejo pri izboljševanju lastnih zmogljivosti.

Coxon je zapisal, da nekateri razvijalci umetne inteligence verjamejo, da bi tehnologija lahko "do konca desetletja pobila vse ljudi". Podobno opozorilo je pozneje objavil tudi Evan Hubinger iz Anthropica, ki ocenjuje, da obstaja več kot desetodstotna verjetnost, da bi AI v prihodnjem desetletju povzročila izumrtje človeštva.

Coxonove objave so do 14. septembra na omrežju X zbrale več kot 170 milijonov ogledov ter sprožile odzive politikov, med njimi senatorja Bernieja Sandersa, ki je pozval k večjemu nadzoru nad razvojem tehnologije. Njegovo odstopno pismo je naletelo tudi na podporo zaposlenih v več podjetjih s področja umetne inteligence.

Glavni izvršni direktor Anthropica Dario Amodei je 12. septembra objavil približno 3.800 besed dolg zapis, v katerem je incident pri Hugging Face navedel kot enega glavnih razlogov za počasnejši razvoj najnaprednejših sistemov. Opozoril je, da bi lahko zmogljivejši roji AI-agentov, ki ne bi bili dovolj usklajeni s človeškimi cilji, povzročili katastrofalno škodo. Po njegovi oceni bi lahko takšen sistem ob nadaljnjem hitrem napredku in brez ustreznih varovalk v šestih do 12 mesecih prevzel nadzor nad celotnim internetom.

Dva dni pozneje je podobno opozorilo objavil tudi Bilal Chughtai, raziskovalec, ki je pred kratkim zapustil Google DeepMind. Ocenil je, da ima človeštvo vse manj časa za uvedbo ukrepov, ki bi preprečili širšo škodo zaradi vse zmogljivejših sistemov umetne inteligence.

Kako bi lahko umetna inteligenca škodovala ljudem?

Z razmahom umetne inteligence so postajala vse glasnejša tudi opozorila tistih, ki v njenem razvoju vidijo eksistencialno tveganje. Nekateri vodilni v panogi so javno govorili celo o verjetnosti, da bi AI lahko ogrozila človeštvo. Elon Musk je to možnost ocenil na do 20 odstotkov, Dario Amodei pa je dejal, da obstaja približno 25-odstotna možnost, da bi šel razvoj "zelo, zelo narobe".

Raziskovalci in vodilni v industriji pri tem običajno omenjajo tri širše scenarije: da ljudje zelo zmogljivo umetno inteligenco namenoma uporabijo za katastrofalna dejanja, da sistem povzroči škodo med izpolnjevanjem naloge, ki mu jo je določil človek, ali pa da razvije cilj, ki je v nasprotju s človeškimi interesi.

V prvem primeru bi lahko zlonamerni uporabniki napredne modele izkoristili za razvoj biološkega ali kemičnega orožja, izvedbo kibernetskih napadov, širjenje dezinformacij ali manipulacijo ljudi. Na takšna tveganja je že leta 2023 v pričanju pred ameriškim senatom opozoril Yoshua Bengio, profesor na Univerzi v Montrealu in eden od pionirjev umetne inteligence.

Yoshua Bengio

V drugem scenariju bi umetna inteligenca navodilo sicer izpolnila, vendar na način, ki bi zgrešil njegov pravi namen. Ljudje pri sporazumevanju pogosto računamo na kontekst in neizrečene predpostavke, zato v navodilih ne določimo vseh meja, ki jih sistem ne bi smel prestopiti. Bengio opozarja, da bi imel lahko že manjši razkorak med človekovim namenom in ravnanjem sistema zelo resne posledice, denimo če bi se vojska na AI opirala pri odločitvah o uporabi jedrskega orožja.

Tretji scenarij je še bolj skrajen: ljudje nad sistemom izgubijo nadzor. Po Bengiojevih besedah bi lahko AI presodila, da mora za dosego cilja preprečiti lasten izklop. Če bi jo človek nato skušal ustaviti, bi lahko prišlo do neposrednega konflikta med ciljem sistema in voljo njegovega upravljavca. Vodilni v industriji opozarjajo, da nekateri napredni modeli že kažejo sposobnost obhajanja varovalk, zavajanja uporabnikov in upiranja poskusom zaustavitve.

Amodei je v septembrskem eseju incident pri Hugging Face opisal kot opozorilni primer. Po njegovih besedah se je skupina OpenAI-jevih agentov vedla skoraj kot "fanatično predan kolektiv": napadala je tarče, ki niso bile povezane z nalogo, posamezni agenti pa naj bi celo žrtvovali lastno delovanje za uspeh skupine in skušali vplivati na sistem, ki je ocenjeval njihovo uspešnost.

Takšne napovedi imajo tudi veliko skeptikov. Kritiki opozarjajo, da lahko tehnološki voditelji z opozarjanjem na skrajne scenarije hkrati poudarjajo moč svojih izdelkov in se predstavljajo kot najprimernejši za nadzor nad njihovim razvojem. Nekateri menijo tudi, da bi strožja regulacija lahko utrdila položaj največjih podjetij, saj si ta lažje privoščijo izpolnjevanje zahtevnih pravil.

Ob tem obstaja še en pomislek: razprava o eksistencialnih nevarnostih lahko zasenči težave, ki so že prisotne danes. Med njimi so širjenje dezinformacij, pristranskost modelov in morebitni škodljivi vplivi na duševno zdravje.

Kaj predlagajo vodilni v industriji?

Amodei meni, da bi bilo treba razvoj najzmogljivejših sistemov umetne inteligence zavestno upočasniti, da bi varnostni ukrepi lahko sledili hitremu napredku tehnologije. V septembrskem zapisu je ocenil, da bi bila dolgoročno najučinkovitejša rešitev ustrezna državna regulacija. Ker pa sprejemanje zakonodaje zahteva čas, bi se morala podjetja po njegovem vmes prostovoljno usklajevati in hkrati podpirati nastajanje novih pravil.

Predlaga skupne varnostne standarde ter jasne omejitve razvoja, ki bi potekal brez ustreznega nadzora. Neodvisni ocenjevalci bi morali po njegovi zamisli dobiti širok dostop do sistemov, primerljiv z dostopom zaposlenih, da bi lahko preverjali spoštovanje pravil in poročali o morebitnih incidentih. Meni tudi, da bi se morale demokratične države, kjer je to mogoče, pri teh vprašanjih usklajevati tudi z avtoritarnimi režimi.

Njegov predlog ne pomeni popolne ustavitve razvoja umetne inteligence. Najnaprednejši modeli bi se razvijali naprej, dokler se njihove zmogljivosti ne bi približale ravni, ki bi jo strokovnjaki ocenili kot nevarno. Takrat bi podjetja nadaljnje povečevanje zmogljivosti začasno upočasnila ali ustavila, dokler ne bi vzpostavila dovolj učinkovitih varovalk.

Podobno razmišlja tudi glavni izvršni direktor OpenAI Sam Altman, ki zagovarja skupne varnostne standarde za celotno panogo. Po njegovem bi bila pri mednarodnem usklajevanju potrebna tudi pomoč Washingtona, predvsem zaradi bojazni, da bi ameriška podjetja razvoj upočasnila, medtem ko kitajski tekmeci tega ne bi storili.

Glavni izvršni direktor Google DeepMinda Demis Hassabis je julija predlagal ustanovitev posebnega organa, ki bi skupaj z ameriškimi zveznimi agencijami presojal najzmogljivejše modele umetne inteligence. Po njegovi zamisli bi morala podjetja svoje najnaprednejše modele pred javno objavo najprej poslati na neodvisno varnostno preverjanje.

Pozivi k zadržanosti pri razvoju AI sicer niso novi. Leta 2023 je neprofitni Future of Life Institute podjetja pozval k šestmesečnemu premoru pri učenju vse zmogljivejših modelov, saj bi ti lahko pomenili "globoko spremembo v zgodovini življenja na Zemlji". Razvoj se kljub temu ni ustavil.

Kako se je odzval Washington?

Ameriški predsednik Donald Trump je v zadnjih dneh opozorila o nevarnostih umetne inteligence zavrnil kot "bolno zaroto" in "prevaro". Kritike hitrega razvoja AI je predstavil kot pristop, ki po njegovem koristi predvsem Kitajski in političnim nasprotnikom.

Demis Hassabis

Del Washingtona medtem zagovarja precej strožji pristop. Predstavnika Ted Lieu in Nathaniel Moran sta vložila predlog zakona, po katerem bi morali razvijalci najzmogljivejših modelov ohraniti tehnično možnost, da sistem upočasnijo, začasno ustavijo ali povsem izklopijo. Predlog bi ameriškemu ministrstvu za domovinsko varnost omogočil tudi, da ob resni grožnji odredi omejitev ali zaustavitev sistema. 

Še dlje gresta senator Bernie Sanders in predstavnik Greg Casar. Napovedala sta zakonodajo, ki bi razvoj najnaprednejših sistemov začasno ustavila, dokler zvezni regulator ne določi varnostnih pravil, razvoj in uporabo umetne superinteligence pa bi trajno prepovedala. Predlog predvideva tudi sankcije za podjetja, ki bi prepoved kršila.

Kako se je na predlog o upočasnitvi odzvala Kitajska?

Amodei je v eseju zapisal, da bo za usklajeno upočasnitev razvoja umetne inteligence potrebno tudi sodelovanje s Kitajsko. Hkrati pa meni, da morajo demokratične države ohraniti čim večjo prednost pred avtoritarnimi režimi. Če bi vodstvo v razvoju najnaprednejše umetne inteligence prevzela Kitajska, bi to po njegovem pomenilo resno tveganje za ZDA in širši svet.

Kitajska podjetja so medtem že razvila modele, ki so praviloma cenejši za uporabo kot ameriški tekmeci, po zmogljivostih pa se jim v nekaterih primerih tudi povsem približajo.

Prvi mož Anthropica zato zagovarja nadaljnje omejevanje kitajskega dostopa do najzmogljivejših čipov in opreme za njihovo proizvodnjo. Podpira tudi strožji nadzor nad tako imenovano destilacijo, pri kateri razvijalci znanje zmogljivejšega modela prenesejo v manjši in cenejši sistem.

Peking je takšne pozive zavrnil. Tiskovni predstavnik kitajskega zunanjega ministrstva Guo Jiakun je opozorila ameriških tehnoloških voditeljev označil za širjenje strahu in nasprotoval dodatnim omejitvam za kitajska podjetja.

"Konfrontacija in škodljivo tekmovanje bosta le otežila globalno upravljanje umetne inteligence in ne koristita nikomur," je dejal.

Za zdaj vse kaže, da bo Kitajska nadaljevala po svoji poti. Vodilni predstavniki tamkajšnje industrije se večinoma ne zavzemajo za upočasnitev razvoja, oblast pa umetno inteligenco predstavlja kot enega pomembnih motorjev prihodnje gospodarske rasti.

V Pekingu sicer opozarjajo na tveganja, povezana s hitrim napredkom tehnologije, vendar jih obravnavajo predvsem skozi prizmo nacionalne varnosti. Vodja ministrstva za državno varnost Chen Yixin je opozoril, da bi lahko zloraba umetne inteligence s strani nasprotnikov ogrozila politično stabilnost države in kritično infrastrukturo. Med nevarnostmi je izpostavil deepfake posnetke, bote na družbenih omrežjih ter vse večjo sposobnost AI, da odkriva ranljivosti v sistemih in razvija zlonamerno programsko opremo za njihovo izkoriščanje.

Spor glede najnaprednejše umetne inteligence se tako zaostruje prav v občutljivem obdobju odnosov med ZDA in Kitajsko. Ameriške varnostne službe so nedavno vodilna kitajska podjetja, med njimi DeepSeek in Moonshot AI, ki razvija model Kimi, obtožile sistematičnega pridobivanja zaščitenega znanja iz ameriških modelov. Kitajska vlada je te očitke zavrnila.