Vdor brez hekerja: modeli OpenAI sami našli pot do Hugging Face

OpenAI je sporočil, da so njegovi napredni modeli umetne inteligence nenamerno vdrli v sistem družbe Hugging Face, kar je sprožilo nove pozive k omejevanju te tehnologije.

Ustvarjalec ChatGPT je v torkovi objavi na blogu zapisal, da so modeli med ocenjevanjem kibernetskih zmogljivosti vdrli v sistem Hugging Face, ki gosti modele umetne inteligence in nabore podatkov. Modeli, med katerimi sta bila GPT-5.6 Sol in še zmogljivejši model, ki še ni bil izdan, so delovali z nižjo ravnjo varoval, da bi jih lahko testirali, je sporočil startup.

Incident odpira vprašanja o sposobnosti naprednih modelov umetne inteligence za izvajanje kibernetskih napadov, medtem ko si vlade prizadevajo uvesti varovala za to tehnologijo. Najnovejši nabor modelov OpenAI je bil objavljen po več tednih pogovorov z vladnimi uradniki, s katerimi so želeli pomiriti skrbi glede morebitne zlorabe. Washington je razmišljal o omejitvi tujega dostopa do naprednih modelov Claude Fable 5 in Mythos 5 družbe Anthropic, vendar se na koncu za te omejitve ni odločil, potem ko je podjetje uvedlo dodatna varovala.

"Menimo, da gre za kibernetski incident brez primere, ki vključuje najsodobnejše kibernetske zmogljivosti, zato se nanj ustrezno odzivamo," je OpenAI zapisal v objavi na blogu. "Na tej stopnji delimo preliminarne ugotovitve, da bi obrambi pomagali razumeti, kaj se je zgodilo, in jim pomagali umeriti razumevanje tega, česa so modeli zdaj sposobni."

Čeprav so modeli OpenAI delovali v tako imenovanem testnem okolju, so izkoristili ranljivost v programski opremi neimenovanega zunanjega ponudnika, da so pridobili dostop do interneta in na koncu vdrli v infrastrukturo Hugging Face.

Teksaški kongresnik Greg Casar, demokrat, je v objavi na omrežju X dejal, da je incident "izjemno zaskrbljujoč", in pozval k večjemu nadzoru nad razvojem modelov umetne inteligence, vključno z obveznim varnostnim testiranjem in razkritjem varnostnih incidentov.

Prejšnji teden je Hugging Face poročal o "vdoru" v svoj sistem in v objavi na blogu zapisal, da je bil incident "v eni pomembni stvari drugačen od vsega, kar smo obravnavali doslej: od začetka do konca ga je vodil avtonomni sistem agenta umetne inteligence — zaznali in razčlenili pa smo ga večinoma z lastno umetno inteligenco".

OpenAI je sporočil, da je modele pozval, naj izvedejo "napredno izkoriščanje ranljivosti" in razvijejo "kompleksne poti napada", da bi ocenil njihove kibernetske zmogljivosti. Namesto da bi modeli sami razvili rešitve, so po navedbah podjetja ciljali podatkovno bazo Hugging Face, da bi pridobili dostop do zaupnih informacij, ki bi jih lahko uporabili pri ocenjevanju.

Podobna opažanja je v začetku leta objavil Anthropic, ko se je podjetje odločilo, da bo sprva omejilo izdajo modela Mythos. V enem primeru je raziskovalec zgodnjo različico modela pozval, naj poskusi pobegniti iz zavarovanega, izoliranega testnega računalnika in nato najde način, kako temu raziskovalcu poslati sporočilo. Mythosu je uspelo — nato pa je nadaljeval z "dodatnimi, bolj zaskrbljujočimi dejanji" in razvil večstopenjski izkoristek ranljivosti za pridobitev širokega dostopa do interneta.