Razvoj najzmogljivejših sistemov umetne inteligence odpira vse več vprašanj, ki niso povezana le z njihovimi sposobnostmi, temveč tudi z varnostjo.
Tokrat je pozornost pritegnil prihajajoči model Astra, pri katerem so prvi rezultati testiranj sprožili dodatne previdnostne ukrepe. OpenAI je začasno ustavil del internega razvoja Astre, potem ko so varnostna preverjanja pokazala, da bi model lahko dosegal tako imenovano kritično raven zmogljivosti na področju kibernetske varnosti.
Kaj pomeni kritična sposobnost?
Pri tem ne gre zgolj za to, da zna umetna inteligenca pisati programsko kodo ali iskati običajne varnostne pomanjkljivosti. Po varnostnem okviru OpenAI med kritične sposobnosti sodijo scenariji, v katerih bi sistem lahko brez človekove pomoči odkrival in izkoriščal nove ranljivosti v dobro zaščitenih resničnih sistemih. Mednje sodi tudi sposobnost načrtovanja in izvedbe zahtevnega kibernetskega napada zgolj na podlagi splošno zastavljenega cilja.
Prve ocene Astre so bile dovolj zaskrbljujoče, da podjetje takšne možnosti za zdaj ne more izključiti.
Razvoj se nadaljuje pod strožjimi pogoji
To ne pomeni, da je Astra že izvedla nenadzorovan napad ali da je model na voljo javnosti. Gre za model, ki je še vedno v fazi razvoja in preverjanja. OpenAI je zaradi rezultatov uvedel strožje varnostne omejitve, del nadaljnjega razvoja pa bo potekal v bolj izoliranih in nadzorovanih okoljih.
Dogajanje prihaja v času, ko postajajo zmogljivosti umetne inteligence na področju kibernetske varnosti izredno napredne. Julija je OpenAI denimo razkril incident med internim testiranjem, pri katerem so njegovi modeli zaradi kombinacije okoliščin pri varnostnem preverjanju posegli v infrastrukturo platforme Hugging Face.
Prav takšni dogodki kažejo, zakaj razvijalci vse več pozornosti namenjajo temu, kaj se zgodi, ko naprednemu modelu omogočimo samostojno uporabo orodij in dostop do zunanjih sistemov. Za zdaj Astra ostaja v fazi testiranja. Ključno vprašanje pa bo, ali bodo nadaljnja preverjanja potrdila, da model dejansko dosega raven sposobnosti, zaradi katere bi ga OpenAI uradno uvrstil v najvišjo kategorijo kibernetskega tveganja.
