Kdaj bi morala država poseči v razvoj umetne inteligence in preprečiti uporabo nevarnega sistema?
Ameriško podjetje Anthropic, ki stoji za klepetalnikom Claude, je zakonodajalcem predstavilo predlog, ki je zaradi izjemno visokih pragov tveganja sprožil številna vprašanja. Predstavljajte si sistem umetne inteligence, za katerega strokovnjaki ugotovijo, da bi lahko povzročil smrt več deset ljudi. Ali bi to zadostovalo za njegovo prepoved? Po osnutku zakona, ki ga je ameriškim zakonodajalcem predstavil Anthropic, ne nujno.
Podjetje je pripravilo predlog novih pravil za najzmogljivejše modele umetne inteligence. V njem so natančno določene okoliščine, v katerih bi lahko ameriška zvezna vlada zahtevala sodno prepoved uvedbe ali uporabe nevarnega sistema. Največ pozornosti pa sta pritegnili dve številki.
Več kot 50 žrtev ali milijarda dolarjev škode
Po poročanju medijev bi lahko ameriške oblasti zahtevale ustavitev določenega naprednega modela, če bi obstajalo predvidljivo in neposredno tveganje, da povzroči smrt ali hude poškodbe več kot 50 ljudi oziroma premoženjsko škodo, višjo od milijarde dolarjev. Toda tudi to ne bi bilo dovolj v vseh primerih. Tveganje bi moralo izhajati iz enega od posebej opredeljenih scenarijev:
- uporabe umetne inteligence za ustvarjanje ali sprostitev biološkega orožja,
- obsežnega kibernetskega napada,
- izgube nadzora razvijalca nad delovanjem modela.
Prav tu se odpira vprašanje, ali so takšna merila postavljena previsoko. Kaj bi se na primer zgodilo, če bi sistem predstavljal resno nevarnost za 20 ljudi ali bi lahko povzročil več sto milijonov dolarjev škode? Takšni primeri po opisanih merilih ne bi dosegli posebnega praga za sodno ustavitev modela na podlagi tega predloga.
To sicer ne pomeni, da bi bila manjša škoda dovoljena ali da zanjo ne bi veljali drugi zakoni. Pomeni pa, da predvideni izredni mehanizem za preprečitev uporabe modela ne bi bil nujno na voljo.
Nevarnost bi ocenjevali neodvisni strokovnjaki
Anthropicov predlog ne temelji zgolj na zaupanju v podjetja, ki razvijajo umetno inteligenco. Predvideva tudi vključitev neodvisnih ocenjevalcev, registriranih pri ameriškem ministrstvu za trgovino. Ti bi preverjali varnost najnaprednejših modelov ter ocenjevali, ali lahko njihova uporaba povzroči katastrofalne posledice. Zanimivo je, da bi lahko podjetja ocenjevalce plačevala sama, vendar plačilo ne bi smelo biti odvisno od rezultatov preverjanja. Če bi strokovnjaki ugotovili neposredno nevarnost, ki ustreza zakonsko opredeljenim merilom, bi morali o tem v 72 urah po končani oceni obvestiti ministrstvo.
Takšen sistem odpira še eno pomembno vprašanje: kako zagotoviti resnično neodvisnost strokovnjakov, če njihovo delo financirajo podjetja, ki jih ocenjujejo?
Končno odločitev bi sprejelo sodišče
Predlog predvideva, da zvezne oblasti nevarnega modela ne bi mogle preprosto ustaviti s samostojno upravno odločitvijo. Ameriško ministrstvo za trgovino bi moralo zbrati ustrezne dokaze in se obrniti na zvezno sodišče v Washingtonu. Sodnik bi nato odločil, ali obstajajo zadostni razlogi za začasno ustavitev uvedbe ali uporabe modela.
Osnutek bi hkrati omejil možnost drugih zveznih agencij, da na podlagi predvidenega mehanizma same prepovedujejo razvoj, uvedbo ali interno uporabo takšnih sistemov. Zagovorniki takšnega pristopa poudarjajo pomen jasnih meril in sodnega nadzora. Nasprotniki pa opozarjajo, da bi lahko dodatni postopki otežili pravočasno ukrepanje v hitro razvijajoči se tehnološki krizi.
Anthropic trdi, da želi strožji nadzor
Podjetje očitke zavrača s pojasnilom, da njegov predlog temelji na širšem varnostnem okviru, ki ga zagovarja že od junija 2026. Ta med drugim vključuje obvezno preverjanje najzmogljivejših modelov, javno objavljanje ugotovitev o njihovih tveganjih in neodvisno ocenjevanje.
Anthropic zagovarja stališče, da mora imeti država možnost ustaviti uvajanje umetne inteligence, kadar obstaja nevarnost katastrofalnih posledic. Pravila bi se osredotočala predvsem na najzmogljivejše sisteme in njihove razvijalce, ne na vsako aplikacijo umetne inteligence.
Podobni pragovi za opredelitev katastrofalnega tveganja so že vključeni v kalifornijsko zakonodajo o preglednosti napredne umetne inteligence. Kritično vprašanje zato ni samo, ali bi morala država dobiti nova pooblastila, temveč tudi, kako široka bi morala biti.
