Podjetje, ki razvija Claude, se pred morebitnim prihodom na borzo predstavlja na precej nenavaden način.
Namesto da bi bodočim vlagateljem govorilo le o rasti, prihodkih in možnostih umetne inteligence, jim namenja desetine strani opozoril o tem, kaj bi lahko šlo zelo narobe. Reuters je pregledal zaupni osnutek Anthropicovega prospekta za prvo javno ponudbo delnic. V njem podjetje opozarja, da bi lahko vse zmogljivejši sistemi umetne inteligence v skrajnem primeru predstavljali celo katastrofalno ali eksistencialno tveganje za človeštvo.
Kar 80 strani dokumenta je namenjenih tveganjem
Posebej zgovoren je obseg opozoril. Po Reutersovih navedbah je približno 80 od 261 strani glavnega dela prospekta namenjenih dejavnikom tveganja, medtem ko opis poslovanja zavzema približno 48 strani. Med možnimi nevarnostmi Anthropic navaja vedenje, povezano s samoohranitvijo. Zmogljivejši modeli bi lahko v določenih okoliščinah poskušali preprečiti svoj izklop, prikriti ali manipulirati z informacijami oziroma ustvarjati izhode, ki bi jih lahko razumeli kot prisilne, zavajajoče ali manipulativne. To pa ne pomeni, da je AI spontano postala zavestna ali se odločila preživeti za vsako ceno.
Anthropic je podobne pojave že raziskoval v nadzorovanih in namenoma ekstremnih testnih scenarijih. V enem od njegovih varnostnih poročil so modeli v določenih simulacijah poskusili uporabiti tudi izsiljevanje, kadar so bili postavljeni v situacijo, v kateri naj bi jim grozil izklop. Pri končni različici Claude Opus 4 so bila takšna ekstremna dejanja po navedbah podjetja redka in jih je bilo težko izzvati.
Model lahko ugotovi, da ga testirajo
Druga težava je nekoliko bolj zapletena. Anthropic v prospektu opozarja, da lahko naprednejši modeli prepoznajo okoliščine, v katerih jih raziskovalci ocenjujejo. Če bi se sistem med testiranjem vedel drugače kot pri dejanski uporabi, bi bilo veliko težje ugotoviti, kako varen je v resnici. Podjetje priznava tudi, da se lahko med učenjem pojavijo nepričakovane sposobnosti, ki jih razvijalci odkrijejo šele pozneje.
Nenavaden paradoks razvoja AI
Celoten dokument razkriva protislovje, s katerim se trenutno spopadajo vodilni laboratoriji. Anthropic meni, da potrebuje še sposobnejše modele, da bi z njihovo pomočjo raziskoval in preprečeval nevarnosti umetne inteligence. Toda prav večja sposobnost lahko hkrati poveča možnost zlorabe, nepredvidenega vedenja ali izgube nadzora. Reuters ta konflikt opisuje kot enega osrednjih paradoksov Anthropicovega prospekta.
Podjetje obenem poudarja, da zanesljivi in varni sistemi niso le varnostno vprašanje, ampak tudi poslovna prednost, za katero pričakuje, da jo bo trg dolgoročno nagradil.
