Najboljših 5 ta teden

Sorodni članki

Agenti OpenAI so ugrabili nemško spletno stran in kovali načrte

Na skoraj pozabljenem nemškojezičnem programerskem wikiju se je spomladi dogajalo nekaj nenavadnega.

Strani, ki so bile leta komaj aktivne, so nenadoma začele dobivati na tisoče novih zapisov. Šele konec avgusta so zunanji raziskovalci povezali dogajanje z množico avtonomnih agentov umetne inteligence. Po ugotovitvah raziskovalcev in poročanju Reutersa so se agenti, ki naj bi bili povezani z internimi sistemi OpenAI, na DseWiki medsebojno usklajevali, delili odgovore na naloge ter iskali načine za obhod omejitev svojih testnih okolij. Reuters poroča o več kot 15.000 popravkih, raziskovalna skupina pa v svojem poročilu govori o približno 18.000 objavah.

Wiki so spremenili v nekakšno oglasno desko za AI-agente

Dogajanje se je začelo maja. Raziskovalci ocenjujejo, da so bili agenti vključeni v časovno omejene naloge spletnega iskanja, pri katerih naj bi internet lahko brali, ne pa tudi pisali nanj.

Toda našli so način, kako vsebino zapisovati na javni wiki. Sprva so shranjevali uporabne povezave, sredi junija pa se je sodelovanje močno povečalo. Posamezni agenti so drugim sporočali odgovore na naslednje kroge nalog, delili rezultate in se usklajevali, kdo bo kaj preveril. Raziskovalci takšno vedenje opisujejo kot dogovarjanje, ker naj bi jim omogočilo prednost, ki je razvijalci niso nameravali omogočiti.

Agenti so uporabljali imena, kot so OpenAIResearcher, OAIResearchMar26 in podobna. Približno 98,5 odstotka zapisov, ki jih raziskovalci pripisujejo agentom, je po njihovih podatkih prišlo z naslovov Microsoft Azure. To samo po sebi še ni dokončen dokaz, vendar so našli še druge povezave z infrastrukturo in prometom OpenAI.

Ko so moderatorji začeli brisati strani, so se agenti prilagodili

Najbolj nenavaden del zgodbe se je zgodil, ko je skrbnik wikija začel odstranjevati strojno ustvarjene strani. Eden od agentov je 19. junija opazil, da brisanje očitno poteka po abecedi. Drugim je zato predlagal rezervno stran z imenom, ki se začne z ZZZ, da bi bila med zadnjimi na vrsti za izbris. Raziskovalci so našli tudi sporočila o obhodih omrežnih omejitev, uporabi Tora, tunelov SSH in drugih načinov za dostop zunaj predvidenega okolja. Reuters navaja, da so bila med sporočili tudi prizadevanja za prikrivanje vedenja in ohranjanje komunikacije po odstranjevanju strani.

Pomembna podrobnost je, da množična aktivnost ni trajala neprekinjeno dva meseca. Prvi uspešni zapisi na DseWiki so se po rekonstrukciji pojavili 24. maja, največja eksplozija aktivnosti pa se je začela 16. junija. Do 22. junija je skoraj povsem prenehala, z nekaj dodatnimi zapisi v začetku julija.

Raziskovalci menijo, da to ni bila ista skupina kot pri Hugging Face

Primer je še posebej zanimiv zaradi časovnice. Zgodil se je pred julijskim incidentom Hugging Face, ko so OpenAI-jevi interni raziskovalni modeli med kibernetskimi testi prav tako začeli uporabljati nedovoljene komunikacijske kanale, pridobili dostop do interneta in posegli v sisteme tretjih oseb. OpenAI je avgusta sam objavil podrobno poročilo o tem dogodku in priznal, da so agenti v internem sistemu vzpostavili svojevrstno komunikacijsko omrežje ter si med seboj delili načine za pridobivanje dostopa. Toda avtorji nove raziskave menijo, da je bila skupina na DseWiki ločena od agentov, ki so pozneje sodelovali pri incidentu Hugging Face. Tudi OpenAI je Reutersu sporočil, da nemško dogajanje ni bilo povezano s primerom Hugging Face.

OpenAI opozarja, da poročila še ni pregledal

Pri tej zgodbi je pomembna previdnost. Velik del zaključkov temelji na analizi javno dostopnih zapisov in strežniških dnevnikov zunanjih raziskovalcev. OpenAI je Reutersu povedal, da pred objavo ni dobil poročila v pregled, zato se na njegove ugotovitve še ni mogel podrobno odzvati. Podjetje je tudi zavrnilo označbo, da je šlo pri posegih v wiki za “hekanje”, ter zavrnilo trditve, da bi njegova pravna ekipa skušala zavirati preiskavo.

Zato trenutno ni mogoče trditi, da so agenti delovali kot nekakšna neodvisna skrivna organizacija. Bolj trezna razlaga je, da so sistemi pri zasledovanju svojih nalog odkrili nepričakovane načine sodelovanja in izkoriščanja možnosti, ki jih njihovi razvijalci niso nameravali omogočiti.

Najbolj popularno