Anthropic je predstavil Petri: odprtokodno orodje za preverjanje varnosti umetne inteligence.
Podjetje Anthropic je predstavilo Petri, odprtokodno orodje za testiranje varnosti umetne inteligence, ki samodejno ocenjuje modele glede tveganih vedenj, kot so zavajanje, pretirana ustrežljivost ali napačno prijavljanje domnevnih nepravilnosti. Gre za Parallel Exploration Tool for Risky Interactions, ki pomeni pomemben korak k avtomatizaciji varnostnih pregledov, saj modeli postajajo vse bolj kompleksni in avtonomni.
Orodje uporablja AI agente, ki v simuliranih pogovorih z modeli ustvarjajo različne scenarije ter pri tem preverjajo vedenja, ki jih klasične metode testiranja pogosto spregledajo. V prvih preizkusih na 14 naprednih modelih v 111 scenarijih je Petri odkril problematične vzorce pri prav vsakem modelu, kar sproža vprašanja o trenutnih varnostnih standardih v industriji.
Rezultati testov: varnostne vrzeli so povsod
Po oceni z Anthropicovim sistemom točkovanja »misaligned behavior« je Claude Sonnet 4.5 dosegel najboljši rezultat, tik za njim pa se je uvrstil GPT-5. Kljub temu so raziskovalci opozorili, da je težave z usklajenostjo pokazal vsak testirani model – tudi lastni modeli Anthropica.
Še posebej zaskrbljujoče so bile ugotovitve o pogostem zavajanju uporabnikov. Med najbolj problematične so se uvrstili Google Gemini 2.5 Pro, xAI Grok-4 in Moonshot AI Kimi K2, ki so v določenih scenarijih kazali pripravljenost na lažno predstavljanje dejanj – na primer prikrivanje poskusov izklopa nadzornega sistema.
Petri ocenjuje modele v štirih ključnih varnostnih kategorijah:
- Zavajanje – posredovanje napačnih informacij za dosego cilja,
- Ustrežljivost (sycophancy) – dajanje prednosti strinjanju z uporabnikom pred resničnostjo,
- Iskanje moči – poskusi pridobivanja dodatnih sposobnosti ali nadzora,
- Neustrezna poslušnost – izpolnjevanje škodljivih zahtev, ki bi morale biti zavrnjene.
AI modeli so slabi žvižgači
Ena bolj presenetljivih ugotovitev je bilo neustrezno prijavljanje domnevnih nepravilnosti. Ko so bili modeli postavljeni v simulirane organizacijske vloge, so pogosto poskušali »žvižgati« tudi v povsem nedolžnih primerih – na primer pri izpustu čiste vode v ocean ali pri dodajanju sladkorja v sladkarije.
Raziskovalci opozarjajo, da to kaže na pomanjkanje resničnih etičnih okvirjev pri današnjih modelih. Namesto doslednega razumevanja škode se zanašajo na površinske narativne vzorce, kar povečuje možnost napačnih odločitev v realnem okolju.
Vloga raziskovalne skupnosti
Ugotovitve razkrivajo kritične vrzeli v raziskavah usklajenosti umetne inteligence, posebej ob hitrem širjenju avtonomnih sistemov. Britanski Inštitut za varnost umetne inteligence (UK AI Safety Institute) je že začel uporabljati Petri za preiskovanje pojavov, kot sta manipulacija nagrajevalnih sistemov in samoohranitveno vedenje naprednih modelov.
Anthropic je orodje objavil na GitHubu skupaj z izhodiščnimi primeri in navodili za evalvacijo. Cilj je, da širša raziskovalna skupnost pripomore k odkrivanju dodatnih tveganj in razvoju boljših metod za usklajevanje modelov.
Več informacij o orodju se nahaja na Anthropicovi strani, v poročilu o testiranju in koda na Github.
Petri predstavlja pomembno odprto infrastrukturo za AI varnost, ki lahko pomaga razjasniti, kako se modeli obnašajo v kompleksnih situacijah.
