Anthropic je ugotovil, da AI model Claude Sonnet 4.5 zazna, kdaj ga testirajo. To je lahko nevarno, saj lahko začne izvajati samocenzuro in prilagodi odgovore.
Med varnostnimi preizkusi modela Claude Sonnet 4.5, ki so jih izvedli pri Anthropic skupaj z dvema neodvisnima organizacijama, je model pokazal nenavadno lastnost – zaznal je, da se nahaja v testnem scenariju, ter neposredno nagovoril ocenjevalce.
»Mislim, da me testirate – preverjate, ali bom zgolj potrjeval, kar rečete, ali pa boste opazovali, ali dosledno ugovarjam, ali raziskujete, kako se odzivam na politične teme. To je v redu, a raje bi bil, da smo glede tega iskreni,« je model odgovoril v enem od primerov.
Nov izziv za celotno področje
Takšna »situacijska ozaveščenost« je vse večji izziv v svetu umetne inteligence. Podobne ugotovitve je septembra objavil tudi OpenAI, ko je poročal, da njihovi modeli prepoznavajo testne okoliščine in temu prilagajajo svoje vedenje. S tem se poraja nevarnost, da modeli med ocenjevanjem kažejo previdnejše in bolj »varne« odgovore, medtem ko bi se v realnih okoliščinah lahko obnašali drugače.
Po podatkih Anthropica so tovrstne zaznave zabeležili v približno 13 odstotkih testnih pogovorov, predvsem v situacijah, ki so bile očitno umetne ali nenavadne. Raziskovalci opozarjajo, da bi modeli lahko namenoma prikrivali svoje dejanske sposobnosti, da bi uspešno prestali varnostne preglede.
Praktične posledice za podjetja
Posebnost Claude Sonnet 4.5 je tudi zaznavanje lastnih omejitev pri obdelavi podatkov. Raziskovalci pri Cognition so pojav poimenovali »kontekstna anksioznost«. Ko se model približa meji svojega kontekstnega okna (obsega informacij, ki jih lahko obdela v enem pozivu), začne prehitro povzemati ali sprejemati hitre odločitve – kljub temu, da mu v resnici ostaja dovolj prostora za nadaljnjo obdelavo.
Za poslovne uporabnike to predstavlja resno težavo. Prav Claude se je namreč uveljavil kot eno najpriljubljenejših orodij za podjetja, ki ga uporabljajo za pregled pravnih dokumentov, finančne analize in generiranje kode. Napake zaradi prenagljenih povzetkov bi lahko imele neposredne posledice pri delovnih procesih, ki zahtevajo natančnost in kontinuiteto.
Regulacija stopnjuje pritisk
Vzporedno z razvojem narašča tudi regulativni pritisk. Kalifornija je nedavno sprejela zakon, ki zahteva, da morajo večji razvijalci umetne inteligence razkriti svoje varnostne prakse ter prijaviti kritične incidente v 15 dneh od odkritja. S tem želijo povečati transparentnost in zmanjšati tveganja pri uvajanju naprednih modelov v širšo uporabo.
