Test, namenjen preverjanju, kako dobro se Googlova umetna inteligenca znajde pri kibernetski varnosti, je prinesel precej nepričakovan rezultat.
Gemini je sam našel tri sisteme na internetu, za katere je sklepal, da sodijo v obseg preizkusa, pridobil dostopne podatke in vanje dejansko vstopil. Google je dogodek potrdil, Reuters pa ga opisuje kot prvi znani primer, ko je Googlov sistem umetne inteligence med takšnim testiranjem samostojno izvedel vdore v zunanje sisteme.
Test je prestopil meje, ki jih ne bi smel
Incident se je zgodil maja 2026 med preizkusom, ki ga je izvajalo neodvisno podjetje za ocenjevanje varnosti Irregular. Gemini je imel dostop do interneta in nalogo, povezano z varnostnim testiranjem. Težava je nastala, ko je na spletu našel tri resnične sisteme in jih napačno razumel kot dovoljene tarče testa.
V enem primeru je po poročanju Reutersa oziroma prvotnem poročanju Wall Street Journala preizkušal gesla, dokler ni pridobil dostopa. V drugih dveh primerih je našel prijavne podatke v javno dostopnem repozitoriju in jih uporabil za vstop v zaščitena sistema. Pri tem je pomembna razlika: Gemini naj ne bi prejel ukaza, naj napade ta tri podjetja. Sistem je sam sklepal, da so tarče del dovoljenega preizkusa.
Google je obvestil prizadeta podjetja
Googlova podpredsednica za varnostni inženiring Heather Adkins je povedala, da je podjetje poskrbelo, da so bile vse tri organizacije obveščene. Google je skupaj s partnerjem za testiranje nato sodeloval tudi pri spremembah postopkov, da bi zmanjšali možnost ponovitve podobnega dogodka. Po navedbah poročila je Gemini v vseh treh primerih svoje nadaljnje dejavnosti ustavil.
Irregular je povedal, da podobna težava ni bila omejena samo na Google. O sorodnih incidentih med testiranjem sistemov umetne inteligence so bili obveščeni tudi drugi laboratoriji, med njimi Meta, Anthropic in OpenAI.
Zakaj je ta primer pomembnejši od običajne napake AI?
Sistem ni samo napisal napačnega odgovora. Agent umetne inteligence je imel na voljo dovolj orodij, da je lahko iskal po spletu, sprejemal odločitve in izvajal dejanja v zunanjih računalniških sistemih.
Prav kombinacija teh sposobnosti postaja eno ključnih varnostnih vprašanj pri razvoju tako imenovanih AI-agentov. Več avtonomije pomeni, da lahko sistemi opravijo bistveno več koristnega dela, vendar je pomembneje kot prej natančno določiti, kje so njihove meje in katera dejanja potrebujejo človeško odobritev. Google sicer isto tehnologijo razvija tudi za obrambne namene. Septembra je predstavil program Fairwind, v katerem želi napredne modele Gemini uporabljati za samodejno odkrivanje in odpravljanje varnostnih ranljivosti pri izbranih organizacijah.
To ni zgodba o umetni inteligenci, ki se je odločila postati heker
Dogodek je mamljiv za takšno razlago, vendar bi bila pretirana. Razpoložljive informacije kažejo predvsem na težavo z določanjem meja varnostnega testa. Gemini je izvajal nalogo s področja kibernetske varnosti in napačno ocenil, katere sisteme sme napadati. Kljub temu primer dobro pokaže, zakaj postaja nadzor AI-agentov pomembnejši. Če lahko sistem sam poišče cilj, najde prijavne podatke in jih uporabi, lahko že napačna predpostavka povzroči dejanske posledice zunaj laboratorija.
