Na platformi OpenRouter se je 20. avgusta brez velike napovedi pojavil model Ox Alpha.
Razvijalec modela Ox Alpha ni bil naveden, uporaba je bila med preizkusnim obdobjem brezplačna, tehnične lastnosti pa so ga takoj uvrstile med najzanimivejše nove modele umetne inteligence. Ponuja namreč milijon žetonov kontekstnega okna, razume besedilo, slike in video ter je zasnovan predvsem za programiranje, sklepanje in dolgotrajno delo z orodji.
Skrivnost zdaj dobiva epilog. Kitajsko podjetje Z.ai oziroma Zhipu AI je potrdilo, da je Ox Alpha nova različica iz družine GLM. Natančna oznaka modela ob potrditvi še ni bila razkrita, vendar naj bi podjetje njegove uteži objavilo danes zvečer. Takrat naj bi dokončno izvedeli, kateri model se je skrival pod imenom Ox Alpha.
Kaj je Ox Alpha?
Ox Alpha je tako imenovani prikriti oziroma »stealth« model umetne inteligence. To pomeni, da je bil uporabnikom ponujen brez javno razkritega imena razvijalca in brez običajne predstavitve, ki spremlja prihod velikega jezikovnega modela.
Takšen način preizkušanja ima pomembno prednost: uporabniki model ocenjujejo brez vpliva blagovne znamke. Če ne vedo, ali uporabljajo model podjetja Google, OpenAI, Anthropic, Xiaomi ali Z.ai, so njihove ocene praviloma bolj osredotočene na kakovost odgovorov, hitrost in zanesljivost.
Ox Alpha se je na OpenRouterju pojavil z naslednjimi lastnostmi:
- kontekstno okno z 1.048.576 žetoni,
- največ 131.072 izhodnih žetonov,
- podpora besedilu, slikam in videu,
- besedilni odgovori,
- obvezno sklepanje z nastavitvami low, high in max,
- podpora uporabi orodij in strukturiranim odgovorom,
- brezplačna uporaba med omejenim preizkusnim obdobjem.
Milijon žetonov konteksta teoretično omogoča obdelavo zelo velikih količin podatkov v eni seji: obsežnih programskih repozitorijev, več sto strani dokumentacije, dnevnikov delovanja ali dolgih poslovnih poročil. Veliko kontekstno okno samo po sebi še ne zagotavlja kakovostnih odgovorov, vendar je posebej koristno pri programskih agentih, ki morajo razumeti povezave med številnimi datotekami.
Zakaj je Ox Alpha tako zanimiv?
Model pozornosti ni pritegnil zgolj zaradi skrivnostnega izvora. Pomembnejša je kombinacija dolgega konteksta, multimodalnih vhodov in sposobnosti večstopenjskega reševanja nalog.
Ox Alpha ni zasnovan le za kratke odgovore v klepetalniku. Njegov glavni cilj so tako imenovane agentske naloge, pri katerih mora umetna inteligenca načrtovati več korakov, uporabljati orodja, pregledovati programsko kodo, izvajati popravke in preverjati njihove rezultate. Prav pri takšnih nalogah imajo številni modeli še vedno težave, čeprav dosegajo odlične rezultate pri klasičnih vprašanjih in testih znanja.
Zanimiva je tudi njegova brezplačna dostopnost. Ta je razvijalcem omogočila enotedensko obsežno preizkušanje brez visokih stroškov API-ja. Toda brezplačno obdobje je treba razumeti kot začasni predogled. Končna cena, omejitve uporabe in dolgoročna razpoložljivost bodo verjetno znane šele po uradni predstavitvi.
Kakšne rezultate dosega Ox Alpha?
Rezultati kažejo, da gre za zmogljiv model za programiranje, vendar je pri njihovem razlaganju potrebna previdnost. Različni testi uporabljajo različne pozive, programske agente, število poskusov in načine ocenjevanja, zato rezultatov ni mogoče vedno neposredno primerjati.
Največ pozornosti je sprva dobil preizkus desetih praktičnih programskih nalog, na katerem je Ox Alpha rešil osem nalog oziroma dosegel 80 odstotkov. Na istem izboru je prehitel več znanih modelov. Toda deset nalog je premajhen vzorec za trditev, da je Ox Alpha najboljši programski model na trgu.
Precej bolj uporaben je poznejši preizkus DeepSWE s 113 nalogami. Ox Alpha je uspešno zaključil 66 nalog oziroma 58,4 odstotka. Pri 80 odstotkih nalog je prestal najmanj 90 odstotkov testov, del neuspehov pa je bil povezan z nepravilnim zapisom klicev orodij in ne nujno z napačnim sklepanjem. To kaže, da je model pogosto prišel zelo blizu pravilni rešitvi, vendar je imel občasne težave pri zanesljivi izvedbi celotnega postopka.
Na preizkusu Agents on Rails je dosegel 52 uspešnih izvedb od 63 oziroma 82,5 odstotka. S tem se je izenačil z Grokom 4.6, zaostal za nekaterimi najzmogljivejšimi modeli, vendar prehitel javno različico GLM-5.3, ki je dosegla 79,4 odstotka. Ox Alpha je bil pri tem razmeroma počasen, saj je bila srednja dolžina izvedbe približno 19 minut in pol.
Drugačno sliko pokaže neodvisni preizkus LiveCodeBench. Pri neposrednem ustvarjanju kode brez agentskega ogrodja, dodatnih orodij in ponovnih poskusov je model pravilno rešil 49 od 175 nalog oziroma 28 odstotkov. Na lahkih nalogah je dosegel 51,2 odstotka, na srednje zahtevnih 30,8 odstotka in na težkih 13,8 odstotka.
Razkorak med rezultati ni nujno protislovje. Kaže predvsem, da je Ox Alpha verjetno boljši kot del programskega agenta, ki lahko pregleduje datoteke, uporablja orodja in popravlja svoje rešitve, kot pri ustvarjanju popolne programske kode v enem samem poskusu.
Kateri model se najverjetneje skriva pod imenom Ox Alpha?
Še preden je Z.ai potrdil povezavo z družino GLM, je več tehničnih sledi kazalo prav v to smer. Neodvisni preizkuševalci so poročali, da je Ox Alpha pri različnih besedilih, programski kodi, emojijih in kitajskih znakih uporabljal praktično enak način razdeljevanja besedila na žetone kot GLM-5.3. Razlika je bila večinoma stalnih 75 žetonov, kar bi lahko pojasnil skriti sistemski poziv.
Model je uporabljal tudi enake stopnje sklepanja kot GLM-5.3, podobna pravila za obvezno sklepanje in zelo podobna sporočila o napakah API-ja. Poleg tega ima skoraj enako veliko kontekstno okno in največjo dolžino odgovora.
Najpogosteje omenjeno neuradno ime je GLM-5.3 Flash, vendar ta oznaka do uradne objave uteži ni potrjena. Možno je tudi, da gre za:
- multimodalno različico GLM-5.3,
- novejšo razvojno različico iz družine GLM-5,
- predogled prihodnjega modela GLM-5.5,
- poseben model za programiranje in agentsko delo.
Pomembna razlika je multimodalnost. Javno predstavljeni GLM-5.3 je bil usmerjen predvsem v besedilo, Ox Alpha pa sprejema tudi slike in video. Zato najverjetneje ne gre zgolj za preimenovano javno različico GLM-5.3, temveč za soroden ali novejši model.
Z.ai ima s prikritimi modeli že izkušnje
Dodatna sled je bil model Pony Alpha, ki je bil prav tako anonimno preizkušen prek OpenRouterja. Pozneje se je izkazalo, da je šlo za zgodnjo različico modela GLM-5. Poimenovanje Ox Alpha zato nadaljuje že znan vzorec: živalsko ime, oznaka Alpha, brezplačni preizkus in razkritje identitete po zbiranju odzivov razvijalcev.
Podobno taktiko so uporabljala tudi druga podjetja. Xiaomi je denimo nekatere modele pred uradno predstavitvijo ponudil pod anonimnimi oznakami. Prikriti modeli tako postajajo svojevrsten javni laboratorij, v katerem proizvajalci dobijo podatke o resnični uporabi, še preden razkrijejo blagovno znamko in ceno.
Danes bo znano, kateri model je Ox Alpha
Ključni del uganke je že rešen: Ox Alpha prihaja iz podjetja Z.ai in pripada družini GLM. Odprto ostaja njegovo natančno komercialno ime ter vprašanje, ali gre za izboljšani GLM-5.3, različico Flash, multimodalni model ali povsem novo generacijo.
Z.ai naj bi danes zvečer objavil uteži modela. Objava konfiguracije, tokenizerja in dokumentacije bi morala razkriti njegovo pravo ime, arhitekturo, velikost ter licenco. Hkrati bomo verjetno izvedeli, ali bo model mogoče poganjati na lastni infrastrukturi in kakšna bo njegova cena pri ponudnikih v oblaku.
Za uporabnike je najpomembnejši nauk nekoliko širši. Ox Alpha je pokazal, da se lahko nov model brez prepoznavne znamke v nekaj dneh uveljavi med razvijalci, če ponuja dovolj dobro razmerje med zmogljivostjo, dolgim kontekstom in dostopnostjo. Današnje razkritje zato ne bo zanimivo le zaradi imena. Pokazalo bo tudi, kako resen tekmec je Z.ai postal vodilnim ameriškim in kitajskim laboratorijem umetne inteligence.
