OpenAI je razvil pomočnika za umetno inteligenco, imenovanega CriticGPT, da bi svojim množičnim iskalcem napak pomagal pri nadaljnjem izboljšanju modela GPT-4. Zazna subtilne napake kodiranja, ki bi jih ljudje sicer lahko spregledali.
Ko je velik jezikovni model, kot je GPT-4, prvotno usposobljen, je nato podvržen stalnemu procesu izpopolnjevanja, znanemu kot krepitveno učenje iz človeških povratnih informacij (RLHF). Ljudje sodelujejo s sistemom in komentirajo odgovore na različna vprašanja ter ocenjujejo različne odgovore drug proti drugemu, tako da se sistem nauči vrniti prednostni odgovor in poveča natančnost odziva modela.
Težava je v tem, da lahko z izboljšanjem delovanja sistema prehiteva raven strokovnega znanja ljudi, postopek prepoznavanja napak, pa postaja vse težji.
Upoštevajte, da ti ljudjeI niso vedno strokovnjaki za zadeve. Lansko leto so OpenAI ujeli, ko je uporabil kenijske delavce – in jim plačal manj kot 2 USD na uro – za izboljšanje zmogljivosti svojih modelov.
