Raziskovalci so ugotovili, da si Whisper pogosto izmisli celotne odlomke besedila.
Novo orodje OpenAI za transkripcijo zvoka z umetno inteligenco Whisper ima pogoste “halucinacije ” kljub pogosti uporabi v industrijah z visokim tveganjem, kot je zdravstvo.
Podjetje Nabla uporablja Whisper za orodje za medicinsko prepisovanje, za katerega ocenjuje, da je prepisalo 7 milijonov zdravstvenih pogovorov. Uporablja ga več kot 30.000 zdravnikov in 40 zdravstvenih sistemov. Pri podjetju Nabla naj bi se zavedali Whisperjevih halucinacij in naj bi problem tudi reševali.
Raziskovalec Univerze v Michiganu, ki je proučeval javna srečanja, je odkril halucinacije v osmih od vsakih 10 zvočnih transkripcij. Inženir strojnega učenja je preučil več kot 100 ur transkripcij Whisperja in pri več kot polovici našel halucinacije. Razvijalec je poročal, da je našel halucinacije v skoraj vseh 26.000 transkripcijah, ki jih je ustvaril z Whisperjem.
Orodje naj bi sestavljalo cele stavke z včasih neprijetnimi čustvi ali nesmiselnimi frazami med tišino v posnetkih. Raziskovalci, ki so v okviru študije zbrali zvočne vzorce iz TalkBankove banke AphasiaBank, ugotavljajo, da je tišina še posebej pogosta, ko govori nekdo z jezikovno motnjo, imenovano afazija. Ugotovili so tudi, da so halucinacije vključevale tudi izmišljena zdravstvena stanja ali fraze, ki jih lahko pričakujete od videoposnetka na YouTubu, kot je na primer “Hvala za ogled!”
Tovrstne napake imajo lahko v medicinskem okolju resne posledice. Tiskovni predstavnik OpenAI je dejal, da podjetje nenehno dela na izboljšanju natančnosti njihovih modelov, vključno z zmanjšanjem halucinacij in opozoril, da njihova politika uporabe prepoveduje uporabo Whisperja “v določenih kontekstih odločanja z velikimi vložki.”
