Accent recognition: Kev sib txuas lus sib txawv

• Author:
• Tus sau lub npe

  quantumrun Foresight
• Lub ob hlis ntuj 19, 2024

Cov ntsiab lus ntawm kev nkag siab

Kev tshawb fawb txog kev lees paub tau txais qhov tseem ceeb tsis ntev los no vim nws nrhiav kev txhim kho kev sib txuas lus thoob plaws hom lus. Kev paub txog kev hais lus (SAR) thev naus laus zis tau npaj los txhim kho kev sib txuas lus hla kev coj noj coj ua, muab kev paub txog kev kawm tus kheej, thiab tsim txoj hauv kev ua haujlwm thaum nug txog cov ntaub ntawv ntiag tug thiab kev siv ncaj ncees. Txoj kev loj hlob ntawm SAR muaj qhov cuam tshuam loj heev, los ntawm kev txhawb nqa kev sib koom tes thoob ntiaj teb kom txhawb nqa kev koom nrog hauv zej zog thiab txhawb kev pabcuam thaum muaj xwm txheej ceev.

Accent recognition ntsiab lus

Kev tshawb fawb txog kev lees paub, tseem ceeb zuj zus nyob rau xyoo tas los no, suav nrog kev tshawb fawb thoob plaws ntau hom lus los txhim kho kev ua haujlwm ntawm lub cev. Raws li ntau lub tuam txhab nqis peev hauv kev ua kom muaj kev txhais lus ntawm lub sijhawm tiag tiag thoob plaws qhov nruab nrab, qhov kev tshawb fawb no tau nce traction. Piv txwv li, 2022 txoj kev tshawb fawb luam tawm nyob rau hauv Arabian Journal for Science thiab Engineering ua haujlwm convolutional neural networks (CNN), kev kawm sib sib zog nqus (DL) qauv, siv cov duab spectrogram kom yooj yim tshem tawm cov cim suab (lus Askiv sib tham). Qhov tseeb ntawm qhov kev lees paub qhov tseeb yog qhov tseem ceeb, nrog qhov tseeb ntawm 92.92 feem pua ​​​​rau kev sim poj niam txiv neej-kev ywj pheej thiab 93.38 feem pua ​​​​rau kev sim poj niam txiv neej. 

Lwm txoj kev tshawb fawb xyoo 2022 tau tshaj tawm hauv SSRN tau hais txog qhov yuav tsum tau muaj qhov tseeb ntawm kev sau ntawv siab hauv kev paub hais lus tsis siv neeg (ASR), tshwj xeeb tshaj yog rau cov neeg hais lus tsis yog haiv neeg thiab cov neeg hais lus. Cov kev tshawb fawb tau tsom mus rau kev lees paub cov suab lus thiab txhawb nqa cov ntaub ntawv qhia kev cob qhia nrog cov ntaub ntawv hais lus sib txawv los txhim kho ASR kev ua tau zoo. Xws li prosodic (lub suab, suab paj nruag, thiab intonation ntawm kev hais lus), lub suab hais lus, thiab cov neeg hais lus embeddings txhim kho tag nrho cov qauv raug thiab pab nyob rau hauv tsis yog haiv neeg accent paub, siv ib tug kev cai dataset npog ntiaj teb no hais lus nrog txawv accents.

Thaum kawg, txoj kev tshawb fawb xyoo 2024 tau tsom mus rau kev txhim kho Speech Accent Recognition (SAR) siv kev hloov pauv kev kawm los ntawm ntau yam kev hais lus. Cov kev tshawb fawb pom tau tias kev hloov pauv kev paub los ntawm ASR qauv ua rau muaj txiaj ntsig zoo rau SAR qhov tseeb, nrog rau 46.7 feem pua ​​​​txog kev txhim kho. Txoj kev tshawb no tau siv Conformer architecture (DL qauv siv hauv kev hais lus thiab kev ua suab) thiab kev sim ntawm cov ntaub ntawv Nyab Laj, qhia txog qhov ua tau zoo ntawm txoj hauv kev no. Zuag qhia tag nrho, qhov kev tshawb fawb no tau qhia txog lub peev xwm ntawm kev hloov pauv kev kawm kom nce qib kev lees paub hauv cov lus tsis tshua muaj peev txheej.

Kev cuam tshuam

Kev siv zog los tsim SAR thev naus laus zis txhais tau tias muaj kev sib txuas lus ntau dua thiab muaj txiaj ntsig nrog kev siv thev naus laus zis. Cov neeg los ntawm ntau haiv neeg keeb kwm tuaj yeem paub qhov tseeb thiab kev nkag siab zoo dua thaum muaj kev cuam tshuam nrog lub suab tswj hwm. Cov qauv no tuaj yeem txhim kho kev nkag mus tau yooj yim, ua kom ntseeg tau tias thev naus laus zis tau txais txiaj ntsig ntau dua ntawm cov tib neeg nrog cov lus sib txawv thiab cov qauv hais lus, thaum kawg cuam tshuam kev sib txuas lus sib txawv.

Cov tuam txhab lag luam yuav xav tau qhov tseem ceeb ntawm kev sib koom ua ke kev hais lus accent recognition technologies rau hauv lawv cov kev pabcuam neeg siv khoom thiab cov tswv yim lag luam. Los ntawm kev ua li ntawd, lawv tuaj yeem muab kev sib tham tus kheej thiab kho kom haum rau cov neeg siv khoom, ua kom lawv daws cov kev xav tau hauv cheeb tsam zoo dua. Tsis tas li ntawd, cov lag luam tuaj yeem siv cov thev naus laus zis no kom tau txais kev nkag siab tob rau hauv cov neeg siv khoom nyiam thiab kev coj cwj pwm, tso cai rau kev txiav txim siab cov ntaub ntawv ntau dua thiab txhim kho cov khoom lag luam.

Tsoom fwv, ib yam nkaus, tuaj yeem tau txais txiaj ntsig los ntawm kev txhim kho SAR technologies. Cov kev pabcuam pej xeem tuaj yeem ua tau zoo dua hauv kev pabcuam ntau haiv neeg, ua kom cov pej xeem los ntawm ntau haiv neeg tuaj yeem nkag mus rau tsoomfwv cov ntaub ntawv tseem ceeb thiab cov kev pabcuam. Tsis tas li ntawd, cov thev naus laus zis no tuaj yeem muaj kev ruaj ntseg thiab kev cai lij choj daim ntawv thov rau kev soj ntsuam lub suab thiab kev txheeb xyuas, uas tuaj yeem txhim kho kev nyab xeeb rau pej xeem.

Qhov cuam tshuam ntawm accent recognition

Cov kev cuam tshuam dav dav ntawm kev lees paub lub suab yuav suav nrog: 

• Kev sib txuas lus hla kev sib raug zoo, muaj txiaj ntsig zoo rau kev lag luam thoob ntiaj teb thiab txhawb kev sib koom tes thoob ntiaj teb.
• Muaj kev kawm paub txog tus kheej thiab tus kheej rau cov menyuam kawm ntawv uas muaj kev sib txawv thiab keeb kwm kev paub lus, txo qis kev kawm tsis sib xws.
• Cov tuam txhab hloov kho lawv cov tswv yim kev lag luam los koom nrog kev tshaj tawm kev tshaj tawm, tso cai rau lawv txuas nrog cov neeg siv khoom ntawm tus kheej ntau dua thiab cov hom phiaj tshwj xeeb ntawm cov pej xeem.
• Cov cai tswj hwm kev ceev ntiag tug ntawm cov ntaub ntawv suab, hais txog kev txhawj xeeb txog kev nyab xeeb ntawm cov ntaub ntawv thiab kev coj ncaj ncees hauv SAR technologies.
• Kev ua haujlwm nyob rau hauv cov cuab yeej siv lus, cov ntaub ntawv annotation, thiab kev ua qauv zoo.
• Txhim kho cov kev pabcuam thaum muaj xwm txheej ceev los ntawm kev txheeb xyuas cov lus thiab kev hais lus ntawm cov neeg hu xovtooj muaj kev ntxhov siab, ua rau cov lus teb sai dua thiab zoo dua.
• Cov pab cuam lub suab tau nruab nrog kev lees paub los txhim kho kev sib koom tes ntawm pej xeem, nkag mus rau cov kev pabcuam pej xeem, thiab kev tshaj tawm hauv zej zog.
• Social inclusion txo linguistic discrimination thiab biases nyob rau hauv ntau yam societal contexts.

Cov lus nug los xav txog

• SAR technologies yuav pab tau koj li cas hauv koj txoj haujlwm?
• Kev txiav txim siab zoo li cas cov lag luam thiab tsoomfwv yuav tsum xav txog thaum siv cov ntaub ntawv hais txog kev hais lus rau kev txiav txim siab thiab kev siv txoj cai?