Vokenization: Harshen da AI ke iya gani

• About the Author:
• Sunan marubuci

  Quantumrun Haskaka
• Bari 9, 2023

Tsarin Harshen Halitta (NLP) ya ba da damar tsarin basirar wucin gadi (AI) don koyon magana ta ɗan adam ta hanyar fahimtar kalmomi da daidaita mahallin tare da jin daɗi. Abinda kawai ke ƙasa shine waɗannan tsarin NLP suna tushen rubutu kawai. Vokenization yana gab da canza duk wannan.

mahallin murya

Ana amfani da shirye-shiryen koyon na'ura guda biyu na tushen rubutu (ML) don horar da AI don sarrafawa da fahimtar harshen ɗan adam: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) da Google's BERT (Wakilan Encoder na Bidirectional daga Masu Canjawa). A cikin kalmomin AI, kalmomin da aka yi amfani da su a horon NLP ana kiran su alamun. Masu bincike daga Jami'ar North Carolina (UNC) sun lura cewa shirye-shiryen horarwa na rubutu suna da iyaka saboda ba za su iya "gani ba," ma'ana ba za su iya kama bayanan gani da sadarwa ba. 

Misali, idan wani ya tambayi GPT-3 menene launin tumakin, tsarin zai sau da yawa amsa “baƙar fata” ko da fari ne. Wannan amsa saboda tsarin tushen rubutu zai danganta shi da kalmar "baƙar tumaki" maimakon gano ainihin launi. Ta hanyar haɗa abubuwan gani tare da alamun (voken), tsarin AI na iya samun cikakkiyar fahimtar kalmomi. Vokenization yana haɗa vokens cikin tsarin NLP masu kulawa, yana ba su damar haɓaka "hankali na yau da kullun."

Haɗa samfuran harshe da hangen nesa na kwamfuta ba sabon ra'ayi ba ne, kuma yanki ne mai saurin faɗaɗawa cikin binciken AI. Haɗuwa da waɗannan nau'ikan AI guda biyu suna haɓaka ƙarfin kowane ɗayansu. Samfuran harshe kamar GPT-3 ana horar da su ta hanyar koyo mara kulawa, wanda ke ba su damar yin ƙima cikin sauƙi. Sabanin haka, ƙirar hoto kamar tsarin tantance abu na iya koyo kai tsaye daga gaskiya kuma ba sa dogara ga taƙaitaccen bayanin da rubutu ya bayar. Misali, sifofin hoto na iya gane cewa tunkiya fari ce ta kallon hoto.

Tasiri mai rudani

Tsarin vokenization yana da kyau madaidaiciya. Ana ƙirƙira sauti ta hanyar sanya hotuna masu dacewa ko masu dacewa zuwa alamun harshe. Sa'an nan, algorithms (vokenizer) an tsara su don samar da vokens ta hanyar ilmantarwa mara kulawa (babu ma'auni / dokoki). Hankali na yau da kullun AI wanda aka horar ta hanyar yin magana na iya sadarwa da magance matsaloli mafi kyau saboda suna da zurfin fahimtar mahallin. Wannan hanya ta musamman ce domin ba wai kawai ana hasashen alamomin harshe ba har ma da tsinkayar alamun hoto, wanda shine abin da tsarin BERT na gargajiya ya kasa yi.

Misali, mataimakan mutum-mutumi za su iya gane hotuna da gudanar da ayyuka da kyau saboda suna iya “gani” abin da ake buƙata daga gare su. Tsarin leƙen asiri na wucin gadi waɗanda aka horar da su don rubuta abun ciki za su iya ƙirƙira labaran da suka fi sautin ɗan adam, tare da ra'ayoyin da ke gudana mafi kyau, maimakon jumlolin da ba a haɗa su ba. Idan aka yi la'akari da fa'idar aikace-aikacen NLP, yin magana na iya haifar da ingantaccen aiki na chatbots, mataimakan kama-da-wane, binciken likitancin kan layi, masu fassarar dijital, da ƙari.

Bugu da ƙari, haɗin hangen nesa da koyan harshe yana samun shahara a aikace-aikacen hoto na likita, musamman don gano hoton likita ta atomatik. Misali, wasu masu bincike suna gwaji tare da wannan hanyar akan hotuna na rediyo tare da kwatancen rubutu masu raka'a, inda sashin ma'ana zai iya ɗaukar lokaci. Dabarar murya na iya haɓaka waɗannan wakilcin da haɓaka hoton likita ta atomatik ta amfani da bayanan rubutu.

Aikace-aikace don vokenization

Wasu aikace-aikace na vokenization na iya haɗawa da:

• Haɗin kai mai fa'ida wanda zai iya aiwatar da hotunan kariyar kwamfuta, hotuna, da abun cikin gidan yanar gizo. Taimakon abokin ciniki, musamman, na iya ba da shawarar samfura da sabis daidai.
• Masu fassarar dijital waɗanda za su iya aiwatar da hotuna da bidiyo da samar da ingantaccen fassarar da ke la'akari da yanayin al'adu da yanayi.
• Kafofin watsa labarun bot scanners samun damar gudanar da cikakken bincike na jin daɗi ta hanyar haɗa hotuna, taken magana, da sharhi. Wannan aikace-aikacen na iya zama da amfani a daidaita abun ciki wanda ke buƙatar nazarin hotuna masu cutarwa.
• Haɓaka damar yin aiki don hangen nesa na kwamfuta da injiniyoyin koyon injin NLP da masana kimiyyar bayanai.
• Masu farawa suna ginawa akan waɗannan tsarin AI don tallata su ko samar da mafita na musamman don kasuwanci.

Tambayoyi don yin tsokaci akai

• Ta yaya kuma kuke tunanin vokenization zai canza yadda muke hulɗa da mutummutumi?
• Ta yaya vokenization zai iya canza yadda muke gudanar da kasuwanci da hulɗa tare da na'urorin mu (wayoyin hannu da na'urori masu wayo)?