Vokenization: Cov lus uas AI tuaj yeem pom

• Author:
• Tus sau lub npe

  Quantumrun Foresight
• Tej zaum 9, 2023

Natural language processing (NLP) tau ua kom muaj kev txawj ntse txawj ntse (AI) tshuab los kawm tib neeg hais lus los ntawm kev nkag siab cov lus thiab sib piv cov ntsiab lus nrog kev xav. Qhov tsuas yog downside yog tias cov NLP no yog cov ntawv nyeem nkaus xwb. Vokenization tab tom yuav hloov txhua yam ntawd.

Vokenization ntsiab lus

Ob qhov kev kawm siv tshuab nyeem ntawv (ML) feem ntau yog siv los cob qhia AI kom ua tiav thiab nkag siab tib neeg cov lus: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) thiab Google's BERT (Bidirectional Encoder Sawv Cev los ntawm Transformers). Hauv AI terminology, cov lus siv hauv NLP kev cob qhia yog hu ua tokens. Cov kws tshawb fawb los ntawm University of North Carolina (UNC) tau pom tias cov kev qhia ntawv-raws li kev kawm raug txwv vim lawv tsis tuaj yeem "pom," txhais tau tias lawv tsis tuaj yeem ntes cov ntaub ntawv pom thiab kev sib txuas lus. 

Piv txwv li, yog tias ib tug neeg nug GPT-3 seb cov yaj yog xim dab tsi, lub kaw lus feem ntau yuav teb "dub" txawm tias nws yog xim dawb. Cov lus teb no yog vim cov ntawv nyeem yuav koom nrog lo lus "dub yaj" es tsis txhob txheeb xyuas qhov tseeb xim. Los ntawm kev siv cov duab pom nrog tokens (voken), AI systems tuaj yeem muaj kev nkag siab zoo ntawm cov ntsiab lus. Vokenization koom ua ke vokens rau hauv kev saib xyuas tus kheej NLP cov txheej txheem, tso cai rau lawv tsim "kev nkag siab zoo."

Kev koom ua ke cov qauv lus thiab lub zeem muag hauv computer tsis yog lub tswv yim tshiab, thiab nws yog qhov nthuav dav sai hauv kev tshawb fawb AI. Kev sib xyaw ua ke ntawm ob hom AI no txhawb nqa lawv tus kheej lub zog. Cov qauv lus zoo li GPT-3 raug cob qhia los ntawm kev kawm tsis muaj kev saib xyuas, uas tso cai rau lawv ntsuas tau yooj yim. Hauv qhov sib piv, cov qauv duab zoo li cov cuab yeej paub txog cov khoom tuaj yeem kawm ncaj qha los ntawm kev muaj tiag thiab tsis txhob cia siab rau qhov kev xav tau los ntawm cov ntawv nyeem. Piv txwv li, cov qauv duab tuaj yeem paub tias yaj yog dawb los ntawm kev saib ib daim duab.

Kev cuam tshuam

Cov txheej txheem ntawm vokenization yog zoo nkauj ncaj nraim. Vokens yog tsim los ntawm kev muab cov duab sib xws lossis cuam tshuam rau cov lus tokens. Tom qab ntawd, algorithms (vokenizer) yog tsim los tsim cov vokens los ntawm kev kawm tsis muaj kev saib xyuas (tsis muaj qhov tsis meej / cov cai). Kev nkag siab zoo AI tau kawm los ntawm vokenization tuaj yeem sib txuas lus thiab daws teeb meem zoo dua vim tias lawv muaj kev nkag siab ntau dua ntawm cov ntsiab lus. Txoj hauv kev no yog qhov tshwj xeeb vim nws tsis tsuas yog kwv yees cov lus tokens xwb tab sis kuj kwv yees duab tokens, uas yog ib yam dab tsi uas cov qauv BERT ib txwm ua tsis tau.

Piv txwv li, cov kws pab neeg hlau yuav muaj peev xwm paub txog cov duab thiab taug qab cov txheej txheem zoo dua vim tias lawv tuaj yeem "pom" yam lawv xav tau. Artificial txawj ntse tshuab tau cob qhia los sau cov ntsiab lus yuav tuaj yeem tsim cov khoom siv uas suab ntau dua tib neeg, nrog cov tswv yim uas ntws zoo dua, tsis yog cov kab lus tsis sib xws. Xav txog qhov dav dav ntawm NLP daim ntawv thov, vokenization tuaj yeem ua rau kev ua haujlwm zoo dua chatbots, tus pab cuam virtual, kuaj mob online, tus txhais lus digital, thiab ntau dua.

Tsis tas li ntawd, kev sib koom ua ke ntawm lub zeem muag thiab kev kawm lus tau txais txiaj ntsig zoo hauv daim ntawv thov kev kho mob, tshwj xeeb rau kev kuaj xyuas cov duab kho mob. Piv txwv li, qee cov kws tshawb fawb tab tom sim nrog txoj hauv kev no ntawm cov duab hluav taws xob nrog cov lus piav qhia, qhov twg semantic segmentation tuaj yeem siv sijhawm ntev. Cov txheej txheem vokenization tuaj yeem txhim kho cov kev sawv cev no thiab txhim kho kev kho mob automated los ntawm kev siv cov ntaub ntawv ntawv.

Cov ntawv thov rau vokenization

Qee cov ntawv thov rau vokenization yuav suav nrog:

• Intuitive chatbots uas tuaj yeem ua cov screenshots, duab, thiab cov ntsiab lus hauv lub vev xaib. Cov neeg siv khoom txhawb nqa chatbots, tshwj xeeb, tuaj yeem pom zoo cov khoom thiab cov kev pabcuam.
• Cov neeg txhais lus digital uas tuaj yeem ua cov duab thiab yeeb yaj kiab thiab muab kev txhais lus tseeb uas suav nrog cov ntsiab lus ntawm kab lis kev cai thiab cov xwm txheej.
• Social media bot scanners tuaj yeem ua qhov kev soj ntsuam kev xav ntau dua los ntawm kev sib koom ua ke cov duab, kab lus, thiab cov lus pom. Daim ntawv thov no tuaj yeem muaj txiaj ntsig zoo hauv cov ntsiab lus nruab nrab uas yuav tsum tau soj ntsuam cov duab tsis zoo.
• Txhim kho txoj hauv kev ua haujlwm rau lub khoos phis tawj thiab NLP tshuab kev kawm engineers thiab cov kws tshawb fawb cov ntaub ntawv.
• Startups tsim ntawm cov AI systems los ua lag luam rau lawv lossis muab cov kev daws teeb meem rau kev lag luam.

Cov lus nug los tawm tswv yim

• Lwm yam koj xav tias vokenization yuav hloov li cas peb cuam tshuam nrog cov neeg hlau?
• Yuav ua li cas vokenization hloov pauv li cas peb ua lag luam thiab cuam tshuam nrog peb cov khoom siv (smartphones thiab cov khoom siv ntse)?