Vokenizasyon: Lang ke AI ka wè

• otè:
• non otè

  Pwovizyon Quantumrun
• Se pou 9, 2023

Pwosesis langaj natirèl (NLP) te pèmèt sistèm entèlijans atifisyèl (AI) yo aprann lapawòl moun lè yo konprann mo ak matche kontèks ak santiman an. Dezavantaj la sèlman se ke sistèm NLP sa yo se piman tèks ki baze sou. Vokenizasyon se pou chanje tout sa.

Kontèks vokenizasyon

De (ML) pwogram aprantisaj machin ki baze sou tèks yo souvan itilize pou fòme AI pou trete ak konprann lang moun: OpenAI's Generative Pre-Trained Transformer 3 (GPT-3) ak BERT Google's (Bidirectional Encoder Representations from Transformers). Nan tèminoloji AI, mo yo itilize nan fòmasyon NLP yo rele marqueur. Chèchè nan University of North Carolina (UNC) te obsève ke pwogram fòmasyon ki baze sou tèks yo limite paske yo pa ka "wè," sa vle di yo pa ka pran enfòmasyon vizyèl ak kominikasyon. 

Pa egzanp, si yon moun mande GPT-3 ki koulè mouton an ye, sistèm nan pral souvan reponn "nwa" menm si li klèman blan. Repons sa a se paske sistèm ki baze sou tèks la pral asosye li ak tèm "mouton nwa" olye pou yo idantifye koulè ki kòrèk la. Lè yo enkòpore vizyèl ak siy (voken), sistèm AI ka gen yon konpreyansyon holistic nan tèm. Vokenization entegre vokens nan sistèm NLP oto-sipèvize, ki pèmèt yo devlope "bon sans."

Entegre modèl lang ak vizyon òdinatè se pa yon nouvo konsèp, epi li se yon jaden ki rapidman agrandi nan rechèch AI. Konbinezon de kalite AI sa yo ogmante fòs endividyèl yo. Modèl lang tankou GPT-3 yo fòme atravè aprantisaj san sipèvizyon, ki pèmèt yo echèl fasil. Kontrèman, modèl imaj tankou sistèm rekonesans objè yo ka aprann dirèkteman nan reyalite epi yo pa konte sou abstrè tèks la bay. Pou egzanp, modèl imaj ka rekonèt ke yon mouton se blan lè yo gade nan yon foto.

Enpak deranje

Pwosesis vokenizasyon an trè senp. Vokens yo kreye lè yo bay imaj korespondan oswa ki enpòtan nan siy lang. Lè sa a, algorithms (vokenizer) yo fèt pou jenere vokens atravè aprantisaj san sipèvizyon (pa gen okenn paramèt / règ eksplisit). AI bon sans ki fòme atravè vokenizasyon ka kominike ak rezoud pwoblèm pi byen paske yo gen yon konpreyansyon pi apwofondi nan kontèks. Apwòch sa a inik paske li pa sèlman predi siton lang, men tou li predi jeton imaj, ki se yon bagay ke modèl tradisyonèl BERT yo pa kapab fè.

Pou egzanp, asistan robotik yo pral kapab rekonèt imaj ak navige pwosesis pi byen paske yo ka "wè" sa yo mande yo. Sistèm entèlijans atifisyèl ki fòme pou ekri kontni yo pral kapab fabrike atik ki son plis imen, ak lide ki koule pi byen, olye pou yo fraz disjointed. Lè nou konsidere lajè aplikasyon NLP yo, vokenizasyon ka mennen nan chatbots ki pi bon pèfòmans, asistan vityèl, dyagnostik medikal sou entènèt, tradiktè dijital, ak plis ankò.

Anplis de sa, konbinezon vizyon ak aprantisaj lang ap pran popilarite nan aplikasyon pou imaj medikal, espesyalman pou dyagnostik imaj medikal otomatik. Pou egzanp, kèk chèchè ap fè eksperyans ak apwòch sa a sou imaj radyografi ak deskripsyon tèks ki akonpaye, kote segmentasyon semantik ka pran tan. Teknik vokenizasyon an ka amelyore reprezantasyon sa yo epi amelyore imaj medikal otomatik lè w itilize enfòmasyon tèks la.

Aplikasyon pou vokenization

Kèk aplikasyon pou vokenizasyon ka gen ladan yo:

• Chatbots entwisyon ki ka trete Ekran, foto, ak kontni sit entènèt. Sipò pou kliyan chatbots, an patikilye, ka anmezi pou byen rekòmande pwodwi ak sèvis yo.
• Tradiktè dijital ki ka trete imaj ak videyo epi bay yon tradiksyon egzat ki konsidere kontèks kiltirèl ak sitiyasyon.
• Eskanè bot medya sosyal yo kapab fè yon analiz santiman plis holistic lè yo fusion imaj, tit, ak kòmantè. Aplikasyon sa a ka itil nan modération kontni ki mande analiz de imaj danjere.
• Ogmante opòtinite travay pou vizyon òdinatè ak enjenyè aprantisaj machin NLP ak syantis done yo.
• Startups bati sou sistèm AI sa yo pou komèrsyalize yo oswa bay solisyon Customized pou biznis yo.

Kesyon pou komante

• Ki lòt fason ou panse vokenization pral chanje fason nou kominike avèk robo?
• Ki jan vokenizasyon ka chanje fason nou fè biznis ak kominike avèk gadjèt nou yo (smartphones ak aparèy entelijan)?