Vokenization: Asụsụ AI nwere ike ịhụ

• Banyere chepụtara:
• Aha onye edemede

  Quantumrun ịhụ ụzọ
• Nwere ike 9, 2023

Nhazi asụsụ eke (NLP) enyerela sistemu ọgụgụ isi (AI) aka ịmụta okwu mmadụ site n'ịghọta okwu na imekọ ọnọdụ ya na mmetụta ahụ. Naanị ihe dị njọ bụ na sistemụ NLP ndị a dabere na ederede. Vokenization na-achọ ịgbanwe ihe niile.

Ọnọdụ ịkpọ ụda

A na-ejikarị mmemme mmụta igwe eji eme ihe abụọ (ML) iji zụọ AI ka ọ hazie ma ghọta asụsụ mmadụ: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) na Google's BERT (Bidirectional Encoder Representations from Transformers). N'okwu AI, okwu eji na ọzụzụ NLP ka a na-akpọ tokens. Ndị na-eme nchọpụta na Mahadum North Carolina (UNC) chọpụtara na mmemme ọzụzụ dabeere na ederede nwere oke n'ihi na ha enweghị ike "ịhụ," nke pụtara na ha enweghị ike ijide ozi anya na nkwurịta okwu. 

Dịka ọmụmaatụ, ọ bụrụ na mmadụ ajụ GPT-3 ihe agba atụrụ bụ, usoro ahụ ga-azakarị "nwa" ọbụlagodi na ọ na-acha ọcha. Nzaghachi a bụ n'ihi na usoro ederede ga-ejikọta ya na okwu "atụrụ ojii" kama ịchọpụta agba ziri ezi. Site na itinye ihe onyonyo na token (voken), sistemụ AI nwere ike inwe nghọta zuru oke nke okwu. Vokenization na-ejikọta vokens n'ime usoro NLP na-elekọta onwe ya, na-enye ha ohere ịzụlite "ezi uche."

Ijikọta ụdị asụsụ na ọhụụ kọmputa abụghị echiche ọhụrụ, ọ bụkwa mpaghara na-agbasa ngwa ngwa na nyocha AI. Nchikota nke ụdị abụọ a nke AI na-eme ka ike nke onye ọ bụla nwee ike. A na-azụ ụdị asụsụ dị ka GPT-3 site na mmụta na-enweghị nlekọta, nke na-enye ha ohere ịbawanye ngwa ngwa. N'ụzọ dị iche, ụdị onyonyo dị ka sistemụ njirimara ihe nwere ike mụta ihe ozugbo site na eziokwu yana adabereghị na abstraction nke ederede nyere. Dịka ọmụmaatụ, ụdị ihe oyiyi nwere ike ịmata na atụrụ na-acha ọcha site n'ile anya na foto.

Mmetụta na-emebi emebi

Usoro nke vokenization mara mma kwụ ọtọ. A na-emepụta ụda olu site na-ekenye onyonyo kwekọrọ ma ọ bụ dabara na akara asụsụ. Mgbe ahụ, a na-emebe algọridim (vokenizer) iji mepụta vokens site na mmụta anaghị elekọta (enweghị paramita/iwu doro anya). Ọgụgụ isi nke AI zụrụ site na vokenization nwere ike ịkparịta ụka ma dozie nsogbu nke ọma n'ihi na ha nwere nghọta miri emi nke ihe gbara ya gburugburu. Ụzọ a pụrụ iche n'ihi na ọ bụghị nanị na ọ na-ebu amụma akara asụsụ kamakwa ọ na-ebu amụma ihe oyiyi, nke bụ ihe ụdị BERT omenala na-enweghị ike ime.

Dịka ọmụmaatụ, ndị na-enyere aka robotic ga-enwe ike ịmata ihe oyiyi na ịnyagharịa usoro nke ọma n'ihi na ha nwere ike "ịhụ" ihe achọrọ n'aka ha. Sistemụ ọgụgụ isi arụrụ arụ a zụrụ azụ ide ọdịnaya ga-enwe ike imepụta akụkọ na-ada ụda karịa mmadụ, nwere echiche ndị na-aga nke ọma karịa nkebi ahịrịokwu ndị na-agbakọta. N'ịtụle ohere dị ukwuu nke ngwa NLP, ịkpọ okwu nwere ike iduga na mkparịta ụka na-arụ ọrụ nke ọma, ndị enyemaka mebere, nyocha ahụike n'ịntanetị, ndị ntụgharị dijitalụ, na ndị ọzọ.

Na mgbakwunye, njikọta nke ọhụụ na mmụta asụsụ na-enweta ewu ewu na ngwa onyonyo ahụike, ọkachasị maka nyocha onyonyo ahụike akpaaka. Dịka ọmụmaatụ, ụfọdụ ndị na-eme nchọpụta na-anwale usoro a na foto redio yana nkọwa ederede na-esote, ebe nhazi nke semantic nwere ike na-ewe oge. Usoro ụda olu nwere ike welie ihe ngosi ndị a ma melite onyonyo ahụike akpaghị aka site na iji ozi ederede.

Ngwa maka vokenization

Ụfọdụ ngwa maka ịkpọ ụda nwere ike ịgụnye:

• Mkparịta ụka nwere ọgụgụ isi nke nwere ike hazie nseta ihuenyo, foto na ọdịnaya weebụsaịtị. Nkwado ndị ahịa chatbots, ọkachasị, nwere ike ịkwado ngwaahịa na ọrụ nke ọma.
• Ndị ntụgharị dijitalụ nwere ike hazie onyonyo na vidiyo wee nye ntụgharị asụsụ ziri ezi nke na-atụle ọnọdụ ọdịnala na ọnọdụ.
• Ihe nyocha bot mgbasa ozi na-elekọta mmadụ na-enwe ike ịme nyocha mmetụta zuru oke site na ijikọ onyonyo, nkọwa okwu na nkọwa. Ngwa a nwere ike ịba uru na nhazi ọdịnaya nke chọrọ nyocha nke onyonyo ndị na-emerụ ahụ.
• Ịbawanye ohere ọrụ maka ọhụụ kọmputa na ndị injinia mmụta igwe NLP na ndị sayensị data.
• Mmalite na-ewu na sistemụ AI ndị a iji zụọ ahịa ha ma ọ bụ wepụta ihe ngwọta ahaziri maka azụmaahịa.

Ajụjụ ị ga-aza ajụjụ

• Kedu ihe ọzọ ị chere na vokenization ga-agbanwe ka anyị na robots si emekọrịta ihe?
• Kedu ka vokenization ga-esi gbanwee ka anyị si azụ ahịa ma soro ngwa anyị na-emekọrịta ihe (smartphone na ngwa smart)?