Vokenization: ʻŌlelo e ʻike ʻia e AI

• Author:
• Ka inoa o ka mea kākau

  Quantumrun Foresight
• E 9, 2023

ʻO ka hoʻoponopono ʻōlelo kūlohelohe (NLP) i hiki i nā ʻōnaehana naʻauao (AI) ke aʻo i ka ʻōlelo kanaka ma o ka hoʻomaopopo ʻana i nā huaʻōlelo a me ka hoʻohālikelike ʻana i ka pōʻaiapili me ka manaʻo. ʻO ka haʻahaʻa wale nō ʻo kēia mau ʻōnaehana NLP maʻemaʻe i ka kikokikona. Ke hoʻololi nei ka Vokenization i nā mea āpau.

pōʻaiapili Vokenization

Hoʻohana pinepine ʻia ʻelua mau polokalamu aʻo mīkini e pili ana i ka kikokikona (ML) no ka hoʻomaʻamaʻa ʻana iā AI e hana a hoʻomaopopo i ka ʻōlelo kanaka: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) a me Google's BERT (Bidirectional Encoder Representations from Transformers). I ka hua'ōlelo AI, ua kapa ʻia nā huaʻōlelo i hoʻohana ʻia i ka hoʻomaʻamaʻa NLP he mau hōʻailona. Ua ʻike ka poʻe noiʻi mai ke Kulanui o North Carolina (UNC) ua kaupalena ʻia nā papahana hoʻomaʻamaʻa kikokikona no ka mea ʻaʻole hiki iā lākou ke "ʻike," ʻo ia hoʻi ʻaʻole hiki iā lākou ke hopu i ka ʻike ʻike a me ke kamaʻilio. 

No ka laʻana, inā nīnau kekahi iā GPT-3 i ke kala o ka hipa, e pane pinepine ka ʻōnaehana "ʻeleʻele" inā he keʻokeʻo keʻokeʻo. ʻO kēia pane no ka mea e pili ana ka ʻōnaehana kikokikona me ka huaʻōlelo "hipa ʻeleʻele" ma mua o ka ʻike ʻana i ke kala kūpono. Ma ka hoʻokomo ʻana i nā hiʻohiʻona me nā hōʻailona (voken), hiki i nā ʻōnaehana AI ke loaʻa ka ʻike holoʻokoʻa o nā huaʻōlelo. Hoʻohui ka Vokenization i nā vokens i nā ʻōnaehana NLP mālama ponoʻī iā lākou, e ʻae iā lākou e hoʻomohala i ka "manaʻo maʻamau."

ʻO ka hoʻohui ʻana i nā kumu hoʻohālike ʻōlelo a me ka ʻike kamepiula ʻaʻole ia he manaʻo hou, a he kahua wikiwiki ia i ka noiʻi AI. ʻO ka hui pū ʻana o kēia mau ʻano ʻelua o AI e hoʻohana i ko lākou mau ikaika ponoʻī. Hoʻomaʻamaʻa ʻia nā ʻōlelo hoʻohālike e like me GPT-3 ma o ke aʻo ʻana ʻole i mālama ʻia, e hiki ai iā lākou ke hoʻonui maʻalahi. ʻO ka ʻokoʻa, hiki i nā hiʻohiʻona kiʻi e like me nā ʻōnaehana ʻike mea hiki ke aʻo pololei mai ka ʻoiaʻiʻo a ʻaʻole hilinaʻi i ka abstraction i hāʻawi ʻia e ka kikokikona. Eia kekahi laʻana, hiki i nā hiʻohiʻona kiʻi ke hoʻomaopopo he keʻokeʻo ka hipa ma ka nānā ʻana i ke kiʻi.

Ka hopena hoʻopilikia

He maʻalahi ka hana o ka vokenization. Hana ʻia nā Vokens ma ka hāʻawi ʻana i nā kiʻi kūpono a pili paha i nā hōʻailona ʻōlelo. A laila, hoʻolālā ʻia nā algorithms (vokenizer) e hoʻohua i nā vokens ma o ke aʻo ʻana ʻaʻole i mālama ʻia (ʻaʻohe ʻāpana kikoʻī / kānāwai). Hiki i ka manaʻo maʻamau ke aʻo ʻia ʻo AI ma o ka vokenization ke kamaʻilio a hoʻoponopono maikaʻi i nā pilikia no ka mea ua loaʻa iā lākou ka ʻike hohonu o ka pōʻaiapili. He ʻokoʻa kēia ala no ka mea ʻaʻole ia e wānana wale i nā hōʻailona ʻōlelo akā wānana pū kekahi i nā hōʻailona kiʻi, kahi mea hiki ʻole i nā hiʻohiʻona BERT maʻamau ke hana.

No ka laʻana, hiki i nā mea kōkua robotic ke ʻike i nā kiʻi a hoʻokele i nā kaʻina hana ʻoi aku ka maikaʻi no ka mea hiki iā lākou ke "ʻike" i nā mea e pono ai iā lākou. Hiki i nā ʻōnaehana naʻauao akamai i aʻo ʻia e kākau i nā ʻatikala e hiki ke hana i nā ʻatikala i ʻoi aku ka maikaʻi o ke kanaka, me nā manaʻo e kahe maikaʻi ana, ma kahi o nā ʻōlelo hoʻokaʻawale. Ke noʻonoʻo nei i ka ākea ākea o nā noi NLP, hiki i ka vokenization ke alakaʻi i nā chatbots maikaʻi aʻe, nā mea kōkua virtual, nā maʻi lapaʻau pūnaewele, nā unuhi unuhi, a me nā mea hou aku.

Hoʻohui ʻia, ʻo ka hui pū ʻana o ka ʻike a me ke aʻo ʻana i ka ʻōlelo e loaʻa i ka kaulana i nā noi kiʻi lāʻau lapaʻau, kikoʻī no ka maʻi maʻi kiʻi maʻamau. No ka laʻana, ke hoʻāʻo nei kekahi poʻe noiʻi i kēia ala ma nā kiʻi radiograph me nā wehewehe kikokikona, kahi e hoʻopau ai i ka manawa. Hiki i ka ʻenehana vokenization ke hoʻonui i kēia mau hiʻohiʻona a hoʻomaikaʻi i ke kiʻi lapaʻau automated ma o ka hoʻohana ʻana i ka ʻike kikokikona.

Nā noi no ka vokenization

Hiki ke komo i kekahi mau noi no ka vokenization:

• Hiki i nā chatbots intuitive ke hana i nā screenshots, nā kiʻi, a me nā ʻike pūnaewele. Hiki i nā chatbots kākoʻo o nā mea kūʻai aku ke kuhikuhi pololei i nā huahana a me nā lawelawe.
• Hiki i nā unuhi unuhi kikohoʻe ke hana i nā kiʻi a me nā wikiō a hāʻawi i ka unuhi pololei e noʻonoʻo ana i ka pōʻaiapili moʻomeheu a me ke kūlana.
• Hiki i ka poʻe kālai'āina bot media ke hana i kahi loiloi manaʻo holistic ma o ka hoʻohui ʻana i nā kiʻi, nā captions, a me nā manaʻo. Hiki ke hoʻohana ʻia kēia noi i ka hoʻololi ʻana i ka ʻike e pono ai ka nānā ʻana i nā kiʻi ʻino.
• Hoʻonui i nā manawa hana no ka ʻike kamepiula a me nā ʻenekini aʻo mīkini NLP a me nā ʻepekema data.
• Hoʻomaka ka hoʻomaka ʻana ma kēia mau ʻōnaehana AI e kūʻai aku iā lākou a i ʻole hāʻawi i nā hoʻonā maʻamau no nā ʻoihana.

Nā nīnau e manaʻo ai

• Pehea ʻoe e manaʻo ai e hoʻololi ka vokenization i ke ʻano o kā mākou launa pū ʻana me nā robots?
• Pehea e hoʻololi ai ka vokenization i ke ʻano o kā mākou hana ʻana i ka ʻoihana a me ka launa pū me kā mākou mau hāmeʻa (smartphones a me nā mea hana akamai)?