Vokenization: fiteny hitan'ny AI

SARY CREDIT:
Image credit
iStock

Vokenization: fiteny hitan'ny AI

Vokenization: fiteny hitan'ny AI

Lahatsoratra misy lohateniny
Miaraka amin'ny sary ampidirina amin'ny fanofanana rafitra artificial intelligence (AI) ankehitriny, mety ho afaka "hahita" baiko ny robots.
    • Author:
    • Anaran'ny mpanoratra
      Quantumrun Foresight
    • Enga anie 9, 2023

    Ny fanodinana fiteny voajanahary (NLP) dia nahafahan'ny rafi-pitantanana artifisialy (AI) mianatra ny tenin'olombelona amin'ny alàlan'ny fahatakarana ny teny sy ny fampifanarahana ny teny manodidina amin'ny fihetseham-po. Ny hany lafy ratsiny dia ireo rafitra NLP ireo dia mifototra amin'ny lahatsoratra. Efa hanova izany rehetra izany ny vokenization.

    Vokenization context

    Fandaharana fianarana milina (ML) roa mifototra amin'ny soratra no matetika ampiasaina hanofanana AI mba hamolavola sy hahatakatra ny fitenin'olombelona: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) sy Google's BERT (Bidirectional Encoder Representations from Transformers). Ao amin'ny teny AI, ny teny ampiasaina amin'ny fanofanana NLP dia antsoina hoe famantarana. Ny mpikaroka avy ao amin'ny Oniversiten'i Caroline Avaratra (UNC) dia nanamarika fa voafetra ny fandaharam-pampianarana mifototra amin'ny lahatsoratra satria tsy afaka "mahita", izany hoe tsy afaka maka vaovao sy fifandraisana hita maso. 

    Ohatra, raha misy manontany ny GPT-3 hoe inona ny lokon'ny ondry dia matetika ny rafitra dia hamaly "mainty" na dia fotsy mazava aza. Ity valinteny ity dia satria ny rafitra mifototra amin'ny lahatsoratra dia hampifandray azy amin'ny teny hoe "ondry mainty" fa tsy hamantatra ny loko marina. Amin'ny fampidirana sary miaraka amin'ny famantarana (voken), ny rafitra AI dia afaka manana fahatakarana feno momba ny teny. Ny Vokenization dia mampiditra vokens amin'ny rafitra NLP manara-maso ny tenany, mamela azy ireo hamolavola "saina mahazatra."

    Ny fampidirana ireo modely amin'ny fiteny sy ny fahitan'ny solosaina dia tsy foto-kevitra vaovao, ary sehatra miitatra haingana amin'ny fikarohana AI. Ny fitambaran'ireo karazana AI roa ireo dia mampiasa ny tanjany manokana. Ny modely amin'ny fiteny toa ny GPT-3 dia voaofana amin'ny alalan'ny fianarana tsy misy fanaraha-maso, izay ahafahan'izy ireo mizana mora foana. Mifanohitra amin'izany kosa, ny maodely sary toy ny rafitra famantarana zavatra dia afaka mianatra mivantana avy amin'ny zava-misy ary tsy miantehitra amin'ny abstraction omen'ny lahatsoratra. Ohatra, ny modely amin'ny sary dia afaka mahafantatra fa fotsy ny ondry amin'ny fijerena sary.

    Fiantraikany manakorontana

    Ny fizotran'ny vokenization dia tsotra. Vokens dia noforonina amin'ny alalan'ny fanomezana sary mifanaraka na mifanaraka amin'ny token'ny fiteny. Avy eo, ny algorithms (vokenizer) dia natao hamorona voken amin'ny alàlan'ny fianarana tsy misy fanaraha-maso (tsy misy paramètre/fitsipika mazava). Ny AI voaofana amin'ny alalan'ny vokenization dia afaka mifandray sy mamaha olana tsara kokoa satria manana fahatakarana lalindalina kokoa momba ny teny manodidina izy ireo. Ity fomba fiasa ity dia miavaka satria tsy vitan'ny hoe maminavina ny mari-pamantarana amin'ny fiteny ihany izy fa maminavina ny mari-pamantarana sary, izay zavatra tsy vitan'ny modely BERT nentim-paharazana.

    Ohatra, ireo mpanampy robotika dia ho afaka hamantatra ny sary sy hivezivezy tsara kokoa ny fizotrany satria afaka "mahita" izay takiana amin'izy ireo izy ireo. Ny rafi-pitsikilovana artifisialy voaofana hanoratra votoaty dia ho afaka hanamboatra lahatsoratra toa olona kokoa, miaraka amin'ny hevitra mikoriana tsara kokoa, fa tsy fehezanteny misaraka. Raha jerena ny halaviran'ny fampiharana NLP, ny vokenization dia mety hitarika amin'ny chatbots mahomby kokoa, mpanampy virtoaly, diagnostika ara-pitsaboana an-tserasera, mpandika teny nomerika, ary maro hafa.

    Fanampin'izany, ny fampifangaroana ny fahitana sy ny fianarana fiteny dia miha-malaza amin'ny fampiharana sary ara-pitsaboana, indrindra ho an'ny fitiliana sary ara-pitsaboana mandeha ho azy. Ohatra, ny mpikaroka sasany dia manandrana ity fomba ity amin'ny sary radiograph miaraka amin'ny famaritana lahatsoratra miaraka, izay mety handany fotoana ny fizarana semantika. Ny teknika vokenization dia afaka manatsara ireo fanehoana ireo ary manatsara ny sary ara-pitsaboana mandeha ho azy amin'ny alàlan'ny fampiasana ny fampahalalana an-tsoratra.

    Applications for vokenization

    Ny fampiharana sasany amin'ny vokenization dia mety ahitana:

    • Chatbots intuitive afaka manodina pikantsary, sary, ary votoaty tranonkala. Ny chatbots fanohanan'ny mpanjifa, indrindra indrindra, dia mety afaka manoro tsara ny vokatra sy serivisy.
    • Mpandika nomerika afaka manodina sary sy horonan-tsary ary manome fandikan-teny marina izay mandinika ny toe-javatra ara-kolontsaina sy toe-javatra.
    • Ireo scanner bot media sosialy dia afaka manao famakafakana fihetseham-po holistic kokoa amin'ny alàlan'ny fampifangaroana sary, lohateny ary fanehoan-kevitra. Ity fampiharana ity dia mety ho ilaina amin'ny fanamafisana ny votoaty izay mitaky famakafakana sary manimba.
    • Fampitomboana ny fahafahan'ny asa ho an'ny fahitana solosaina sy ny injeniera fianarana milina NLP ary mpahay siansa data.
    • Startups manorina amin'ireo rafitra AI ireo mba hamerana azy ireo na hanome vahaolana manokana ho an'ny orinasa.

    Fanontaniana handinihana

    • Ahoana koa araka ny hevitrao no hanovan'ny vokenization ny fomba fifandraisantsika amin'ny robots?
    • Ahoana no ahafahan'ny vokenization manova ny fomba fitondran-tenantsika sy ny fifandraisantsika amin'ny gadgetntsika (smartphone sy fitaovana maranitra)?

    References insight

    Ireto rohy malaza sy andrim-panjakana manaraka ireto no nalaina ho an'ity fahitana ity: