Vokenization: Basa anu AI tiasa ningali
Vokenization: Basa anu AI tiasa ningali
Vokenization: Basa anu AI tiasa ningali
- Author:
- Bisa 9, 2023
Ngolah basa alami (NLP) parantos ngaktifkeun sistem kecerdasan buatan (AI) pikeun diajar ucapan manusa ku cara ngartos kecap sareng cocog sareng kontéks sareng sentimen. Hijina downside nyaeta sistem NLP ieu murni dumasar-téks. Vokenization badé ngarobih sadayana éta.
Kontéks vokenization
Dua program machine learning (ML) berbasis téks sering dianggo pikeun ngalatih AI pikeun ngolah sareng ngartos basa manusa: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) sareng Google's BERT (Bidirectional Encoder Representations from Transformers). Dina terminologi AI, kecap anu digunakeun dina latihan NLP disebut token. Peneliti ti University of North Carolina (UNC) niténan yén program latihan dumasar-téks diwatesan ku sabab teu bisa "ningali," hartina teu bisa nangkep informasi visual jeung komunikasi.
Salaku conto, upami aya anu naroskeun ka GPT-3 naon warna domba, sistem bakal sering ngajawab "hideung" sanaos jelas bodas. Tanggapan ieu kusabab sistem dumasar-téks bakal ngahubungkeun éta sareng istilah "domba hideung" tinimbang ngaidentipikasi warna anu leres. Ku ngalebetkeun visual sareng token (voken), sistem AI tiasa gaduh pamahaman holistik ngeunaan istilah. Vokenization ngahijikeun vokens kana sistem NLP anu diawaskeun diri, ngamungkinkeun aranjeunna ngembangkeun "akal sehat."
Ngahijikeun modél basa sareng visi komputer sanés konsép énggal, sareng éta mangrupikeun widang anu ngembang pesat dina panalungtikan AI. Kombinasi dua jinis AI ieu ngungkit kakuatan individuna. Modél basa sapertos GPT-3 dilatih ngaliwatan pembelajaran anu henteu diawasi, anu ngamungkinkeun aranjeunna gampang skala. Sabalikna, modél gambar sapertos sistem pangenal objék tiasa langsung diajar tina kanyataan sareng henteu ngandelkeun abstraksi anu disayogikeun ku téks. Contona, model gambar bisa mikawanoh yén domba téh bodas ku nempo hiji gambar.
Dampak ngaganggu
Prosés vokenization cukup lugas. Vokens dijieun ku assigning pakait atawa gambar relevan kana tokens basa. Lajeng, algoritma (vokenizer) dirancang pikeun ngahasilkeun vokens ngaliwatan learning unsupervised (euweuh parameter / aturan eksplisit). Akal sehat AI anu dilatih ngaliwatan vokenisasi tiasa komunikasi sareng ngarengsekeun masalah anu langkung saé kusabab aranjeunna gaduh pamahaman anu langkung jero ngeunaan kontéks. Pendekatan ieu unik sabab henteu ngan ukur ngaramalkeun token basa tapi ogé ngaramalkeun token gambar, anu mangrupikeun hal anu henteu tiasa dilakukeun ku modél BERT tradisional.
Salaku conto, asisten robot bakal tiasa ngenal gambar sareng napigasi prosés anu langkung saé sabab tiasa "ningali" naon anu diperyogikeun. Sistem intelijen jieunan anu dilatih pikeun nyerat eusi bakal tiasa ngadamel tulisan anu disada langkung seueur manusa, kalayan ideu anu ngalir langkung saé, tibatan kalimat anu disjointed. Mertimbangkeun jangkauan lega aplikasi NLP, vokenization tiasa nyababkeun chatbots anu langkung saé, asisten virtual, diagnosis médis online, penerjemah digital, sareng seueur deui.
Salaku tambahan, kombinasi visi sareng diajar basa janten populer dina aplikasi pencitraan médis, khusus pikeun diagnosis gambar médis otomatis. Contona, sababaraha panalungtik keur experimenting kalawan pendekatan ieu dina gambar radiograph kalawan déskripsi téks nu dibéré bareng, dimana segmentation semantis tiasa waktos-consuming. Téhnik vokenisasi tiasa ningkatkeun perwakilan ieu sareng ningkatkeun pencitraan médis otomatis ku cara ngagunakeun inpormasi téks.
Aplikasi pikeun vokenization
Sababaraha aplikasi pikeun vokenization tiasa kalebet:
- Chatbots intuitif anu tiasa ngolah Potret layar, gambar, sareng eusi halaman wéb. Pangrojong palanggan chatbots, hususna, bisa jadi akurat nyarankeun produk jeung jasa.
- Panarjamah digital anu tiasa ngolah gambar sareng pidéo sareng nyayogikeun tarjamahan anu akurat anu nganggap konteks budaya sareng situasional.
- Scanner bot média sosial tiasa ngalaksanakeun analisa sentimen anu langkung holistik ku ngahijikeun gambar, caption, sareng koméntar. Aplikasi ieu tiasa mangpaat dina moderasi eusi anu meryogikeun analisa gambar anu ngabahayakeun.
- Ningkatkeun kasempetan padamelan pikeun visi komputer sareng insinyur diajar mesin NLP sareng élmuwan data.
- Startups ngawangun sistem AI ieu pikeun komersilkeun aranjeunna atanapi nyayogikeun solusi khusus pikeun usaha.
Patarosan pikeun mairan
- Kumaha deui saur anjeun vokenization bakal ngarobih kumaha urang berinteraksi sareng robot?
- Kumaha vokenization tiasa ngarobih kumaha urang ngalaksanakeun bisnis sareng berinteraksi sareng gadget urang (smartphone sareng alat pinter)?
Rujukan wawasan
Tumbu populér sareng institusional di handap ieu dirujuk pikeun wawasan ieu: