Vokenizatsiya: AI ko'ra oladigan til

• Muallif:
• Muallifning ismi

  Kvant davrini bashorat qilish
• , 9 2023 mumkin

Tabiiy tilni qayta ishlash (NLP) sun'iy intellekt (AI) tizimlariga so'zlarni tushunish va kontekstni hissiyot bilan moslashtirish orqali inson nutqini o'rganish imkonini berdi. Yagona salbiy tomoni shundaki, bu NLP tizimlari faqat matnga asoslangan. Vokenizatsiya hammasini o'zgartirmoqchi.

Vokenizatsiya konteksti

AIni inson tilini qayta ishlash va tushunishga o'rgatish uchun ko'pincha ikkita matnga asoslangan mashinani o'rganish (ML) dasturidan foydalaniladi: OpenAI'ning Generativ Pre-trained Transformer 3 (GPT-3) va Google'ning BERT (Transformatorlardan ikki tomonlama kodlovchi vakillari). AI terminologiyasida NLP treningida ishlatiladigan so'zlar tokenlar deb ataladi. Shimoliy Karolina universiteti (UNC) tadqiqotchilari matnga asoslangan o'quv dasturlari cheklanganligini, chunki ular "ko'ra olmaydi", ya'ni ular vizual ma'lumot va aloqani ushlay olmaydilar. 

Misol uchun, agar kimdir GPT-3 dan qo'yning rangi qanday deb so'rasa, tizim ko'pincha u aniq oq bo'lsa ham "qora" deb javob beradi. Buning sababi, matnga asoslangan tizim uni to'g'ri rangni aniqlash o'rniga "qora qo'y" atamasi bilan bog'laydi. Tokenlar (voken) bilan vizual tasvirlarni qo'shish orqali AI tizimlari atamalarni yaxlit tushunishga ega bo'lishi mumkin. Vokenizatsiya vokenlarni o'z-o'zidan boshqariladigan NLP tizimlariga birlashtiradi, bu ularga "sog'lom fikr" ni rivojlantirishga imkon beradi.

Til modellari va kompyuterni ko'rishni birlashtirish yangi tushuncha emas va bu sun'iy intellektni tadqiq qilishda tez rivojlanayotgan sohadir. Ushbu ikki turdagi AIning kombinatsiyasi ularning individual kuchli tomonlarini ishlatadi. GPT-3 kabi til modellari nazoratsiz o'rganish orqali o'rgatiladi, bu esa ularni osonlik bilan kengaytirish imkonini beradi. Bundan farqli o'laroq, ob'ektni aniqlash tizimlari kabi tasvir modellari to'g'ridan-to'g'ri haqiqatdan o'rganishi mumkin va matn tomonidan taqdim etilgan abstraktsiyaga tayanmaydi. Misol uchun, tasvir modellari qo'yning oq ekanligini rasmga qarab taniy oladi.

Buzg'unchi ta'sir

Vokenizatsiya jarayoni juda oddiy. Vokenlar til belgilariga mos yoki tegishli tasvirlarni belgilash orqali yaratiladi. Keyinchalik, algoritmlar (vokenizer) nazoratsiz o'rganish orqali vokenlarni yaratish uchun mo'ljallangan (aniq parametrlar/qoidalar yo'q). Vokenizatsiya orqali o'rgatilgan aqlli AI muammolarni yaxshiroq hal qilishi va muloqot qilishi mumkin, chunki ular kontekstni chuqurroq tushunishadi. Ushbu yondashuv noyobdir, chunki u nafaqat til tokenlarini bashorat qiladi, balki tasvir tokenlarini ham bashorat qiladi, bu an'anaviy BERT modellari qila olmaydigan narsadir.

Masalan, robot yordamchilar tasvirlarni taniy oladilar va jarayonlarni yaxshiroq boshqara oladilar, chunki ular ulardan nima talab qilinayotganini “ko‘ra oladilar”. Kontent yozishga o'rgatilgan sun'iy intellekt tizimlari bo'linib ketgan jumlalar o'rniga ko'proq insoniy ko'rinishga ega bo'lgan maqolalarni yaratishga qodir bo'ladi. NLP ilovalarining keng qamrovini hisobga olgan holda, vokenizatsiya yanada yaxshi ishlaydigan chatbotlar, virtual yordamchilar, onlayn tibbiy diagnostika, raqamli tarjimonlar va boshqalarga olib kelishi mumkin.

Bundan tashqari, ko'rish va til o'rganish kombinatsiyasi tibbiy tasvirlash ilovalarida, xususan, avtomatlashtirilgan tibbiy tasvir diagnostikasi uchun mashhurlik kasb etmoqda. Misol uchun, ba'zi tadqiqotchilar semantik segmentatsiya ko'p vaqt talab qilishi mumkin bo'lgan matn tavsiflari bilan rentgenogramma tasvirlarida ushbu yondashuvni sinab ko'rmoqda. Vokenizatsiya texnikasi ushbu tasvirlarni yaxshilashi va matn ma'lumotlaridan foydalangan holda avtomatlashtirilgan tibbiy tasvirni yaxshilashi mumkin.

Vokenizatsiya uchun arizalar

Vokenizatsiya uchun ba'zi ilovalar quyidagilarni o'z ichiga olishi mumkin:

• Skrinshotlar, rasmlar va veb-sayt tarkibini qayta ishlay oladigan intuitiv chatbotlar. Mijozlarni qo‘llab-quvvatlash chatbotlari, xususan, mahsulot va xizmatlarni aniq tavsiya etishi mumkin.
• Rasmlar va videolarni qayta ishlay oladigan va madaniy va vaziyatli kontekstni hisobga olgan holda aniq tarjimani ta'minlay oladigan raqamli tarjimonlar.
• Ijtimoiy media bot skanerlari tasvirlar, sarlavhalar va sharhlarni birlashtirib, yanada yaxlit his-tuyg'ularni tahlil qilish imkoniyatiga ega. Ushbu ilova zararli tasvirlarni tahlil qilishni talab qiluvchi kontent moderatsiyasida foydali bo'lishi mumkin.
• Kompyuterni ko'rish va NLP mashinalarini o'rganish bo'yicha muhandislar va ma'lumotlar olimlari uchun ish imkoniyatlarini oshirish.
• Ushbu sun'iy intellekt tizimlariga asoslangan startaplar ularni tijoratlashtirish yoki biznes uchun moslashtirilgan echimlarni taqdim etish uchun.

Izoh uchun savollar

• Sizningcha, vokenizatsiya robotlar bilan o'zaro munosabatimizni yana qanday o'zgartiradi?
• Qanday qilib vokenizatsiya biznes yuritish va gadjetlarimiz (smartfonlar va aqlli qurilmalar) bilan o'zaro munosabatimizni o'zgartirishi mumkin?