Vokenization: AI көрө турган тил

• Author:
• Жазуучу аты

  Quantumrun Foresight
• 9 мүмкүн, 2023

Табигый тилди иштетүү (NLP) жасалма интеллект (AI) тутумдарына сөздөрдү түшүнүү жана контекстти сезим менен дал келтирүү аркылуу адамдын кептерин үйрөнүүгө мүмкүндүк берди. Бир гана жетишпеген жагы бул NLP тутумдары текстке негизделген. Вокенизация мунун баарын өзгөртөт.

Vokenization контекст

Эки текстке негизделген машина үйрөнүү (ML) программасы көбүнчө AIди адам тилин иштеп чыгууга жана түшүнүүгө үйрөтүү үчүн колдонулат: OpenAI's Generative Pre-trained Transformer 3 (GPT-3) жана Google'дун BERT (Transformers эки багыттуу коддоочу өкүлчүлүктөрү). AI терминологиясында NLP тренингинде колдонулган сөздөр токендер деп аталат. Түндүк Каролина университетинин (UNC) изилдөөчүлөрү текстке негизделген окутуу программалары чектелүү экенин байкашкан, анткени алар “көрбөйт”, башкача айтканда, алар визуалдык маалыматты жана байланышты кармай албайт. 

Мисалы, кимдир-бирөө GPT-3тен койдун түсү кандай деп сураса, ал ачык ак болсо да, система көбүнчө "кара" деп жооп берет. Бул жооп, анткени текстке негизделген система аны туура түстү аныктоонун ордуна "кара кой" деген термин менен байланыштырат. Токендер (voken) менен визуалдык көрүнүштөрдү кошуу менен AI системалары терминдерди толук түшүнө алат. Vokenization вокендерди өзүн-өзү башкарган NLP системаларына бириктирип, аларга "акыл-эсти" өнүктүрүүгө мүмкүндүк берет.

Тил моделдерин жана компьютердик көрүнүштөрдү интеграциялоо жаңы концепция эмес, ал AI изилдөөлөрүндө тездик менен кеңейип жаткан тармак. AIнын бул эки түрүнүн айкалышы алардын жеке күчтүү жактарын колдонот. GPT-3 сыяктуу тил моделдери көзөмөлсүз окутуу аркылуу үйрөтүлөт, бул аларга оңой масштабда болууга мүмкүндүк берет. Ал эми объектти таануу системалары сыяктуу сүрөт моделдери реалдуулуктан түздөн-түз үйрөнө алат жана текст тарабынан берилген абстракцияга таянбайт. Мисалы, сүрөт моделдери койдун ак экенин сүрөткө карап тааный алат.

Бузуучу таасир

Вокенизация процесси абдан жөнөкөй. Вокендер тил белгилерине тиешелүү же тиешелүү сүрөттөрдү ыйгаруу жолу менен түзүлөт. Андан кийин, алгоритмдер (vokenizer) көзөмөлсүз окутуу аркылуу үндөрдү түзүү үчүн иштелип чыккан (ачык параметрлер/эрежелер жок). Vokenization аркылуу үйрөтүлгөн жалпы акыл-эстүү AI көйгөйлөрдү жакшыраак чече алат жана алар контекстти тереңирээк түшүнүшөт. Бул ыкма уникалдуу болуп саналат, анткени ал тилдик белгилерди гана эмес, ошондой эле салттуу BERT моделдери кыла албаган сүрөттүн белгилерин да болжолдойт.

Мисалы, робот жардамчылары сүрөттөрдү таанып, процесстерди жакшыраак башкара алышат, анткени алардан эмне талап кылынарын "көрүп" алышат. Мазмун жазууга үйрөтүлгөн жасалма интеллект тутумдары ажырагыс сүйлөмдөрдүн ордуна, жакшыраак агып турган идеялар менен адамгерчиликтүү угулган макалаларды жасай алат. NLP тиркемелеринин кеңири жайылышын эске алганда, вокенизация жакшыраак иштеген чатботторго, виртуалдык жардамчыларга, онлайн медициналык диагноздорго, санарип котормочуларга жана башкаларга алып келиши мүмкүн.

Кошумчалай кетсек, көрүү менен тил үйрөнүүнүн айкалышы медициналык сүрөттөө колдонмолорунда, өзгөчө автоматташтырылган медициналык сүрөт диагностикасы үчүн популярдуулукка ээ болууда. Мисалы, кээ бир изилдөөчүлөр семантикалык сегментация көп убакытты талап кылган текст сыпаттамалары менен радиографиялык сүрөттөрдө бул ыкманы эксперимент кылып жатышат. Vokenization техникасы бул өкүлчүлүктөрдү өркүндөтүп, тексттик маалыматты колдонуу менен автоматташтырылган медициналык сүрөттү өркүндөтүшү мүмкүн.

Үн чыгаруу үчүн арыздар

Vokenization үчүн кээ бир колдонмолор камтышы мүмкүн:

• Скриншотторду, сүрөттөрдү жана веб-сайттын мазмунун иштете алган интуитивдик чатботтор. Кардарларды колдоо чатботтору, өзгөчө, өнүмдөрдү жана кызматтарды так сунуштай алат.
• Сүрөттөрдү жана видеолорду иштетип, маданий жана кырдаалдык контекстти эске алган так котормо бере алган санарип котормочулар.
• Социалдык медиа бот сканерлери сүрөттөрдү, коштомо жазууларды жана комментарийлерди бириктирүү аркылуу сезимди толук талдоо жүргүзө алышат. Бул колдонмо зыяндуу сүрөттөрдү талдоону талап кылган мазмунду модерациялоодо пайдалуу болушу мүмкүн.
• Компьютердик көрүү жана NLP машина үйрөнүү инженерлери жана маалымат илимпоздору үчүн жумушка орношуу мүмкүнчүлүктөрүн жогорулатуу.
• Стартаптар бул AI системаларын коммерциялаштыруу же бизнес үчүн ыңгайлаштырылган чечимдерди камсыз кылуу.

Комментарий берүү үчүн суроолор

• Сиздин оюңузча, вокенизация роботтор менен болгон мамилебизди дагы кандайча өзгөртөт?
• Вокенизация биздин бизнести жүргүзүү жана гаджеттерибиз (смартфондор жана акылдуу приборлор) менен болгон мамилебизди кантип өзгөртө алат?