ვოკენიზაცია: ენა, რომელსაც AI ხედავს

• ავტორი:
• ავტორის სახელი

  Quantumrun Foresight
• შეიძლება 9, 2023

ბუნებრივი ენის დამუშავებამ (NLP) ხელოვნური ინტელექტის (AI) სისტემებს საშუალება მისცა ისწავლონ ადამიანის მეტყველება სიტყვების გაგებით და კონტექსტის შესაბამისობით სენტიმენტებთან. ერთადერთი მინუსი არის ის, რომ ეს NLP სისტემები მხოლოდ ტექსტზეა დაფუძნებული. Vokenization აპირებს შეცვალოს ეს ყველაფერი.

ვოკენიზაციის კონტექსტი

ტექსტზე დაფუძნებული მანქანათმცოდნეობის (ML) ორი პროგრამა ხშირად გამოიყენება ხელოვნური ინტელექტის სწავლებისთვის ადამიანის ენის დამუშავებისა და გაგებისთვის: OpenAI-ის გენერაციული წინასწარ გაწვრთნილი ტრანსფორმერი 3 (GPT-3) და Google-ის BERT (ორმხრივი კოდირების წარმოდგენები ტრანსფორმერებისგან). ხელოვნური ინტელექტის ტერმინოლოგიაში, NLP ტრენინგში გამოყენებულ სიტყვებს ტოკენები ეწოდება. ჩრდილოეთ კაროლინას უნივერსიტეტის მკვლევარებმა (UNC) დააფიქსირეს, რომ ტექსტზე დაფუძნებული სასწავლო პროგრამები შეზღუდულია, რადგან მათ არ შეუძლიათ „დანახვა“, რაც ნიშნავს რომ მათ არ შეუძლიათ ვიზუალური ინფორმაციისა და კომუნიკაციის აღება. 

მაგალითად, თუ ვინმეს ეკითხება GPT-3, რა ფერისაა ცხვარი, სისტემა ხშირად უპასუხებს „შავს“, მაშინაც კი, თუ ის აშკარად თეთრია. ეს პასუხი იმიტომ ხდება, რომ ტექსტზე დაფუძნებული სისტემა მას სწორი ფერის განსაზღვრის ნაცვლად ტერმინს „შავი ცხვარი“ უკავშირებს. ვიზუალური ნიშნებით (voken) ჩართვის გზით, ხელოვნური ინტელექტის სისტემებს შეუძლიათ ჰქონდეთ ტერმინების ჰოლისტიკური გაგება. ვოკენიზაცია აერთიანებს ვოკენებს თვითკონტროლირებად NLP სისტემებში, რაც მათ საშუალებას აძლევს განავითარონ "საღი აზრი".

ენის მოდელებისა და კომპიუტერული ხედვის ინტეგრირება არ არის ახალი კონცეფცია და ის სწრაფად მზარდი სფეროა ხელოვნური ინტელექტის კვლევაში. ამ ორი ტიპის ხელოვნური ინტელექტის კომბინაცია აძლიერებს მათ ინდივიდუალურ სიძლიერეს. ენის მოდელები, როგორიცაა GPT-3, ივარჯიშება უკონტროლო სწავლის გზით, რაც მათ საშუალებას აძლევს ადვილად გააფართოვონ. ამის საპირისპიროდ, გამოსახულების მოდელებს, როგორიცაა ობიექტების ამოცნობის სისტემები, შეუძლიათ პირდაპირ ისწავლონ რეალობიდან და არ დაეყრდნონ ტექსტის მიერ მოწოდებულ აბსტრაქციას. მაგალითად, გამოსახულების მოდელებს შეუძლიათ ამოიცნონ, რომ ცხვარი თეთრია სურათის დათვალიერებით.

დამრღვევი გავლენა

ვოკენიზაციის პროცესი საკმაოდ მარტივია. ვოკენები იქმნება ენის ნიშნების შესაბამისი ან შესაბამისი სურათების მინიჭებით. შემდეგ, ალგორითმები (ვოკენიზატორი) შექმნილია ვოკენების გენერირებისთვის უკონტროლო სწავლის გზით (არ არის აშკარა პარამეტრები/წესები). ვოკენიზაციის საშუალებით გაწვრთნილი საღი აზრი AI-ს შეუძლია უკეთ დაუკავშირდეს და გადაჭრას პრობლემები, რადგან მათ აქვთ კონტექსტის უფრო ღრმა გაგება. ეს მიდგომა უნიკალურია, რადგან ის არა მხოლოდ პროგნოზირებს ენის ჟეტონებს, არამედ პროგნოზირებს გამოსახულების ნიშნებს, რასაც ტრადიციული BERT მოდელები ვერ ახერხებენ.

მაგალითად, რობოტი ასისტენტები შეძლებენ სურათების ამოცნობას და პროცესების უკეთ ნავიგაციას, რადგან მათ შეუძლიათ „დანახონ“, რაც მათგან მოეთხოვებათ. ხელოვნური ინტელექტის სისტემები, რომლებიც გაწვრთნილნი არიან შინაარსის დასაწერად, შეძლებენ შექმნან სტატიები, რომლებიც უფრო ადამიანურად ჟღერს, იდეებით, რომლებიც უკეთესად ჟღერს, ვიდრე ცალკეული წინადადებები. NLP აპლიკაციების ფართო წვდომის გათვალისწინებით, ვოკენიზაციამ შეიძლება გამოიწვიოს უკეთესი ფუნქციონირების ჩატბოტები, ვირტუალური ასისტენტები, ონლაინ სამედიცინო დიაგნოსტიკა, ციფრული თარჯიმანი და სხვა.

გარდა ამისა, ხედვისა და ენის შესწავლის კომბინაცია პოპულარობას იძენს სამედიცინო ვიზუალიზაციის აპლიკაციებში, სპეციალურად სამედიცინო გამოსახულების ავტომატური დიაგნოსტიკისთვის. მაგალითად, ზოგიერთი მკვლევარი ატარებს ამ მიდგომას ექსპერიმენტებს რენტგენოგრაფიის სურათებზე თანმხლები ტექსტის აღწერილობით, სადაც სემანტიკური სეგმენტაცია შეიძლება იყოს შრომატევადი. ვოკენიზაციის ტექნიკას შეუძლია გააუმჯობესოს ეს წარმოდგენები და გააუმჯობესოს ავტომატური სამედიცინო გამოსახულება ტექსტური ინფორმაციის გამოყენებით.

აპლიკაციები ვოკენიზაციისთვის

ვოკენიზაციის ზოგიერთი აპლიკაცია შეიძლება შეიცავდეს:

• ინტუიციური ჩატბოტები, რომლებსაც შეუძლიათ ეკრანის ანაბეჭდების, სურათების და ვებგვერდის შინაარსის დამუშავება. მომხმარებელთა მხარდაჭერის ჩატბოტებს, კერძოდ, შეიძლება შეეძლოთ პროდუქტებისა და სერვისების ზუსტი რეკომენდაცია.
• ციფრული მთარგმნელები, რომლებსაც შეუძლიათ სურათების და ვიდეოების დამუშავება და ზუსტი თარგმანის უზრუნველყოფა, რომელიც ითვალისწინებს კულტურულ და სიტუაციურ კონტექსტს.
• სოციალური მედიის ბოტის სკანერებს შეუძლიათ განახორციელონ უფრო ჰოლისტიკური განწყობის ანალიზი სურათების, წარწერებისა და კომენტარების შერწყმით. ეს აპლიკაცია შეიძლება სასარგებლო იყოს შინაარსის მოდერაციაში, რომელიც მოითხოვს მავნე სურათების ანალიზს.
• კომპიუტერული ხედვისა და NLP მანქანათმცოდნეობის ინჟინრებისა და მონაცემთა მეცნიერების დასაქმების შესაძლებლობების გაზრდა.
• სტარტაპები, რომლებიც აშენებენ ამ AI სისტემებს მათი კომერციალიზაციისთვის ან ბიზნესისთვის მორგებული გადაწყვეტილებების უზრუნველსაყოფად.

კითხვები კომენტარისთვის

• როგორ ფიქრობთ, სხვაგვარად როგორ შეცვლის ვოკენიზაცია რობოტებთან ჩვენს ურთიერთობას?
• როგორ შეიძლება ვოკენიზაციამ შეცვალოს ჩვენი ბიზნესის წარმართვა და ჩვენს გაჯეტებთან ურთიერთობა (სმარტფონები და ჭკვიანი მოწყობილობები)?