AI үлгілерін оқыту: арзан AI әзірлеуді іздеу

• автор:
• Автордың аты-жөні

  Кванттық болжау
• Наурыз 21, 2023

Терең оқыту (DL) жасанды интеллектті (AI) дамытудағы бірнеше қиындықтарға сауатты шешім екенін дәлелдеді. Дегенмен, DL де қымбаттап барады. Терең нейрондық желілерді пайдалану жоғары өңдеу ресурстарын қажет етеді, әсіресе алдын ала дайындық кезінде. Ең сорақысы, бұл энергияны көп қажет ететін процесс бұл талаптар AI зерттеулерінің коммерциялануының ESG рейтингтеріне нұқсан келтіретін үлкен көміртегі ізіне әкелетінін білдіреді.

AI үлгілерін оқыту контексті

Алдын ала дайындық қазір кең ауқымды нейрондық желілерді құрудың ең танымал тәсілі болып табылады және ол компьютерлік көру (CV) және табиғи тілді өңдеуде (NLP) үлкен табысқа қол жеткізді. Дегенмен, үлкен DL үлгілерін жасау тым қымбатқа түсті. Мысалы, 3 миллиард параметрі бар және жоғары деңгейлі графикалық карталары бар орасан зор сервер кластерлеріне қол жеткізуді қажет ететін OpenAI компаниясының Generative Pre-trained Transformer 3 (GPT-175) бағдарламасын оқытудың болжамды құны $12 миллион АҚШ долларын құрады. Модельді іске қосу үшін қуатты сервер және жүздеген гигабайт бейне жедел жады (VRAM) қажет.

Ірі технологиялық компаниялар мұндай оқу шығындарын көтере алатын болса да, бұл кішігірім стартаптар мен зерттеу ұйымдары үшін тыйым салады. Бұл шығынға үш фактор әсер етеді. 

1. Мыңдаған графикалық өңдеу бірліктерімен (GPU) бірнеше апта қажет болатын ауқымды есептеу шығындары.

2. Нақты реттелген модельдер, әдетте, жүздеген гигабайттарды (ГБ) алып жатқан үлкен жадты қажет етеді. Сонымен қатар, әртүрлі тапсырмалар үшін бірнеше үлгілерді сақтау қажет.

3. Үлкен үлгілерді дайындау дәл есептеу қуаты мен аппараттық құралдарды қажет етеді; әйтпесе нәтижелер тамаша болмауы мүмкін.

Тыйым салынған шығындарға байланысты AI зерттеулері барған сайын коммерциялануда, онда Big Tech компаниялары осы саладағы зерттеулерді басқарады. Бұл фирмалар да өз нәтижелерінен көп пайда көреді. Сонымен қатар, ғылыми-зерттеу институттары мен коммерциялық емес ұйымдар, егер олар кен орнында барлау жұмыстарын жүргізгісі келсе, жиі осы бизнеспен бірлесіп жұмыс істеуі керек. 

Деструктивті әсер

Нейрондық желілерді «кесуге» болатынын көрсететін дәлелдер бар. Бұл үлкен өлшемді нейрондық желілерде кішірек топ оның функционалдығына ауыр әсер етпестен, бастапқы AI үлгісімен бірдей дәлдік деңгейіне қол жеткізе алатынын білдіреді. Мысалы, 2020 жылы Свартмор колледжі мен Лос-Аламос ұлттық зертханасының AI зерттеушілері күрделі DL моделі математик Джон Конуэйдің «Өмір ойынында» болашақ қадамдарды болжауды үйренсе де, әрқашан үйретуге болатын кішірек нейрондық желі бар екенін көрсетті. бірдей нәрсені істеу.

Зерттеушілер DL үлгісінің көптеген параметрлерін ол бүкіл оқу процедурасын аяқтағаннан кейін алып тастаса, оны бастапқы өлшемінен 10 пайызға дейін азайтып, әлі де бірдей нәтижеге қол жеткізе алатынын анықтады. Бірнеше технологиялық компаниялар ноутбуктер мен смартфондар сияқты құрылғыларда орынды үнемдеу үшін AI үлгілерін қысып жатыр. Бұл әдіс ақшаны үнемдеп қана қоймайды, сонымен қатар бағдарламалық жасақтаманың Интернетке қосылусыз жұмыс істеуіне және нақты уақытта нәтиже алуға мүмкіндік береді. 

Кішкентай нейрондық желілердің арқасында күн батареялары немесе түйме жасушалары арқылы жұмыс істейтін құрылғыларда DL мүмкін болған жағдайлар да болды. Дегенмен, кесу әдісінің шектеуі - оны азайту үшін модель әлі де толығымен оқытылуы керек. Өз бетінше жаттықтыруға болатын нейрондық жиынтықтар бойынша кейбір бастапқы зерттеулер болды. Дегенмен, олардың дәлдігі үлкен нейрондық желілердікімен бірдей емес.

AI модельдерін оқытудың салдары

AI үлгілерін оқытудың кеңірек салдары мыналарды қамтуы мүмкін: 

• Нейрондық желілерді оқытудың әртүрлі әдістерін зерттеудің артуы; дегенмен, ілгерілеу қаржыландырудың жетіспеушілігінен баяулауы мүмкін.
• Үлкен технологиялар AI зерттеу зертханаларын қаржыландыруды жалғастыруда, нәтижесінде мүдделер қақтығысы көбірек болады.
• Жаңа AI стартаптарының қалыптасқан технологиялық фирмалармен тәуелсіз бәсекелесу мүмкіндігін шектейтін AI дамыту шығындары монополиялардың қалыптасуына жағдай жасайды. Дамып келе жатқан бизнес сценарийі бірнеше ірі технологиялық фирмалардың алып жеке AI үлгілерін жасап, оларды қызмет/утилит ретінде кішігірім AI фирмаларына жалға беретінін көруі мүмкін.
• Зерттеу мекемелері, коммерциялық емес ұйымдар және университеттер өздерінің атынан кейбір AI эксперименттерін жүргізу үшін үлкен технологиялар арқылы қаржыландырылады. Бұл үрдіс академиядан корпорацияларға мидың көбірек кетуіне әкелуі мүмкін.
• Үлкен технологияларға өздерінің ғылыми-зерттеу және тәжірибелік-конструкторлық жобалары үшін жауапкершілікті ету үшін AI этикасының нұсқауларын жариялау және үнемі жаңарту үшін қысымның артуы.
• AI үлгілерін оқыту қымбаттайды, өйткені жоғары есептеу қуаты қажет, бұл көміртегі шығарындыларының көбеюіне әкеледі.
• Кейбір мемлекеттік органдар осы алып AI модельдерін оқытуда қолданылатын деректерді реттеуге тырысады. Сондай-ақ, бәсекелестік агенттіктері ШОБ инновациясын ынталандыру мақсатында белгілі бір өлшемдегі AI үлгілерін кішігірім отандық фирмаларға қолжетімді етуге мәжбүрлейтін заңнама жасай алады.

Қарастырылатын сұрақтар

• Егер сіз AI секторында жұмыс жасасаңыз, сіздің ұйымыңыз қоршаған ортаға тұрақты AI үлгілерін қалай әзірлеуде?
• Қымбат AI үлгілерінің ықтимал ұзақ мерзімді салдары қандай?