Обука АИ модела: Потрага за јефтиним развојем вештачке интелигенције

• Аутор:
• ime аутора

  Куантумрун Форесигхт
• Март КСНУМКС, КСНУМКС

Дубоко учење (ДЛ) се показало као компетентно решење за неколико изазова у развоју вештачке интелигенције (АИ). Међутим, ДЛ такође постаје скупљи. Рад дубоких неуронских мрежа захтева високе ресурсе за обраду, посебно у пре-обуци. Што је још горе, овај енергетски интензиван процес значи да ови захтеви резултирају великим емисијама угљеника, што оштећује ЕСГ оцене комерцијализације истраживања вештачке интелигенције.

Контекст АИ модела за обуку

Пре-тренинг је сада најпопуларнији приступ изградњи великих неуронских мрежа, а показао је велики успех у компјутерском виду (ЦВ) и обради природног језика (НЛП). Међутим, развој огромних ДЛ модела постао је прескуп. На пример, обука ОпенАИ-јевог Генеративног унапред обученог Трансформера 3 (ГПТ-3), који има 175 милијарди параметара и треба му приступ огромним кластерима сервера са врхунским графичким картицама, процењена је на 12 милиона УСД. Моћан сервер и стотине гигабајта видео меморије са случајним приступом (ВРАМ) такође су потребни за покретање модела.

Иако би велике технолошке компаније могле да приуште такве трошкове обуке, то постаје превисоко за мање стартапове и истраживачке организације. Три фактора утичу на овај трошак. 

1. Екстензивни трошкови рачунања, за које би било потребно неколико недеља са хиљадама графичких процесорских јединица (ГПУ).

2. Фино подешени модели захтевају огроман простор за складиштење, који обично заузима стотине гигабајта (ГБ). Штавише, потребно је сачувати више модела за различите задатке.

3. Обука великих модела захтева прецизну рачунарску снагу и хардвер; у супротном, резултати можда неће бити идеални.

Због превисоких трошкова, истраживање вештачке интелигенције се све више комерцијализује, при чему велике технолошке компаније воде студије у овој области. Ове компаније такође могу добити највише од својих налаза. У међувремену, истраживачке институције и непрофитне организације често морају да сарађују са овим предузећима ако желе да спроведу своја истраживања на терену. 

Ометајући утицај

Постоје докази који сугеришу да се неуронске мреже могу „орезати“. То значи да унутар великих неуронских мрежа, мања група може постићи исти ниво тачности као оригинални АИ модел без великих утицаја на његову функционалност. На пример, 2020. истраживачи вештачке интелигенције на колеџу Свартмор и Националној лабораторији у Лос Аламосу су илустровали да иако сложен ДЛ модел може да научи да предвиди будуће кораке у игри живота математичара Џона Конвеја, увек постоји мања неуронска мрежа која се може научити да уради исту ствар.

Истраживачи су открили да ако одбаце бројне параметре ДЛ модела након што је завршио целу процедуру обуке, могу да га смање на 10 процената његове оригиналне величине и да и даље постигну исти резултат. Неколико технолошких компанија већ компримује своје АИ моделе да уштеди простор на уређајима као што су лаптопови и паметни телефони. Овај метод не само да штеди новац, већ и омогућава софтверу да ради без интернет везе и добија резултате у реалном времену. 

Било је и случајева када је ДЛ био могућ на уређајима који се напајају соларним батеријама или дугмадима, захваљујући малим неуронским мрежама. Међутим, ограничење методе резидбе је то што модел још увек треба да буде потпуно обучен пре него што се може смањити. Постојале су неке почетне студије о неуронским подскуповима који се могу сами обучити. Међутим, њихова тачност није иста као код великих неуронских мрежа.

Импликације тренинга АИ модела

Шире импликације обучавања АИ модела могу укључивати: 

• Повећано истраживање различитих метода обуке неуронских мрежа; међутим, напредак би могао бити успорен недостатком финансијских средстава.
• Велика технологија наставља да финансира своје лабораторије за истраживање вештачке интелигенције, што доводи до више сукоба интереса.
• Трошкови развоја вештачке интелигенције стварају услове за формирање монопола, ограничавајући способност нових АИ стартапова да се независно такмиче са етаблираним технолошким фирмама. Пословни сценарио у настајању може видети неколико великих технолошких компанија које развијају гигантске власничке АИ моделе и дају их у закуп мањим АИ фирмама као услугу/услужни програм.
• Истраживачке институције, непрофитне организације и универзитети који се финансирају од стране великих технологија како би у њихово име спровели неке експерименте са вештачком интелигенцијом. Овај тренд може довести до већег одлива мозгова из академске заједнице у корпорације.
• Повећан притисак на велике технологије да објављују и редовно ажурирају своје етичке смернице за вештачку интелигенцију како би били одговорни за своје истраживачке и развојне пројекте.
• Модели АИ за обуку постају све скупљи јер је све више потребна већа рачунарска снага, што доводи до веће емисије угљеника.
• Неке владине агенције покушавају да регулишу податке који се користе у обуци ових гигантских АИ модела. Такође, агенције за заштиту конкуренције могу креирати законе који приморавају моделе вештачке интелигенције одређене величине да буду доступни мањим домаћим фирмама у настојању да подстакну иновације МСП.

Питања која треба размотрити

• Ако радите у сектору вештачке интелигенције, како ваша организација развија еколошки одрживије моделе вештачке интелигенције?
• Које су потенцијалне дугорочне последице скупих АИ модела?