Ուսուցման AI մոդելներ. ցածր գնով AI զարգացման որոնում

• Հեղինակ:
• Հեղինակ անունը

  Quantumrun Հեռատեսություն
• Մարտի 21, 2023

Խորը ուսուցումը (DL) ապացուցել է, որ արհեստական ​​ինտելեկտի (AI) զարգացման մի քանի մարտահրավերների իրավասու լուծում է: Սակայն DL-ն նույնպես թանկանում է։ Խորը նեյրոնային ցանցերի շահագործումը պահանջում է բարձր մշակման ռեսուրսներ, մասնավորապես՝ նախնական վերապատրաստման ժամանակ: Ավելի վատ, այս էներգատար գործընթացը նշանակում է, որ այս պահանջները հանգեցնում են ածխածնի մեծ հետքերի՝ վնասելով AI-ի հետազոտության առևտրայնացման ESG վարկանիշը:

AI մոդելների ուսուցման համատեքստ

Նախապատրաստումն այժմ լայնածավալ նեյրոնային ցանցեր կառուցելու ամենատարածված մոտեցումն է, և այն մեծ հաջողություն է գրանցել համակարգչային տեսողության (CV) և բնական լեզվի մշակման (NLP) ոլորտում: Այնուամենայնիվ, հսկայական DL մոդելների մշակումը չափազանց թանկ է դարձել: Օրինակ, OpenAI-ի Generative Pre-trained Transformer 3 (GPT-3) վերապատրաստումը, որն ունի 175 միլիարդ պարամետր և կարիք ունի մուտք դեպի հսկայական սերվերների կլաստերներ բարձրակարգ գրաֆիկական քարտերով, գնահատվել է $12 միլիոն ԱՄՆ դոլար: Մոդելը գործարկելու համար անհրաժեշտ է նաև հզոր սերվեր և հարյուրավոր գիգաբայթ վիդեո պատահական մուտքի հիշողություն (VRAM):

Թեև խոշոր տեխնոլոգիական ընկերությունները կարող են իրենց թույլ տալ ուսուցման նման ծախսեր, այն դառնում է արգելքային փոքր ստարտափների և հետազոտական ​​կազմակերպությունների համար: Երեք գործոն է մղում այս ծախսը. 

1. Հաշվարկային մեծ ծախսեր, որոնք կպահանջվեն մի քանի շաբաթ հազարավոր գրաֆիկական մշակման միավորներով (GPU):

2. Լավ կարգավորված մոդելները պահանջում են հսկայական պահեստ, որը սովորաբար զբաղեցնում է հարյուրավոր գիգաբայթեր (ԳԲ): Ավելին, տարբեր առաջադրանքների համար մի քանի մոդելներ պետք է պահվեն:

3. Մեծ մոդելների ուսուցումը պահանջում է ճշգրիտ հաշվարկային հզորություն և սարքավորում; հակառակ դեպքում արդյունքները կարող են իդեալական չլինել:

Արգելող ծախսերի պատճառով արհեստական ​​ինտելեկտի հետազոտություններն ավելի ու ավելի են առևտրայնացվել, որտեղ Big Tech ընկերությունները առաջատար են ոլորտում ուսումնասիրությունները: Այս ընկերությունները նույնպես կարող են առավելագույնը շահել իրենց բացահայտումներից: Միևնույն ժամանակ, հետազոտական ​​հաստատությունները և շահույթ չհետապնդող կազմակերպությունները հաճախ ստիպված են համագործակցել այդ բիզնեսների հետ, եթե նրանք ցանկանում են իրենց հետախուզումն իրականացնել ոլորտում: 

Խանգարող ազդեցություն

Կան ապացույցներ, որոնք ցույց են տալիս, որ նեյրոնային ցանցերը կարող են «էտվել»: Սա նշանակում է, որ գերչափ նեյրոնային ցանցերում ավելի փոքր խումբը կարող է հասնել նույն ճշգրտության մակարդակին, ինչ սկզբնական AI մոդելը, առանց դրա ֆունկցիոնալության վրա մեծ ազդեցության: Օրինակ, 2020 թվականին Սվարթմոր քոլեջի և Լոս Ալամոսի ազգային լաբորատորիայի AI հետազոտողները ցույց տվեցին, որ չնայած բարդ DL մոդելը կարող է սովորել կանխատեսել ապագա քայլերը մաթեմատիկոս Ջոն Քոնուեյի «Կյանքի խաղի մեջ», միշտ կա ավելի փոքր նեյրոնային ցանց, որը կարող է ուսուցանվել: նույն բանն անել։

Հետազոտողները պարզել են, որ եթե նրանք հրաժարվեն DL մոդելի բազմաթիվ պարամետրերից այն բանից հետո, երբ այն ավարտի վերապատրաստման ամբողջ ընթացակարգը, նրանք կարող են նվազեցնել այն մինչև իր սկզբնական չափի 10 տոկոսը և դեռ հասնել նույն արդյունքին: Մի քանի տեխնոլոգիական ընկերություններ արդեն սեղմում են իրենց AI մոդելները՝ տարածք խնայելու այնպիսի սարքերում, ինչպիսիք են նոութբուքերը և սմարթֆոնները: Այս մեթոդը ոչ միայն խնայում է գումարը, այլև թույլ է տալիս ծրագրակազմին աշխատել առանց ինտերնետ կապի և իրական ժամանակում ստանալ արդյունքներ: 

Եղել են նաև դեպքեր, երբ DL-ը հնարավոր է եղել արևային մարտկոցներով կամ կոճակային բջիջներով աշխատող սարքերում՝ փոքր նեյրոնային ցանցերի շնորհիվ: Այնուամենայնիվ, էտման մեթոդի սահմանափակումն այն է, որ մոդելը դեռ պետք է ամբողջությամբ վերապատրաստվի, նախքան այն կրճատվի: Կային որոշ նախնական ուսումնասիրություններ նյարդային ենթաբազմությունների վերաբերյալ, որոնք կարող են ինքնուրույն մարզվել: Այնուամենայնիվ, դրանց ճշգրտությունը նույնը չէ, ինչ գերչափ նեյրոնային ցանցերում:

AI մոդելների ուսուցման հետևանքները

AI մոդելների ուսուցման ավելի լայն հետևանքները կարող են ներառել. 

• Նյարդային ցանցերի վերապատրաստման տարբեր մեթոդների հետազոտությունների ավելացում; Այնուամենայնիվ, առաջընթացը կարող է դանդաղել ֆինանսավորման բացակայության պատճառով:
• Մեծ տեխնոլոգիաները շարունակում են ֆինանսավորել իրենց AI հետազոտական ​​լաբորատորիաները, ինչը հանգեցնում է ավելի շատ շահերի բախման:
• Արհեստական ​​ինտելեկտի զարգացման ծախսերը, որոնք պայմաններ են ստեղծում մենաշնորհների ձևավորման համար՝ սահմանափակելով արհեստական ​​ինտելեկտի նոր ստարտափների՝ կայացած տեխնոլոգիական ընկերությունների հետ ինքնուրույն մրցելու հնարավորությունը: Ձևավորվող բիզնեսի սցենարը կարող է տեսնել մի քանի խոշոր տեխնոլոգիական ընկերությունների, որոնք մշակում են հսկա սեփականատիրական AI մոդելներ և դրանք վարձակալում ավելի փոքր AI ընկերություններին որպես ծառայություն/կոմունալ ծառայություններ:
• Հետազոտական ​​հաստատությունները, շահույթ չհետապնդող կազմակերպությունները և համալսարանները, որոնք ֆինանսավորվում են խոշոր տեխնոլոգիաների կողմից՝ իրենց անունից AI որոշ փորձեր իրականացնելու համար: Այս միտումը կարող է հանգեցնել ավելի մեծ ուղեղների արտահոսքի ակադեմիայից դեպի կորպորացիաներ:
• Մեծ տեխնոլոգիաների վրա մեծացել է ճնշումը՝ հրապարակելու և կանոնավոր կերպով թարմացնելու իրենց AI-ի էթիկայի ուղեցույցները, որպեսզի նրանք հաշվետու լինեն իրենց հետազոտական ​​և զարգացման նախագծերի համար:
• AI մոդելների ուսուցումն ավելի թանկ է դառնում, քանի որ ավելի մեծ հաշվողական հզորություն է պահանջվում, ինչը հանգեցնում է ավելի շատ ածխածնի արտանետումների:
• Որոշ պետական ​​կառույցներ փորձում են կարգավորել այս հսկա արհեստական ​​ինտելեկտի մոդելների վերապատրաստման ժամանակ օգտագործվող տվյալները: Բացի այդ, մրցակցային գործակալությունները կարող են ստեղծել օրենսդրություն, որը կստիպի որոշակի չափի AI մոդելները հասանելի դարձնել ավելի փոքր տեղական ընկերություններին՝ փորձելով խթանել ՓՄՁ նորարարությունը:

Հարցեր, որոնք պետք է հաշվի առնել

• Եթե ​​դուք աշխատում եք AI ոլորտում, ինչպե՞ս է ձեր կազմակերպությունը զարգացնում ավելի էկոլոգիապես կայուն AI մոդելներ:
• Որո՞նք են AI թանկ մոդելների հնարավոր երկարաժամկետ հետևանքները: