Taħriġ tal-mudelli tal-AI: It-tfittxija għal żvilupp tal-AI bi prezz baxx

• awtur:
• isem awtur

  Quantumrun Foresight
• Marzu 21, 2023

It-tagħlim fil-fond (DL) wera li huwa soluzzjoni kompetenti għal diversi sfidi fl-iżvilupp tal-intelliġenza artifiċjali (AI). Madankollu, DL qed isir ukoll aktar għali. It-tħaddim ta' netwerks newrali profondi jeħtieġ riżorsi ta' pproċessar għoljin, partikolarment fit-taħriġ minn qabel. Agħar minn hekk, dan il-proċess li juża ħafna enerġija jfisser li dawn ir-rekwiżiti jirriżultaw f'marki kbar tal-karbonju, li jagħmlu ħsara lill-klassifikazzjonijiet ESG tal-kummerċjalizzazzjoni tar-riċerka tal-IA.

Taħriġ AI mudelli kuntest

It-taħriġ minn qabel issa huwa l-aktar approċċ popolari għall-bini ta 'netwerks newrali fuq skala kbira, u wera suċċess kbir fil-viżjoni tal-kompjuter (CV) u l-ipproċessar tal-lingwa naturali (NLP). Madankollu, l-iżvilupp ta 'mudelli DL enormi sar għali wisq. Pereżempju, it-taħriġ ta' Generative Pre-trained Transformer 3 (GPT-3) ta' OpenAI, li għandu 175 biljun parametru u jeħtieġ aċċess għal clusters enormi ta' servers b'karti tal-grafika tal-ogħla livell, kellu spiża stmata ta' USD $12-il miljun. Server b'saħħtu u mijiet ta 'gigabytes ta' memorja ta 'aċċess każwali tal-vidjo (VRAM) huma wkoll meħtieġa biex imexxu l-mudell.

Filwaqt li l-kumpaniji ewlenin tat-teknoloġija jistgħu jkunu kapaċi jħallsu tali spejjeż ta’ taħriġ, dan isir projbittiv għal startups iżgħar u organizzazzjonijiet ta’ riċerka. Tliet fatturi jmexxu din l-ispiża. 

1. Spejjeż estensivi ta 'komputazzjoni, li jkunu jeħtieġu diversi ġimgħat b'eluf ta' unitajiet ta 'proċessar grafiku (GPUs).

2. Mudelli rfinati jeħtieġu ħażna massiva, li ġeneralment jieħdu mijiet ta 'gigabytes (GBs). Barra minn hekk, jeħtieġ li jinħażnu mudelli multipli għal kompiti differenti.

3. It-taħriġ ta 'mudelli kbar jeħtieġ qawwa komputazzjonali preċiża u ħardwer; inkella, ir-riżultati jistgħu ma jkunux ideali.

Minħabba l-ispejjeż projbittivi, ir-riċerka tal-AI saret dejjem aktar kummerċjalizzata, fejn il-kumpaniji Big Tech qed imexxu l-istudji fil-qasam. Dawn id-ditti wkoll għandhom jiksbu l-aktar mis-sejbiet tagħhom. Sadanittant, istituzzjonijiet ta 'riċerka u nonprofits spiss ikollhom jikkollaboraw ma' dawn in-negozji jekk iridu jwettqu l-esplorazzjoni tagħhom fil-qasam. 

Impatt li jfixkel

Hemm evidenza li tissuġġerixxi li n-netwerks newrali jistgħu jiġu "maqtugħin." Dan ifisser li fi ħdan netwerks newrali supersized, grupp iżgħar jista 'jikseb l-istess livell ta' preċiżjoni bħall-mudell AI oriġinali mingħajr impatti kbar fuq il-funzjonalità tiegħu. Pereżempju, fl-2020, riċerkaturi tal-AI fi Swarthmore College u l-Laboratorju Nazzjonali ta’ Los Alamos wrew li minkejja li mudell DL kumpless jista’ jitgħallem ibassar passi futuri fil-Game of Life tal-matematiku John Conway, dejjem hemm netwerk newrali iżgħar li jista’ jiġi mgħallem. biex tagħmel l-istess ħaġa.

Ir-riċerkaturi skoprew li jekk jarmu bosta parametri ta 'mudell DL wara li jkun temm il-proċedura kollha ta' taħriġ, jistgħu jnaqqsuh għal 10 fil-mija tad-daqs oriġinali tiegħu u xorta jiksbu l-istess riżultat. Diversi kumpaniji tat-teknoloġija diġà qed jikkompressaw il-mudelli AI tagħhom biex jiffrankaw l-ispazju fuq apparati bħal laptops u smartphones. Dan il-metodu mhux biss jiffranka l-flus iżda jippermetti wkoll li s-softwer jaħdem mingħajr konnessjoni tal-Internet u jikseb riżultati f'ħin reali. 

Kien hemm ukoll każijiet meta DL kien possibbli fuq apparati mħaddma minn batteriji solari jew ċelluli buttuna, grazzi għal netwerks newrali żgħar. Madankollu, limitazzjoni tal-metodu taż-żbir hija li l-mudell għad irid jiġi mħarreġ kompletament qabel ma jista 'jitnaqqas. Kien hemm xi studji inizjali dwar sottogruppi newrali li jistgħu jiġu mħarrġa waħedhom. Madankollu, l-eżattezza tagħhom mhix l-istess bħal dawk ta 'netwerks newrali supersized.

Implikazzjonijiet tat-taħriġ tal-mudelli tal-AI

Implikazzjonijiet usa' tat-taħriġ tal-mudelli tal-IA jistgħu jinkludu: 

• Żieda fir-riċerka f'metodi differenti ta' taħriġ ta' netwerks newrali; madankollu, il-progress jista' jitnaqqas minħabba nuqqas ta' finanzjament.
• It-teknoloġija kbira qed tkompli tiffinanzja l-laboratorji ta’ riċerka tal-IA tagħhom, u dan jirriżulta f’aktar kunflitti ta’ interess.
• L-ispejjeż tal-iżvilupp tal-IA li joħolqu l-kundizzjonijiet biex jiffurmaw monopolji, u jillimitaw il-kapaċità ta’ startups tal-IA ġodda li jikkompetu b’mod indipendenti ma’ ditti tat-teknoloġija stabbiliti. Xenarju ta’ negozju emerġenti jista’ jara numru żgħir ta’ ditti kbar tat-teknoloġija li jiżviluppaw mudelli ġganti proprjetarji ta’ AI u jikruhom lil ditti iżgħar ta’ AI bħala servizz/utilità.
• Istituzzjonijiet ta’ riċerka, organizzazzjonijiet mingħajr skop ta’ qligħ, u universitajiet li qed jiġu ffinanzjati minn teknoloġija kbira biex iwettqu xi esperimenti tal-IA f’isimhom. Din it-tendenza tista' twassal għal aktar telf ta' mħuħ mill-akkademja għall-korporazzjonijiet.
• Żieda fil-pressjoni għat-teknoloġija kbira biex tippubblika u taġġorna regolarment il-linji gwida tal-etika tal-IA biex tagħmilhom responsabbli għall-proġetti ta’ riċerka u żvilupp tagħhom.
• It-taħriġ tal-mudelli tal-IA qed jiswew aktar peress li qawwa tal-kompjuters ogħla hija dejjem aktar meħtieġa, li twassal għal aktar emissjonijiet tal-karbonju.
• Xi aġenziji tal-gvern qed jippruvaw jirregolaw id-dejta użata fit-taħriġ ta 'dawn il-mudelli ġganti ta' AI. Barra minn hekk, l-aġenziji tal-kompetizzjoni jistgħu joħolqu leġiżlazzjoni li ġġiegħel mudelli tal-IA ta’ ċertu daqs ikunu aċċessibbli għal ditti domestiċi iżgħar fi sforz biex tixpruna l-innovazzjoni tal-SMEs.

Mistoqsijiet li għandek tikkunsidra

• Jekk taħdem fis-settur tal-IA, l-organizzazzjoni tiegħek kif qed tiżviluppa mudelli tal-AI aktar ambjentalment sostenibbli?
• X'inhuma l-konsegwenzi potenzjali fit-tul ta' mudelli AI għaljin?