Mafunzo ya miundo ya AI: Utafutaji wa ukuzaji wa AI wa bei ya chini

• mwandishi:
• mwandishi jina

  Mtazamo wa Quantumrun
• Machi 21, 2023

Kujifunza kwa kina (DL) kumethibitishwa kuwa suluhisho linalofaa kwa changamoto kadhaa katika ukuzaji wa akili bandia (AI). Walakini, DL pia inakuwa ghali zaidi. Uendeshaji wa mitandao ya kina ya neva kunahitaji rasilimali za usindikaji wa juu, haswa katika mafunzo ya mapema. Mbaya zaidi, mchakato huu unaotumia nishati nyingi unamaanisha kuwa mahitaji haya husababisha nyayo kubwa za kaboni, na kuharibu ukadiriaji wa ESG wa biashara ya utafiti wa AI.

Muktadha wa mifano ya AI ya mafunzo

Mafunzo ya awali sasa ndiyo mbinu maarufu zaidi ya kujenga mitandao mikubwa ya neva, na imeonyesha mafanikio makubwa katika maono ya kompyuta (CV) na usindikaji wa lugha asilia (NLP). Walakini, kuunda mifano mikubwa ya DL imekuwa ghali sana. Kwa mfano, mafunzo ya OpenAI's Generative Pre-trained Transformer 3 (GPT-3), ambayo ina vigezo bilioni 175 na inahitaji ufikiaji wa makundi makubwa ya seva yenye kadi za picha za hali ya juu, yalikuwa na makadirio ya gharama ya USD $12 milioni. Seva yenye nguvu na mamia ya gigabaiti za kumbukumbu ya ufikiaji bila mpangilio wa video (VRAM) pia zinahitajika ili kuendesha modeli.

Ingawa kampuni kuu za teknolojia zinaweza kumudu gharama kama hizo za mafunzo, inakuwa marufuku kwa wanaoanza na mashirika madogo ya utafiti. Sababu tatu husababisha gharama hii. 

1. Gharama kubwa za kukokotoa, ambazo zingehitaji wiki kadhaa na maelfu ya vitengo vya usindikaji wa picha (GPUs).

2. Miundo iliyopangwa vizuri huhitaji hifadhi kubwa, kwa kawaida huchukua mamia ya gigabaiti (GBs). Zaidi ya hayo, miundo mingi ya kazi tofauti inahitaji kuhifadhiwa.

3. Kufundisha mifano mikubwa kunahitaji nguvu na maunzi sahihi ya hesabu; vinginevyo, matokeo yanaweza yasiwe bora.

Kwa sababu ya gharama kubwa, utafiti wa AI umekuwa wa kibiashara zaidi, ambapo kampuni za Big Tech zinaongoza masomo katika uwanja huo. Makampuni haya pia yanasimama kupata faida zaidi kutokana na matokeo yao. Wakati huo huo, taasisi za utafiti na mashirika yasiyo ya faida mara nyingi hulazimika kushirikiana na biashara hizi ikiwa wanataka kufanya uchunguzi wao katika uwanja huo. 

Athari ya usumbufu

Kuna ushahidi kwamba unapendekeza mitandao ya neural inaweza "kukatwa." Hii inamaanisha kuwa ndani ya mitandao ya neva iliyo na ukubwa, kikundi kidogo kinaweza kufikia kiwango sawa cha usahihi kama kielelezo asili cha AI bila athari kubwa kwenye utendakazi wake. Kwa mfano, mnamo 2020, watafiti wa AI katika Chuo cha Swarthmore na Maabara ya Kitaifa ya Los Alamos walionyesha kuwa ingawa muundo tata wa DL unaweza kujifunza kutabiri hatua za baadaye katika Mchezo wa Maisha wa mwanahisabati John Conway, kila wakati kuna mtandao mdogo wa neva ambao unaweza kufundishwa. kufanya jambo lile lile.

Watafiti waligundua kwamba ikiwa watatupa vigezo vingi vya modeli ya DL baada ya kukamilisha utaratibu mzima wa mafunzo, wanaweza kupunguza hadi asilimia 10 ya ukubwa wake wa awali na bado kupata matokeo sawa. Kampuni kadhaa za teknolojia tayari zinabana miundo yao ya AI ili kuokoa nafasi kwenye vifaa kama vile kompyuta za mkononi na simu mahiri. Njia hii sio tu ya kuokoa pesa lakini pia inaruhusu programu kufanya kazi bila muunganisho wa Mtandao na kupata matokeo kwa wakati halisi. 

Pia kulikuwa na matukio wakati DL iliwezekana kwenye vifaa vinavyoendeshwa na betri za jua au seli za vifungo, shukrani kwa mitandao ndogo ya neural. Hata hivyo, kikwazo cha njia ya kupogoa ni kwamba modeli bado inahitaji kufundishwa kikamilifu kabla ya kupunguzwa. Kulikuwa na baadhi ya masomo ya awali juu ya seti ndogo za neva ambazo zinaweza kufunzwa zenyewe. Hata hivyo, usahihi wao si sawa na ule wa mitandao ya neva ya juu.

Athari za mafunzo ya mifano ya AI

Athari pana za mafunzo ya mifano ya AI zinaweza kujumuisha: 

• Kuongezeka kwa utafiti katika mbinu tofauti za mafunzo ya mitandao ya neural; hata hivyo, maendeleo yanaweza kupunguzwa kwa ukosefu wa fedha.
• Teknolojia kubwa inaendelea kufadhili maabara zao za utafiti za AI, na kusababisha migongano zaidi ya maslahi.
• Gharama za ukuzaji wa AI huunda hali za kuunda ukiritimba, na kupunguza uwezo wa kampuni mpya za AI kushindana kwa uhuru na kampuni zilizoanzishwa za teknolojia. Hali ya biashara inayoibuka inaweza kuona makampuni machache makubwa ya kiteknolojia yakitengeneza modeli kuu za wamiliki wa AI na kuzikodisha kwa kampuni ndogo za AI kama huduma/matumizi.
• Taasisi za utafiti, mashirika yasiyo ya faida, na vyuo vikuu vinavyofadhiliwa na teknolojia kubwa kufanya majaribio ya AI kwa niaba yao. Mwelekeo huu unaweza kusababisha ubongo zaidi kutoka kwa wasomi hadi mashirika.
• Kuongezeka kwa shinikizo kwa teknolojia kubwa kuchapisha na kusasisha mara kwa mara miongozo yao ya maadili ya AI ili kuwafanya wawajibike kwa miradi yao ya utafiti na maendeleo.
• Kufunza miundo ya AI kuwa ghali zaidi kadri nguvu ya juu ya kompyuta inavyozidi kuhitajika, na hivyo kusababisha utoaji zaidi wa kaboni.
• Baadhi ya mashirika ya serikali yanayojaribu kudhibiti data inayotumika katika mafunzo ya miundo hii mikubwa ya AI. Vile vile, mashirika ya ushindani yanaweza kuunda sheria ambayo inalazimisha miundo ya AI ya ukubwa fulani kufanywa kupatikana kwa makampuni madogo ya ndani katika jitihada za kuchochea uvumbuzi wa SME.

Maswali ya kuzingatia

• Ikiwa unafanya kazi katika sekta ya AI, shirika lako linaendelezaje miundo ya AI endelevu zaidi ya kimazingira?
• Je, ni matokeo gani ya muda mrefu ya mifano ya gharama kubwa ya AI?