Trejnado de AI-modeloj: La serĉo de malmultekosta AI-disvolviĝo

• Aŭtoro:
• Aŭtora nomo

  Quantumrun Foresight
• Marto 21, 2023

Profunda lernado (DL) pruvis esti kompetenta solvo al pluraj defioj en artefarita inteligenteco (AI) evoluo. Tamen, DL ankaŭ fariĝas pli multekosta. Funkciado de profundaj neŭralaj retoj postulas altajn pretigajn rimedojn, precipe en antaŭtrejnado. Pli malbone, ĉi tiu energiintensa procezo signifas, ke ĉi tiuj postuloj rezultigas grandajn karbonajn spurojn, damaĝante la ESG-rangigojn de AI-esplorkomercado.

Trejnado de AI-modeloj kunteksto

Antaŭtrejnado nun estas la plej populara aliro al konstruado de grandskalaj neŭralaj retoj, kaj ĝi montris grandan sukceson en komputila vizio (CV) kaj naturlingva prilaborado (NLP). Tamen, evoluigi grandegajn DL-modelojn fariĝis tro multekosta. Ekzemple, trejnado de Generative Pre-Trained Transformer 3 (GPT-3) de OpenAI, kiu havas 175 miliardojn da parametroj kaj bezonas aliron al grandegaj servilaj aretoj kun altnivelaj grafikaj kartoj, havis laŭtaksan koston de USD $12 milionoj. Potenca servilo kaj centoj da gigabajtoj da video hazarda alira memoro (VRAM) ankaŭ estas necesaj por funkcii la modelon.

Dum ĉefaj teknologiaj kompanioj eble povas pagi tiajn trejnajn kostojn, ĝi fariĝas malpermesa por pli malgrandaj noventreprenoj kaj esplororganizoj. Tri faktoroj kondukas ĉi tiun elspezon. 

1. Vastaj komputadkostoj, kiuj bezonus plurajn semajnojn kun miloj da grafikaj prilaboraj unuoj (GPUoj).

2. Fine agorditaj modeloj postulas amasan stokadon, kutime okupante centojn da gigabajtoj (GBoj). Krome, pluraj modeloj por malsamaj taskoj devas esti stokitaj.

3. Trejni grandajn modelojn postulas precizan komputilan potencon kaj aparataron; alie, rezultoj eble ne estas idealaj.

Pro malpermesaj kostoj, AI-esplorado fariĝis ĉiam pli komercigita, kie Big Tech-kompanioj gvidas la studojn en la kampo. Ĉi tiuj firmaoj ankaŭ gajnas la plej grandan parton de siaj trovoj. Dume, esplorinstitucioj kaj senprofitaj organizaĵoj ofte devas kunlabori kun ĉi tiuj entreprenoj se ili volas fari sian esploradon sur la kampo. 

Disrompa efiko

Ekzistas indico kiu sugestas ke neŭralaj retoj povas esti "tonditaj." Ĉi tio signifas, ke ene de supergrandaj neŭralaj retoj, pli malgranda grupo povas atingi la saman nivelon de precizeco kiel la origina AI-modelo sen pezaj efikoj al sia funkcieco. Ekzemple, en 2020, AI-esploristoj ĉe Swarthmore College kaj la Los Alamos National Laboratory ilustris ke kvankam kompleksa DL-modelo povas lerni antaŭdiri estontajn paŝojn en la Ludo de Vivo de matematikisto John Conway, ĉiam ekzistas pli malgranda neŭrala reto kiu povas esti instruita. fari la samon.

Esploristoj malkovris, ke se ili forĵetas multajn parametrojn de DL-modelo post kiam ĝi kompletigis la tutan trejnan proceduron, ili povas redukti ĝin al 10 procentoj de ĝia originala grandeco kaj ankoraŭ atingi la saman rezulton. Pluraj teknologiaj kompanioj jam kunpremas siajn AI-modelojn por ŝpari spacon en aparatoj kiel tekkomputiloj kaj inteligentaj telefonoj. Ĉi tiu metodo ne nur ŝparas monon sed ankaŭ permesas al la programaro funkcii sen interreta konekto kaj akiri rezultojn en reala tempo. 

Ekzistis ankaŭ okazoj kiam DL estis ebla sur aparatoj funkciigitaj per sunaj baterioj aŭ butonĉeloj, danke al malgrandaj neŭralaj retoj. Tamen, limigo de la pritonda metodo estas, ke la modelo ankoraŭ devas esti tute trejnita antaŭ ol ĝi povas esti reduktita. Ekzistis kelkaj komencaj studoj pri neŭralaj subaroj kiuj povas esti trejnitaj memstare. Tamen, ilia precizeco ne estas la sama kiel tiuj de supergrandaj neŭralaj retoj.

Implikoj de trejnado de AI-modeloj

Pli larĝaj implicoj de trejnado de AI-modeloj povas inkluzivi: 

• Pliigita esplorado en malsamaj metodoj de trejnado de neŭralaj retoj; tamen, progreso povus esti bremsita pro manko de financado.
• Granda teknologio daŭre financas siajn AI-esplorajn laboratoriojn, rezultigante pli da intereskonfliktoj.
• La kostoj de AI-evoluo kreas la kondiĉojn por ke monopoloj formiĝos, limigante la kapablon de novaj AI-noventreprenoj konkuri sendepende kun establitaj teknikaj firmaoj. Emerĝanta komerca scenaro povas vidi manplenon da grandaj teknologiaj firmaoj evoluantaj gigantajn proprietajn AI-modelojn kaj luigi ilin al pli malgrandaj AI-firmaoj kiel servo/servaĵo.
• Esploraj institucioj, neprofitocelaj kaj universitatoj financataj de granda teknologio por fari iujn AI-eksperimentojn en sia nomo. Ĉi tiu tendenco povas konduki al pli da cerbo-elfluo de akademio al korporacioj.
• Pliigita premo por grandaj teknologioj publikigi kaj regule ĝisdatigi siajn etikajn gvidliniojn pri AI por igi ilin respondecaj pri siaj esplor- kaj disvolvaj projektoj.
• Trejnado de AI-modeloj iĝas pli multekostaj ĉar pli alta komputa potenco estas ĉiam pli postulata, kondukante al pli da karbonemisioj.
• Iuj registaraj agentejoj provas reguligi la datumojn uzatajn en la trejnado de ĉi tiuj gigantaj AI-modeloj. Ankaŭ, konkuradagentejoj povas krei leĝaron, kiu devigas AI-modelojn de certa grandeco fariĝi alireblaj por pli malgrandaj hejmaj firmaoj por stimuli SME-noviĝon.

Konsiderindaj demandoj

• Se vi laboras en la AI-sektoro, kiel via organizo disvolvas pli ekologie daŭrigeblajn AI-modelojn?
• Kio estas la eblaj longperspektivaj sekvoj de multekostaj AI-modeloj?