Pagsasanay ng mga modelo ng AI: Ang paghahanap para sa murang pagpapaunlad ng AI

• May-akda:
• pangalan Author

  Quantumrun Foresight
• Marso 21, 2023

Ang malalim na pag-aaral (DL) ay napatunayang isang karampatang solusyon sa ilang hamon sa pagbuo ng artificial intelligence (AI). Gayunpaman, ang DL ay nagiging mas mahal din. Ang pagpapatakbo ng mga malalim na neural network ay nangangailangan ng mataas na mapagkukunan sa pagpoproseso, lalo na sa pre-training. Mas masahol pa, ang prosesong ito na masinsinan sa enerhiya ay nangangahulugan na ang mga kinakailangang ito ay nagreresulta sa malalaking carbon footprint, na nakakasira sa mga rating ng ESG ng komersyalisasyon ng pananaliksik ng AI.

Pagsasanay sa konteksto ng mga modelo ng AI

Ang pre-training na ngayon ang pinakasikat na diskarte sa pagbuo ng malalaking neural network, at nagpakita ito ng malaking tagumpay sa computer vision (CV) at natural language processing (NLP). Gayunpaman, ang pagbuo ng malalaking modelo ng DL ay naging masyadong magastos. Halimbawa, ang pagsasanay sa OpenAI's Generative Pre-trained Transformer 3 (GPT-3), na mayroong 175 bilyong parameter at nangangailangan ng access sa napakalaking mga cluster ng server na may mga nangungunang graphics card, ay may tinantyang halaga na USD $12 milyon. Ang isang malakas na server at daan-daang gigabytes ng video random access memory (VRAM) ay kailangan din upang patakbuhin ang modelo.

Bagama't maaaring kayang bayaran ng malalaking tech na kumpanya ang mga naturang gastos sa pagsasanay, nagiging hadlang ito para sa mas maliliit na startup at organisasyon ng pananaliksik. Tatlong salik ang nagtutulak sa gastos na ito. 

1. Malawak na gastos sa pag-compute, na mangangailangan ng ilang linggo na may libu-libong mga graphic processing unit (GPU).

2. Ang mga fine-tuned na modelo ay nangangailangan ng malaking storage, kadalasang kumukuha ng daan-daang gigabytes (GBs). Higit pa rito, maraming mga modelo para sa iba't ibang mga gawain ang kailangang maimbak.

3. Ang pagsasanay sa malalaking modelo ay nangangailangan ng tumpak na computational power at hardware; kung hindi, maaaring hindi perpekto ang mga resulta.

Dahil sa mabigat na gastos, ang pananaliksik sa AI ay lalong naging komersyalisado, kung saan ang mga kumpanya ng Big Tech ay nangunguna sa mga pag-aaral sa larangan. Naninindigan din ang mga kumpanyang ito na masulit ang kanilang mga natuklasan. Samantala, ang mga institusyong pananaliksik at nonprofit ay kadalasang kailangang makipagtulungan sa mga negosyong ito kung gusto nilang magsagawa ng kanilang paggalugad sa larangan. 

Nakakagambalang epekto

May katibayan na nagmumungkahi na ang mga neural network ay maaaring "pruned." Nangangahulugan ito na sa loob ng supersized na mga neural network, ang isang mas maliit na grupo ay makakamit ang parehong antas ng katumpakan gaya ng orihinal na modelo ng AI nang walang mabigat na epekto sa functionality nito. Halimbawa, noong 2020, ang mga mananaliksik ng AI sa Swarthmore College at ang Los Alamos National Laboratory ay naglalarawan na kahit na ang isang kumplikadong modelo ng DL ay matututong hulaan ang mga hakbang sa hinaharap sa Game of Life ng mathematician na si John Conway, palaging may mas maliit na neural network na maaaring ituro. upang gawin ang parehong bagay.

Natuklasan ng mga mananaliksik na kung itatapon nila ang maraming parameter ng isang modelo ng DL pagkatapos nitong makumpleto ang buong pamamaraan ng pagsasanay, maaari nilang bawasan ito sa 10 porsiyento ng orihinal na laki nito at makamit pa rin ang parehong resulta. Ilang tech na kumpanya ang nagko-compress na sa kanilang mga modelo ng AI upang makatipid ng espasyo sa mga device tulad ng mga laptop at smartphone. Ang pamamaraang ito ay hindi lamang nakakatipid ng pera ngunit nagbibigay-daan din sa software na tumakbo nang walang koneksyon sa Internet at makakuha ng mga resulta sa real-time. 

May mga pagkakataon ding naging posible ang DL sa mga device na pinapagana ng mga solar na baterya o mga button cell, salamat sa maliliit na neural network. Gayunpaman, ang isang limitasyon ng paraan ng pruning ay ang modelo ay kailangan pa ring ganap na sanayin bago ito mabawasan. Mayroong ilang mga paunang pag-aaral sa mga neural subset na maaaring sanayin nang mag-isa. Gayunpaman, ang kanilang katumpakan ay hindi katulad ng sa mga supersized na neural network.

Mga implikasyon ng pagsasanay sa mga modelo ng AI

Ang mas malawak na implikasyon ng pagsasanay sa mga modelo ng AI ay maaaring kabilang ang: 

• Nadagdagang pananaliksik sa iba't ibang paraan ng pagsasanay sa mga neural network; gayunpaman, ang pag-unlad ay maaaring mabagal dahil sa kakulangan ng pondo.
• Malaking tech na patuloy na nagpopondo sa kanilang mga AI research lab, na nagreresulta sa mas maraming salungatan ng interes.
• Ang mga gastos sa pagpapaunlad ng AI na lumilikha ng mga kundisyon para mabuo ang mga monopolyo, na nililimitahan ang kakayahan ng mga bagong AI startup na makipagkumpitensya nang nakapag-iisa sa mga matatag na kumpanya ng teknolohiya. Ang isang umuusbong na senaryo ng negosyo ay maaaring makakita ng ilang malalaking tech firm na bumubuo ng mga higanteng proprietary na modelo ng AI at ipinapaupa ang mga ito sa mas maliliit na AI firm bilang isang serbisyo/utility.
• Mga institusyon ng pananaliksik, nonprofit, at unibersidad na pinondohan ng malaking tech para magsagawa ng ilang eksperimento sa AI para sa kanila. Ang trend na ito ay maaaring humantong sa mas maraming brain drain mula sa akademya hanggang sa mga korporasyon.
• Tumaas na presyon para sa malaking tech na mag-publish at regular na i-update ang kanilang mga alituntunin sa etika ng AI upang gawin silang may pananagutan para sa kanilang mga proyekto sa pananaliksik at pagpapaunlad.
• Nagiging mas mahal ang pagsasanay sa mga modelo ng AI dahil higit na kinakailangan ang mas mataas na kapangyarihan sa pag-compute, na humahantong sa mas maraming carbon emissions.
• Ilang ahensya ng gobyerno na sumusubok na i-regulate ang data na ginamit sa pagsasanay ng mga dambuhalang modelong ito ng AI. Gayundin, ang mga ahensya ng kumpetisyon ay maaaring lumikha ng batas na pumipilit sa mga modelo ng AI na may partikular na laki na gawing accessible sa mas maliliit na domestic na kumpanya sa pagsisikap na mag-udyok sa pagbabago ng SME.

Mga katanungang dapat isaalang-alang

• Kung nagtatrabaho ka sa sektor ng AI, paano bumubuo ang iyong organisasyon ng mga modelo ng AI na napapanatiling napapanatiling kapaligiran?
• Ano ang mga potensyal na pangmatagalang kahihinatnan ng mga mamahaling modelo ng AI?