Latihan model AI: Panelusuran kanggo pangembangan AI murah

• Babagan Author:
• Jeneng panganggit

  Quantumrun Foresight
• Maret 21, 2023

Pembelajaran jero (DL) wis kabukten dadi solusi sing kompeten kanggo sawetara tantangan ing pangembangan kecerdasan buatan (AI). Nanging, DL uga dadi luwih larang. Ngoperasikake jaringan saraf jero mbutuhake sumber daya pangolahan sing dhuwur, utamane ing pra-latihan. Luwih elek, proses intensif energi iki tegese syarat kasebut nyebabake jejak karbon gedhe, ngrusak rating ESG komersialisasi riset AI.

Konteks model pelatihan AI

Pra-training saiki dadi pendekatan sing paling populer kanggo mbangun jaringan saraf skala gedhe, lan wis nuduhake sukses gedhe ing visi komputer (CV) lan pangolahan basa alami (NLP). Nanging, ngembangake model DL sing gedhe banget dadi larang banget. Contone, nglatih OpenAI's Generative Pre-trained Transformer 3 (GPT-3), sing duwe 175 milyar paramèter lan mbutuhake akses menyang kluster server sing gedhe banget kanthi kertu grafis paling dhuwur, regane kira-kira $12 yuta. A server kuat lan atusan gigabyte video memori akses acak (VRAM) uga perlu kanggo mbukak model.

Nalika perusahaan teknologi utama bisa mbayar biaya latihan kasebut, mula dadi larangan kanggo perusahaan wiwitan lan organisasi riset. Telung faktor nyebabake biaya iki. 

1. Biaya komputasi ekstensif, sing mbutuhake sawetara minggu kanthi ewu unit pangolahan grafis (GPU).

2. Model sing apik mbutuhake panyimpenan massive, biasane njupuk atusan gigabyte (GB). Salajengipun, macem-macem model kanggo macem-macem tugas kudu disimpen.

3. Latihan model gedhe mbutuhake daya komputasi lan hardware sing tepat; yen ora, asil bisa uga ora becik.

Amarga biaya sing larang, riset AI saya tambah akeh komersial, ing ngendi perusahaan Big Tech mimpin studi ing lapangan. Perusahaan kasebut uga entuk manfaat paling akeh saka temuan kasebut. Kangge, institusi riset lan nirlaba asring kudu kolaborasi karo bisnis kasebut yen pengin nindakake eksplorasi ing lapangan. 

Dampak gangguan

Ana bukti sing nuduhake jaringan saraf bisa "diprun." Iki tegese ing jaringan saraf supersized, klompok cilik bisa entuk tingkat akurasi sing padha karo model AI asli tanpa impact abot ing fungsi sawijining. Contone, ing taun 2020, peneliti AI ing Swarthmore College lan Los Alamos National Laboratory nggambarake manawa model DL sing kompleks bisa sinau kanggo prédhiksi langkah-langkah mbesuk ing Game of Life ahli matematika John Conway, mesthi ana jaringan saraf sing luwih cilik sing bisa diwulangake. kanggo nindakake perkara sing padha.

Peneliti nemokake yen mbuwang akeh parameter model DL sawise ngrampungake kabeh prosedur latihan, bisa nyuda nganti 10 persen saka ukuran asline lan isih entuk asil sing padha. Sawetara perusahaan teknologi wis ngompres model AI kanggo ngirit ruang ing piranti kaya laptop lan smartphone. Cara iki ora mung ngirit dhuwit nanging uga ngidini piranti lunak bisa mlaku tanpa sambungan Internet lan entuk asil ing wektu nyata. 

Ana uga kedadeyan nalika DL bisa ditindakake ing piranti sing didhukung dening baterei solar utawa sel tombol, amarga jaringan saraf cilik. Nanging, watesan saka metode pruning yaiku model kasebut isih kudu dilatih kanthi lengkap sadurunge bisa dikurangi. Ana sawetara pasinaon awal babagan subset saraf sing bisa dilatih dhewe. Nanging, akurasine ora padha karo jaringan saraf supersized.

Implikasi saka latihan model AI

Implikasi sing luwih akeh saka latihan model AI bisa uga kalebu: 

• Tambah riset ing macem-macem cara nglatih jaringan saraf; Nanging, kemajuan bisa kalem amarga ora ana dana.
• Teknologi gedhe terus mbiayai laboratorium riset AI, nyebabake konflik kepentingan liyane.
• Biaya pangembangan AI nggawe kahanan kanggo mbentuk monopoli, mbatesi kemampuan startup AI anyar kanggo saingan kanthi mandiri karo perusahaan teknologi sing wis mapan. Skenario bisnis sing berkembang bisa ndeleng sawetara perusahaan teknologi gedhe ngembangake model AI proprietary raksasa lan nyewakake menyang perusahaan AI sing luwih cilik minangka layanan/utilitas.
• Institusi riset, nirlaba, lan universitas sing didanai dening teknologi gedhe kanggo nindakake sawetara eksperimen AI kanggo jenenge. Tren iki bisa nyebabake saluran otak luwih akeh saka akademisi menyang perusahaan.
• Tekanan tambah kanggo teknologi gedhe kanggo nerbitake lan nganyari pedoman etika AI kanthi rutin supaya bisa tanggung jawab kanggo proyek riset lan pangembangan.
• Latihan model AI dadi luwih larang amarga daya komputasi sing luwih dhuwur dibutuhake, nyebabake emisi karbon luwih akeh.
• Sawetara lembaga pemerintah nyoba ngatur data sing digunakake ing latihan model AI raksasa kasebut. Uga, agensi kompetisi bisa nggawe undang-undang sing meksa model AI kanthi ukuran tartamtu supaya bisa diakses dening perusahaan domestik sing luwih cilik minangka upaya kanggo nyurung inovasi UKM.

Pitakon sing kudu dipikirake

• Yen sampeyan kerja ing sektor AI, kepiye organisasi sampeyan ngembangake model AI sing luwih ramah lingkungan?
• Apa konsekuensi jangka panjang saka model AI sing larang?