Pelatihan model AI: Milarian pangwangunan AI béaya rendah

• Author:
• Ngaran pangarang

  Quantumrun tetempoan
• Maret 21, 2023

Pangajaran jero (DL) parantos kabuktosan janten solusi anu kompeten pikeun sababaraha tantangan dina pamekaran intelijen buatan (AI). Sanajan kitu, DL ogé jadi leuwih mahal. Ngoperasikeun jaringan saraf jero merlukeun sumber daya pangolahan anu luhur, khususna dina pra-latihan. Anu langkung parah, prosés anu intensif énergi ieu hartosna yén syarat-syarat ieu nyababkeun tapak suku karbon anu ageung, ngarusak rating ESG tina komersialisasi panalungtikan AI.

Pelatihan modél AI konteks

Pra-latihan ayeuna mangrupikeun pendekatan anu paling populér pikeun ngawangun jaringan saraf skala ageung, sareng éta parantos nunjukkeun kasuksésan hébat dina visi komputer (CV) sareng pamrosésan basa alami (NLP). Sanajan kitu, ngembangkeun model DL badag geus jadi mahal teuing. Salaku conto, ngalatih OpenAI's Generative Pre-trained Transformer 3 (GPT-3), anu ngagaduhan 175 milyar parameter sareng peryogi aksés kana klaster server anu ageung kalayan kartu grafik anu paling luhur, gaduh perkiraan biaya $ 12 juta. A server kuat sarta ratusan gigabytes memori aksés acak video (VRAM) ogé diperlukeun pikeun ngajalankeun model.

Sanaos perusahaan téknologi ageung tiasa nanggung biaya pelatihan sapertos kitu, éta janten ngalarang pikeun ngamimitian sareng organisasi panalungtikan anu langkung alit. Tilu faktor nyababkeun biaya ieu. 

1. Biaya komputasi éksténsif, nu peryogi sababaraha minggu kalawan rébuan Unit processing grafis (GPU).

2. Modél rupa-katala merlukeun gudang masif, biasana nyokot nepi ka ratusan gigabytes (GBs). Saterusna, sababaraha model pikeun tugas béda kudu disimpen.

3. Latihan model badag merlukeun kakuatan komputasi tepat jeung hardware; disebutkeun, hasilna bisa jadi teu idéal.

Kusabab biaya anu ngalarang, panilitian AI parantos dikomersilkeun, dimana perusahaan Big Tech mingpin studi di lapangan. Perusahaan-perusahaan ieu ogé nangtung pikeun meunangkeun mangpaat pangseueurna tina panemuanna. Samentara éta, lembaga riset sareng lembaga nonprofit sering kedah kolaborasi sareng usaha ieu upami aranjeunna hoyong ngalaksanakeun eksplorasi di lapangan. 

Dampak ngaganggu

Aya bukti anu nunjukkeun yén jaringan saraf tiasa "diprun." Ieu ngandung harti yén dina jaringan saraf supersized, grup leutik bisa ngahontal tingkat akurasi sarua salaku model AI aslina tanpa dampak beurat kana fungsionalitas na. Salaku conto, dina taun 2020, peneliti AI di Swarthmore College sareng Laboratorium Nasional Los Alamos ngagambarkeun yén sanaos modél DL anu kompleks tiasa diajar ngaduga léngkah-léngkah anu bakal datang dina Game of Life ahli matematika John Conway, sok aya jaringan saraf anu langkung alit anu tiasa diajarkeun. pikeun ngalakukeun hal anu sarua.

Panaliti mendakan yén upami aranjeunna miceun seueur parameter modél DL saatos réngsé sadayana prosedur latihan, aranjeunna tiasa ngirangan kana 10 persén tina ukuran aslina sareng masih ngahontal hasil anu sami. Sababaraha perusahaan téknologi parantos ngompres modél AI na pikeun ngahémat rohangan dina alat sapertos laptop sareng smartphone. Metoda ieu henteu ngan ukur ngahemat artos tapi ogé ngamungkinkeun parangkat lunak jalan tanpa sambungan Internét sareng kéngingkeun hasil sacara real-time. 

Aya ogé instansi nalika DL dimungkinkeun dina alat anu didamel ku batré surya atanapi sél tombol, hatur nuhun kana jaringan saraf leutik. Nanging, watesan metode pruning nyaéta yén modél éta masih kedah dilatih lengkep sateuacan tiasa ngirangan. Aya sababaraha panilitian awal ngeunaan subset neural anu tiasa dilatih nyalira. Nanging, akurasina henteu sami sareng jaringan neural supersized.

Implikasi tina latihan model AI

Implikasi anu langkung ageung tina latihan modél AI tiasa kalebet: 

• Ngaronjatkeun panalungtikan dina metode anu béda pikeun ngalatih jaringan saraf; kumaha oge, kamajuan bisa jadi kalem ku kurangna waragad.
• Téknologi ageung terus ngabiayaan laboratorium panalungtikan AI na, nyababkeun langkung seueur konflik kapentingan.
• Biaya pangwangunan AI nyiptakeun kaayaan pikeun monopoli kabentuk, ngabatesan kamampuan ngamimitian AI anyar pikeun bersaing sacara mandiri sareng firma téknologi anu mapan. Skenario bisnis anu munculna tiasa ningali sakeupeul perusahaan téknologi ageung ngembangkeun model AI proprietary raksasa sareng ngajakan ka perusahaan AI anu langkung alit salaku jasa/utilitas.
• Institusi panalungtikan, lembaga nonprofit, sareng universitas dibiayaan ku téknologi gedé pikeun ngalaksanakeun sababaraha percobaan AI atas nama maranéhna. Tren ieu tiasa nyababkeun langkung seueur uteuk ti akademisi ka korporasi.
• Ngaronjatkeun tekanan pikeun téknologi gedé pikeun nyebarkeun sareng rutin ngapdet pedoman étika AI pikeun ngajantenkeun aranjeunna tanggung jawab pikeun proyék panalungtikan sareng pamekaran.
• Pelatihan modél AI janten langkung mahal kusabab kakuatan komputasi anu langkung ageung diperyogikeun, nyababkeun émisi karbon langkung seueur.
• Sababaraha instansi pamaréntah nyobian ngatur data anu digunakeun dina palatihan model AI raksasa ieu. Ogé, agénsi kompetisi tiasa nyiptakeun undang-undang anu maksa modél AI dina ukuran anu tangtu pikeun diaksés ku perusahaan domestik anu langkung alit dina usaha pikeun ngadorong inovasi UKM.

Patarosan anu kedah diperhatoskeun

• Upami anjeun damel di sektor AI, kumaha organisasi anjeun ngembangkeun model AI anu langkung lestari pikeun lingkungan?
• Naon konsékuansi jangka panjang poténsi model AI mahal?