Mokymo ai modelių paieška pigių ai plėtra

VAIZDO KREDITAS:

iStock

AI modelių mokymas: nebrangaus AI kūrimo paieška

Dirbtinio intelekto modelius sukurti ir mokyti yra labai brangu, todėl daugumai tyrėjų ir vartotojų jie nepasiekiami.

Autorius:
autoriaus vardas
Quantumrun Foresight
Kovo 21, 2023

Gilus mokymasis (DL) pasirodė esąs kompetentingas sprendimas keletui dirbtinio intelekto (AI) plėtros iššūkių. Tačiau DL taip pat brangsta. Norint valdyti giliuosius neuroninius tinklus, reikalingi dideli apdorojimo ištekliai, ypač išankstinio mokymo metu. Dar blogiau, šis daug energijos sunaudojantis procesas reiškia, kad šie reikalavimai sukelia didelį anglies pėdsaką, o tai kenkia DI tyrimų komercializavimo ESG reitingams.

Mokymo AI modelių kontekstas

Išankstinis mokymas dabar yra populiariausias didelio masto neuroninių tinklų kūrimo būdas, ir jis parodė didelę sėkmę kompiuterinio regėjimo (CV) ir natūralios kalbos apdorojimo (NLP) srityse. Tačiau didžiulių DL modelių kūrimas tapo per brangus. Pavyzdžiui, „OpenAI“ generatyvaus iš anksto apmokyto transformatoriaus 3 (GPT-3), kuris turi 175 milijardus parametrų ir kuriam reikia prieigos prie didžiulių serverių grupių su aukščiausios klasės vaizdo plokštėmis, mokymas kainavo 12 mln. USD. Modeliui paleisti taip pat reikia galingo serverio ir šimtų gigabaitų vaizdo laisvosios kreipties atminties (VRAM).

Nors didžiosios technologijų įmonės gali sau leisti tokias mokymo išlaidas, mažesnėms pradedančioms įmonėms ir mokslinių tyrimų organizacijoms tai tampa pernelyg didelė. Šias išlaidas lemia trys veiksniai.

1. Didelės skaičiavimo išlaidos, kurioms prireiktų kelių savaičių naudojant tūkstančius grafinių procesorių (GPU).

2. Tiksliai sureguliuoti modeliai reikalauja didžiulės saugyklos, paprastai užimančios šimtus gigabaitų (GB). Be to, reikia saugoti kelis skirtingų užduočių modelius.

3. Didelių modelių mokymas reikalauja tikslios skaičiavimo galios ir techninės įrangos; kitu atveju rezultatai gali būti ne idealūs.

Dėl didelių sąnaudų dirbtinio intelekto tyrimai vis labiau komercializuojami, o didžiųjų technologijų įmonės vadovauja šios srities tyrimams. Šios įmonės taip pat turi daugiausia naudos iš savo išvadų. Tuo tarpu mokslinių tyrimų institucijos ir ne pelno organizacijos dažnai turi bendradarbiauti su šiomis įmonėmis, jei nori atlikti tyrimus šioje srityje.

Trikdantis poveikis

Yra įrodymų, kad neuroninius tinklus galima „apkarpyti“. Tai reiškia, kad didesnio dydžio neuroniniuose tinkluose mažesnė grupė gali pasiekti tokį patį tikslumo lygį kaip ir originalus AI modelis, nepakenkiant jo funkcionalumui. Pavyzdžiui, 2020 m. Swarthmore koledžo ir Los Alamos nacionalinės laboratorijos dirbtinio intelekto tyrėjai pademonstravo, kad nors sudėtingas DL modelis gali išmokti numatyti būsimus matematiko Johno Conway gyvenimo žaidimo žingsnius, visada yra mažesnis neuroninis tinklas, kurį galima išmokyti. daryti tą patį.

Tyrėjai išsiaiškino, kad jei jie atmeta daugybę DL modelio parametrų po to, kai jis baigė visą mokymo procedūrą, jie gali sumažinti jį iki 10 procentų pradinio dydžio ir vis tiek pasiekti tą patį rezultatą. Kelios technologijų įmonės jau glaudina savo AI modelius, kad sutaupytų vietos tokiuose įrenginiuose kaip nešiojamieji kompiuteriai ir išmanieji telefonai. Šis metodas ne tik taupo pinigus, bet ir leidžia programinei įrangai veikti be interneto ryšio ir gauti rezultatus realiuoju laiku.

Taip pat buvo atvejų, kai DL buvo įmanoma įrenginiuose, maitinamuose saulės baterijomis arba mygtukų elementais dėl mažų neuroninių tinklų. Tačiau genėjimo metodo apribojimas yra tas, kad modelis vis tiek turi būti visiškai apmokytas, kad jį būtų galima sumažinti. Buvo atlikti kai kurie pradiniai neuronų pogrupių tyrimai, kuriuos galima treniruoti savarankiškai. Tačiau jų tikslumas nėra toks pat kaip didelių neuronų tinklų tikslumas.

AI modelių mokymo pasekmės

Platesnės AI modelių mokymo pasekmės gali apimti:

Padaugėjo įvairių neuroninių tinklų mokymo metodų tyrimų; tačiau pažangą gali sulėtinti finansavimo trūkumas.
Didžiosios technologijos ir toliau finansuoja savo AI tyrimų laboratorijas, todėl kyla daugiau interesų konfliktų.
Dirbtinio intelekto kūrimo kaštai sudaro sąlygas monopolijoms formuotis ir riboja naujų DI startuolių galimybes savarankiškai konkuruoti su įsitvirtinusiomis technologijų įmonėmis. Besivystančiame verslo scenarijuje gali būti, kad keletas didelių technologijų įmonių kuria milžiniškus patentuotus AI modelius ir išnuomoja juos mažesnėms dirbtinio intelekto įmonėms kaip paslaugą / komunalines paslaugas.
Mokslinių tyrimų institucijos, ne pelno organizacijos ir universitetai, finansuojami didelių technologijų, kad galėtų atlikti kai kuriuos AI eksperimentus jų vardu. Ši tendencija gali paskatinti didesnį protų nutekėjimą iš akademinės bendruomenės į korporacijas.
Didesnis spaudimas didelėms technologijoms skelbti ir reguliariai atnaujinti savo AI etikos gaires, kad jos būtų atsakingos už savo mokslinių tyrimų ir plėtros projektus.
Dirbtinio intelekto modelių mokymas tampa vis brangesnis, nes vis labiau reikia didesnės skaičiavimo galios, todėl išmetama daugiau anglies dvideginio.
Kai kurios vyriausybinės agentūros bando reguliuoti duomenis, naudojamus rengiant šiuos milžiniškus AI modelius. Be to, konkurencijos agentūros gali parengti teisės aktus, įpareigojančius tam tikro dydžio AI modelius padaryti prieinamus mažesnėms šalies įmonėms, siekiant paskatinti MVĮ naujoves.