Usposabljanje modelov AI: Iskanje nizkocenovnega razvoja AI

• Avtor:
• ime avtorja

  Quantumrun Foresight
• Marec 21, 2023

Globoko učenje (DL) se je izkazalo za kompetentno rešitev za več izzivov pri razvoju umetne inteligence (AI). Draži pa se tudi DL. Delovanje globokih nevronskih mrež zahteva veliko sredstev za obdelavo, zlasti v predusposabljanju. Še huje, ta energetsko intenziven proces pomeni, da te zahteve povzročajo velike ogljične odtise, kar škoduje ocenam ESG komercializacije raziskav umetne inteligence.

Usposabljanje konteksta modelov AI

Predhodno usposabljanje je zdaj najbolj priljubljen pristop k izgradnji obsežnih nevronskih mrež in se je izkazalo za velik uspeh pri računalniškem vidu (CV) in obdelavi naravnega jezika (NLP). Vendar je razvoj ogromnih modelov DL postal predrag. Na primer, usposabljanje OpenAI-jevega Generative Pre-trained Transformer 3 (GPT-3), ki ima 175 milijard parametrov in potrebuje dostop do ogromnih grozdov strežnikov z vrhunskimi grafičnimi karticami, je ocenjeno na 12 milijonov USD. Za delovanje modela so potrebni tudi zmogljiv strežnik in stotine gigabajtov video pomnilnika z naključnim dostopom (VRAM).

Medtem ko si večja tehnološka podjetja morda lahko privoščijo takšne stroške usposabljanja, postanejo za manjša zagonska podjetja in raziskovalne organizacije previsoki. Ta strošek povzročajo trije dejavniki. 

1. Obsežni računski stroški, ki bi s tisoči grafičnih procesnih enot (GPE) potrebovali več tednov.

2. Natančno nastavljeni modeli zahtevajo ogromno prostora za shranjevanje, ki običajno zavzame več sto gigabajtov (GB). Poleg tega je treba shraniti več modelov za različne naloge.

3. Usposabljanje velikih modelov zahteva natančno računsko moč in strojno opremo; sicer rezultati morda ne bodo idealni.

Zaradi previsokih stroškov so raziskave umetne inteligence vse bolj komercializirane, pri čemer velika tehnološka podjetja vodijo študije na tem področju. Ta podjetja bodo s svojimi ugotovitvami tudi največ pridobila. Medtem pa morajo raziskovalne ustanove in neprofitne organizacije pogosto sodelovati s temi podjetji, če želijo izvesti svoje raziskovanje na terenu. 

Moteč vpliv

Obstajajo dokazi, ki kažejo, da je nevronske mreže mogoče "obrezati". To pomeni, da lahko znotraj velikih nevronskih mrež manjša skupina doseže enako raven natančnosti kot prvotni model AI brez velikih vplivov na njegovo funkcionalnost. Na primer, leta 2020 so raziskovalci umetne inteligence na kolidžu Swarthmore in nacionalnem laboratoriju Los Alamos pokazali, da čeprav se lahko zapleten model DL nauči napovedovati prihodnje korake v igri življenja matematika Johna Conwaya, vedno obstaja manjša nevronska mreža, ki jo je mogoče naučiti narediti isto stvar.

Raziskovalci so odkrili, da če zavržejo številne parametre modela DL, potem ko ta zaključi celoten postopek usposabljanja, ga lahko zmanjšajo na 10 odstotkov prvotne velikosti in še vedno dosežejo enak rezultat. Več tehnoloških podjetij že stiska svoje modele umetne inteligence, da bi prihranila prostor na napravah, kot so prenosniki in pametni telefoni. Ta metoda ne le prihrani denar, temveč tudi omogoča, da programska oprema deluje brez internetne povezave in dosega rezultate v realnem času. 

Bili so tudi primeri, ko je bila DL mogoča na napravah, ki so jih napajale sončne baterije ali gumbaste celice, zahvaljujoč majhnim nevronskim mrežam. Vendar pa je omejitev metode obrezovanja ta, da je treba model še vedno popolnoma usposobiti, preden ga je mogoče zmanjšati. Bilo je nekaj začetnih študij o nevronskih podskupinah, ki jih je mogoče trenirati same. Vendar pa njihova natančnost ni enaka natančnosti velikih nevronskih mrež.

Posledice usposabljanja modelov AI

Širše posledice usposabljanja modelov AI lahko vključujejo: 

• Povečano raziskovanje različnih metod usposabljanja nevronskih mrež; vendar se lahko napredek upočasni zaradi pomanjkanja sredstev.
• Velika tehnološka podjetja še naprej financirajo svoje raziskovalne laboratorije AI, kar povzroča več navzkrižij interesov.
• Stroški razvoja umetne inteligence ustvarjajo pogoje za nastanek monopolov, kar omejuje zmožnost novih zagonskih podjetij z umetno inteligenco, da neodvisno tekmujejo z uveljavljenimi tehnološkimi podjetji. V nastajajočem poslovnem scenariju lahko peščica velikih tehnoloških podjetij razvija velikanske lastniške modele umetne inteligence in jih daje v najem manjšim podjetjem z umetno inteligenco kot storitev/pripomoček.
• Raziskovalne ustanove, neprofitne organizacije in univerze, ki jih financira velika tehnologija, da v njihovem imenu izvajajo nekatere poskuse umetne inteligence. Ta trend lahko povzroči večji beg možganov iz akademskih krogov v korporacije.
• Povečan pritisk na velika tehnološka podjetja, da objavijo in redno posodabljajo svoje etične smernice umetne inteligence, da bodo odgovorni za svoje raziskovalne in razvojne projekte.
• Usposabljanje modelov umetne inteligence postaja dražje, saj je vedno bolj potrebna višja računalniška moč, kar povzroča več emisij ogljika.
• Nekatere vladne agencije poskušajo regulirati podatke, ki se uporabljajo pri usposabljanju teh velikanskih modelov AI. Prav tako lahko agencije za konkurenco ustvarijo zakonodajo, ki zahteva, da so modeli umetne inteligence določene velikosti dostopni manjšim domačim podjetjem, da bi spodbudili inovacije MSP.

Vprašanja, ki jih je treba upoštevati

• Če delate v sektorju umetne inteligence, kako vaša organizacija razvija okoljsko bolj trajnostne modele umetne inteligence?
• Kakšne so možne dolgoročne posledice dragih modelov AI?