Obuka AI modela: Potraga za jeftinim razvojem AI

• Autor:
• Ime autora

  Quantumrun Foresight
• Mart 21, 2023

Duboko učenje (DL) se pokazalo kao kompetentno rješenje za nekoliko izazova u razvoju umjetne inteligencije (AI). Međutim, DL takođe postaje skuplji. Rad dubokih neuronskih mreža zahtijeva velike resurse za obradu, posebno u predobuci. Što je još gore, ovaj energetski intenzivan proces znači da ovi zahtjevi rezultiraju velikim ugljičnim otiscima, što oštećuje ESG ocjene komercijalizacije istraživanja AI.

Kontekst AI modela za obuku

Pre-trening je sada najpopularniji pristup izgradnji velikih neuronskih mreža, a pokazao je veliki uspjeh u kompjuterskom vidu (CV) i obradi prirodnog jezika (NLP). Međutim, razvoj ogromnih DL modela postao je preskup. Na primjer, obuka OpenAI Generative Pre-trained Transformer 3 (GPT-3), koji ima 175 milijardi parametara i treba mu pristup ogromnim serverskim klasterima sa vrhunskim grafičkim karticama, procijenjena je na 12 miliona USD. Moćan server i stotine gigabajta video memorije sa slučajnim pristupom (VRAM) su takođe potrebni za pokretanje modela.

Iako bi velike tehnološke kompanije mogle priuštiti takve troškove obuke, to postaje previsoko za manje startapove i istraživačke organizacije. Tri faktora utiču na ovaj trošak. 

1. Ekstenzivni troškovi računanja, za koje bi bilo potrebno nekoliko sedmica sa hiljadama grafičkih procesorskih jedinica (GPU).

2. Fino podešeni modeli zahtijevaju ogromnu memoriju koja obično zauzima stotine gigabajta (GB). Nadalje, potrebno je pohraniti više modela za različite zadatke.

3. Obuka velikih modela zahteva preciznu računarsku snagu i hardver; inače, rezultati možda neće biti idealni.

Zbog previsokih troškova, istraživanje AI postaje sve više komercijalizovano, pri čemu velike tehnološke kompanije vode studije u ovoj oblasti. Ove kompanije će takođe imati najviše koristi od svojih nalaza. U međuvremenu, istraživačke institucije i neprofitne organizacije često moraju da sarađuju sa ovim preduzećima ako žele da sprovedu svoja istraživanja na terenu. 

Ometajući uticaj

Postoje dokazi koji sugeriraju da se neuronske mreže mogu "orezati". To znači da unutar velikih neuronskih mreža, manja grupa može postići isti nivo tačnosti kao originalni AI model bez velikih uticaja na njegovu funkcionalnost. Na primjer, 2020. istraživači AI na koledžu Swarthmore i Nacionalnoj laboratoriji u Los Alamosu ilustrovali su da iako složeni DL model može naučiti da predvidi buduće korake u igri života matematičara Johna Conwaya, uvijek postoji manja neuronska mreža koja se može naučiti da uradi istu stvar.

Istraživači su otkrili da ako odbace brojne parametre DL modela nakon što je završio cijeli postupak obuke, mogu ga smanjiti na 10 posto njegove originalne veličine i dalje postići isti rezultat. Nekoliko tehnoloških kompanija već komprimuje svoje AI modele kako bi uštedjeli prostor na uređajima poput prijenosnih računala i pametnih telefona. Ova metoda ne samo da štedi novac, već i omogućava softveru da radi bez internetske veze i dobije rezultate u realnom vremenu. 

Bilo je i slučajeva kada je DL bio moguć na uređajima koji se napajaju solarnim baterijama ili dugmadima, zahvaljujući malim neuronskim mrežama. Međutim, ograničenje metode rezanja je to što model još uvijek mora biti potpuno obučen prije nego što se može smanjiti. Postojale su neke početne studije o neuronskim podskupovima koji se mogu sami trenirati. Međutim, njihova tačnost nije ista kao kod velikih neuronskih mreža.

Implikacije treninga AI modela

Šire implikacije obučavanja AI modela mogu uključivati: 

• Povećano istraživanje različitih metoda obuke neuronskih mreža; međutim, napredak bi mogao biti usporen nedostatkom sredstava.
• Velika tehnologija nastavlja da finansira svoje laboratorije za istraživanje veštačke inteligencije, što je dovelo do više sukoba interesa.
• Troškovi razvoja AI stvaraju uslove za formiranje monopola, ograničavajući sposobnost novih AI startupova da se samostalno takmiče sa etabliranim tehnološkim firmama. U novom poslovnom scenariju može doći do nekoliko velikih tehnoloških kompanija koje razvijaju gigantske vlasničke AI modele i daju ih u zakup manjim AI firmama kao uslugu/uslužni program.
• Istraživačke institucije, neprofitne organizacije i univerziteti koje financira velika tehnologija kako bi u njihovo ime izveli neke eksperimente s umjetnom inteligencijom. Ovaj trend može dovesti do većeg odliva mozgova iz akademske zajednice u korporacije.
• Povećan pritisak na velike tehnologije da objavljuju i redovno ažuriraju svoje etičke smjernice AI kako bi bili odgovorni za svoje istraživačke i razvojne projekte.
• Modeli AI za obuku postaju sve skuplji jer je sve više potrebna veća računarska snaga, što dovodi do veće emisije ugljika.
• Neke vladine agencije pokušavaju regulirati podatke koji se koriste u obuci ovih gigantskih AI modela. Takođe, agencije za zaštitu konkurencije mogu kreirati zakone koji prisiljavaju modele AI određene veličine da budu dostupni manjim domaćim firmama u nastojanju da podstaknu inovacije MSP.

Pitanja koja treba razmotriti

• Ako radite u sektoru umjetne inteligencije, kako vaša organizacija razvija ekološki održivije AI modele?
• Koje su potencijalne dugoročne posljedice skupih AI modela?