Obuka AI modela: Potraga za jeftinim razvojem AI

• Autor:
• ime autora

  Quantumrun Foresight
• Ožujak 21, 2023

Duboko učenje (DL) pokazalo se kompetentnim rješenjem za nekoliko izazova u razvoju umjetne inteligencije (AI). Međutim, i DL postaje sve skuplji. Rad s dubokim neuronskim mrežama zahtijeva velike procesorske resurse, osobito u prethodnoj obuci. Što je još gore, ovaj energetski intenzivan proces znači da ovi zahtjevi rezultiraju velikim ugljičnim otiscima, oštećujući ESG ocjene komercijalizacije istraživanja umjetne inteligencije.

Kontekst AI modela obuke

Predosposobljavanje je sada najpopularniji pristup izgradnji neuronskih mreža velikih razmjera, a pokazao je veliki uspjeh u računalnom vidu (CV) i obradi prirodnog jezika (NLP). Međutim, razvoj ogromnih DL modela postao je preskup. Na primjer, obuka OpenAI-jevog Generative Pre-trained Transformer 3 (GPT-3), koji ima 175 milijardi parametara i treba pristup ogromnim klasterima poslužitelja s vrhunskim grafičkim karticama, imala je procijenjenu cijenu od 12 milijuna USD. Snažan poslužitelj i stotine gigabajta video memorije s izravnim pristupom (VRAM) također su potrebni za pokretanje modela.

Iako bi velike tehnološke tvrtke mogle priuštiti takve troškove obuke, to postaje pretjerano za manje startupove i istraživačke organizacije. Tri faktora pokreću ovaj trošak. 

1. Veliki troškovi računanja, koji bi trebali nekoliko tjedana s tisućama grafičkih procesorskih jedinica (GPU).

2. Fino podešeni modeli zahtijevaju veliku pohranu, koja obično zauzima stotine gigabajta (GB). Nadalje, potrebno je pohraniti više modela za različite zadatke.

3. Obuka velikih modela zahtijeva preciznu računalnu snagu i hardver; inače rezultati možda neće biti idealni.

Zbog previsokih troškova, istraživanje umjetne inteligencije postalo je sve više komercijalizirano, pri čemu velike tehnološke tvrtke vode studije na tom području. Ove tvrtke također mogu najviše dobiti od svojih otkrića. U međuvremenu, istraživačke institucije i neprofitne organizacije često moraju surađivati ​​s tim tvrtkama ako žele provesti svoje istraživanje na terenu. 

Razarajući učinak

Postoje dokazi koji sugeriraju da se neuronske mreže mogu "orezati". To znači da unutar velikih neuronskih mreža manja skupina može postići istu razinu točnosti kao izvorni AI model bez velikih utjecaja na njegovu funkcionalnost. Na primjer, 2020. istraživači umjetne inteligencije na koledžu Swarthmore i Nacionalnom laboratoriju Los Alamos pokazali su da, iako složeni DL model može naučiti predviđati buduće korake u igri života matematičara Johna Conwaya, uvijek postoji manja neuronska mreža koja se može naučiti učiniti istu stvar.

Istraživači su otkrili da ako odbace brojne parametre DL modela nakon što je završio cijeli postupak obuke, mogu ga smanjiti na 10 posto njegove izvorne veličine i još uvijek postići isti rezultat. Nekoliko tehnoloških tvrtki već komprimiraju svoje AI modele kako bi uštedjele prostor na uređajima poput prijenosnih računala i pametnih telefona. Ova metoda ne samo da štedi novac, već također omogućuje softveru da radi bez internetske veze i dobiva rezultate u stvarnom vremenu. 

Bilo je i slučajeva kada je DL bio moguć na uređajima koji su se napajali solarnim baterijama ili gumbastim ćelijama, zahvaljujući malim neuronskim mrežama. Međutim, ograničenje metode obrezivanja je to što se model i dalje mora potpuno uvježbati prije nego što se može smanjiti. Bilo je nekih početnih studija o neuralnim podskupinama koje se mogu trenirati same. Međutim, njihova točnost nije ista kao kod velikih neuronskih mreža.

Implikacije treninga AI modela

Šire implikacije obučavanja AI modela mogu uključivati: 

• Povećano istraživanje različitih metoda treniranja neuronskih mreža; međutim, napredak bi mogao biti usporen nedostatkom sredstava.
• Velika tehnologija nastavlja financirati svoje istraživačke laboratorije za umjetnu inteligenciju, što dovodi do novih sukoba interesa.
• Troškovi razvoja umjetne inteligencije stvaraju uvjete za stvaranje monopola, ograničavajući sposobnost novih startupa AI da se neovisno natječu s etabliranim tehnološkim tvrtkama. Poslovni scenarij u nastajanju mogao bi vidjeti šačicu velikih tehnoloških tvrtki koje razvijaju divovske vlasničke modele umjetne inteligencije i iznajmljuju ih manjim tvrtkama s umjetnom inteligencijom kao uslugu/uslužni program.
• Istraživačke ustanove, neprofitne organizacije i sveučilišta financiraju velike tehnologije da u njihovo ime provode neke eksperimente umjetne inteligencije. Ovaj trend može dovesti do većeg odljeva mozgova iz akademske zajednice u korporacije.
• Povećani pritisak za veliku tehnologiju da objavi i redovito ažurira svoje etičke smjernice za umjetnu inteligenciju kako bi bila odgovorna za svoje istraživačke i razvojne projekte.
• Obuka AI modela postaje sve skuplja jer je sve više potrebna veća računalna snaga, što dovodi do veće emisije ugljika.
• Neke vladine agencije pokušavaju regulirati podatke koji se koriste u obuci ovih divovskih AI modela. Također, agencije za tržišno natjecanje mogu stvoriti zakone koji prisiljavaju modele umjetne inteligencije određene veličine da budu dostupni manjim domaćim tvrtkama u nastojanju da potaknu inovacije malih i srednjih poduzeća.

Pitanja za razmatranje

• Ako radite u sektoru umjetne inteligencije, kako vaša organizacija razvija ekološki održivije modele umjetne inteligencije?
• Koje su potencijalne dugoročne posljedice skupih AI modela?