Træning af AI-modeller: Søgen efter lavpris AI-udvikling

• Forfatter:
• Forfatter navn

  Quantumrun Foresight
• Marts 21, 2023

Deep learning (DL) har vist sig at være en kompetent løsning på adskillige udfordringer inden for udvikling af kunstig intelligens (AI). DL bliver dog også dyrere. Drift af dybe neurale netværk kræver høje behandlingsressourcer, især inden for træning. Hvad værre er, betyder denne energiintensive proces, at disse krav resulterer i store COXNUMX-fodaftryk, hvilket skader ESG-vurderingerne af kommercialisering af AI-forskning.

Træning af AI-modeller kontekst

Fortræning er nu den mest populære tilgang til at bygge store neurale netværk, og den har vist stor succes inden for computersyn (CV) og naturlig sprogbehandling (NLP). Det er dog blevet for dyrt at udvikle enorme DL-modeller. For eksempel havde træning af OpenAI's Generative Pre-trained Transformer 3 (GPT-3), som har 175 milliarder parametre og har brug for adgang til enorme serverklynger med førsteklasses grafikkort, en anslået pris på 12 millioner USD. En kraftfuld server og hundredvis af gigabyte video-random access memory (VRAM) er også nødvendige for at køre modellen.

Mens store teknologivirksomheder måske har råd til sådanne uddannelsesomkostninger, bliver det uoverkommeligt for mindre startups og forskningsorganisationer. Tre faktorer driver denne udgift. 

1. Omfattende beregningsomkostninger, som ville kræve flere uger med tusindvis af grafiske behandlingsenheder (GPU'er).

2. Finjusterede modeller kræver massiv lagerplads, som normalt fylder hundredvis af gigabyte (GBs). Desuden skal flere modeller til forskellige opgaver opbevares.

3. Træning af store modeller kræver præcis beregningskraft og hardware; ellers er resultaterne måske ikke ideelle.

På grund af uoverkommelige omkostninger er AI-forskning blevet mere og mere kommercialiseret, hvor Big Tech-virksomheder leder undersøgelserne på området. Disse virksomheder vil også få mest ud af deres resultater. I mellemtiden er forskningsinstitutioner og nonprofitorganisationer ofte nødt til at samarbejde med disse virksomheder, hvis de ønsker at udføre deres udforskning på området. 

Forstyrrende påvirkning

Der er beviser, der tyder på, at neurale netværk kan "beskæres". Dette betyder, at inden for overdimensionerede neurale netværk kan en mindre gruppe opnå det samme niveau af nøjagtighed som den originale AI-model uden stor indvirkning på dens funktionalitet. For eksempel illustrerede AI-forskere ved Swarthmore College og Los Alamos National Laboratory i 2020, at selvom en kompleks DL-model kan lære at forudsige fremtidige trin i matematikeren John Conways Game of Life, er der altid et mindre neuralt netværk, der kan undervises at gøre det samme.

Forskere opdagede, at hvis de kasserer adskillige parametre i en DL-model, efter at den har gennemført hele træningsproceduren, kan de reducere den til 10 procent af dens oprindelige størrelse og stadig opnå det samme resultat. Adskillige teknologivirksomheder komprimerer allerede deres AI-modeller for at spare plads på enheder som bærbare computere og smartphones. Denne metode sparer ikke kun penge, men giver også softwaren mulighed for at køre uden internetforbindelse og få resultater i realtid. 

Der var også tilfælde, hvor DL ​​var muligt på enheder drevet af solbatterier eller knapceller takket være små neurale netværk. En begrænsning ved beskæringsmetoden er dog, at modellen stadig skal trænes helt, før den kan reduceres. Der var nogle indledende undersøgelser af neurale delmængder, der kan trænes på egen hånd. Deres nøjagtighed er dog ikke den samme som i superstore neurale netværk.

Implikationer af træning af AI-modeller

Bredere implikationer af træning af AI-modeller kan omfatte: 

• Øget forskning i forskellige metoder til træning af neurale netværk; fremskridt kan dog blive bremset af manglende finansiering.
• Big tech fortsætter med at finansiere deres AI-forskningslaboratorier, hvilket resulterer i flere interessekonflikter.
• Omkostningerne ved AI-udvikling skaber betingelserne for, at monopoler kan dannes, hvilket begrænser nye AI-startups mulighed for at konkurrere uafhængigt med etablerede tech-firmaer. Et nyt forretningsscenario kan se, at en håndfuld store teknologivirksomheder udvikler gigantiske proprietære AI-modeller og leaser dem til mindre AI-virksomheder som en service/værktøj.
• Forskningsinstitutioner, nonprofitorganisationer og universiteter, der finansieres af storteknologi til at udføre nogle AI-eksperimenter på deres vegne. Denne tendens kan føre til mere hjerneflugt fra den akademiske verden til virksomheder.
• Øget pres for big tech til at offentliggøre og regelmæssigt opdatere deres AI-etiske retningslinjer for at gøre dem ansvarlige for deres forsknings- og udviklingsprojekter.
• Træning af AI-modeller bliver dyrere, efterhånden som der i stigende grad kræves højere computerkraft, hvilket fører til flere kulstofemissioner.
• Nogle offentlige myndigheder forsøger at regulere de data, der bruges i træningen af ​​disse gigantiske AI-modeller. Ligeledes kan konkurrencebureauer skabe lovgivning, der tvinger AI-modeller af en vis størrelse til at blive gjort tilgængelige for mindre indenlandske virksomheder i et forsøg på at anspore SMV-innovation.

Spørgsmål at overveje

• Hvis du arbejder i AI-sektoren, hvordan udvikler din organisation så mere miljømæssigt bæredygtige AI-modeller?
• Hvad er de potentielle langsigtede konsekvenser af dyre AI-modeller?