Opleiding van KI-modelle: Die soeke na laekoste-KI-ontwikkeling

• Author:
• Author naam

  Quantumrun Foresight
• Maart 21, 2023

Diep leer (DL) het bewys dat dit 'n bekwame oplossing vir verskeie uitdagings in kunsmatige intelligensie (KI) ontwikkeling is. DL word egter ook duurder. Die bedryf van diep neurale netwerke vereis hoë verwerkingshulpbronne, veral in vooropleiding. Erger nog, hierdie energie-intensiewe proses beteken dat hierdie vereistes groot koolstofvoetspore tot gevolg het, wat die ESG-graderings van KI-navorsingskommersialisering beskadig.

Opleiding van KI-modelle konteks

Vooropleiding is nou die gewildste benadering tot die bou van grootskaalse neurale netwerke, en dit het groot sukses getoon in rekenaarvisie (CV) en natuurlike taalverwerking (NLP). Die ontwikkeling van groot DL-modelle het egter te duur geword. Byvoorbeeld, opleiding van OpenAI se Generative Pre-trained Transformer 3 (GPT-3), wat 175 miljard parameters het en toegang benodig tot enorme bedienerklusters met uitstaande grafiese kaarte, het 'n geraamde koste van USD $12 miljoen gehad. 'n Kragtige bediener en honderde gigagrepe se video ewekansige toegang geheue (VRAM) is ook nodig om die model te laat loop.

Alhoewel groot tegnologiemaatskappye sulke opleidingskoste kan bekostig, word dit onbetaalbaar vir kleiner beginners en navorsingsorganisasies. Drie faktore dryf hierdie uitgawe aan. 

1. Uitgebreide berekeningskoste, wat etlike weke sal benodig met duisende grafiese verwerkingseenhede (GPU's).

2. Fyn-ingestelde modelle vereis massiewe berging, wat gewoonlik honderde gigagrepe (GB's) opneem. Verder moet verskeie modelle vir verskillende take gestoor word.

3. Opleiding van groot modelle vereis presiese rekenkrag en hardeware; anders is die resultate dalk nie ideaal nie.

As gevolg van buitensporige koste, het KI-navorsing toenemend gekommersialiseer geraak, waarin Big Tech-maatskappye die studies in die veld lei. Hierdie firmas sal ook die meeste uit hul bevindinge trek. Intussen moet navorsingsinstellings en niewinsorganisasies dikwels met hierdie besighede saamwerk as hulle hul verkenning in die veld wil doen. 

Ontwrigtende impak

Daar is bewyse wat daarop dui dat neurale netwerke "gesnoei" kan word. Dit beteken dat binne supergrootte neurale netwerke 'n kleiner groep dieselfde vlak van akkuraatheid as die oorspronklike KI-model kan bereik sonder groot impak op die funksionaliteit daarvan. Byvoorbeeld, in 2020 het KI-navorsers by Swarthmore College en die Los Alamos Nasionale Laboratorium geïllustreer dat alhoewel 'n komplekse DL-model kan leer om toekomstige stappe in wiskundige John Conway se Game of Life te voorspel, is daar altyd 'n kleiner neurale netwerk wat geleer kan word dieselfde ding te doen.

Navorsers het ontdek dat as hulle talle parameters van 'n DL-model weggooi nadat dit die hele opleidingsprosedure voltooi het, hulle dit tot 10 persent van sy oorspronklike grootte kan verminder en steeds dieselfde resultaat kan behaal. Verskeie tegnologiemaatskappye is reeds besig om hul KI-modelle saam te druk om spasie op toestelle soos skootrekenaars en slimfone te bespaar. Hierdie metode spaar nie net geld nie, maar laat die sagteware ook toe om sonder 'n internetverbinding te werk en resultate intyds te kry. 

Daar was ook gevalle waar DL moontlik was op toestelle wat deur sonbatterye of knoppieselle aangedryf word, danksy klein neurale netwerke. 'n Beperking van die snoeimetode is egter dat die model nog heeltemal opgelei moet word voordat dit verminder kan word. Daar was 'n paar aanvanklike studies oor neurale subversamelings wat op hul eie opgelei kan word. Hulle akkuraatheid is egter nie dieselfde as dié van supergrootte neurale netwerke nie.

Implikasies van opleiding van KI-modelle

Wyer implikasies van opleiding KI-modelle kan die volgende insluit: 

• Verhoogde navorsing in verskillende metodes om neurale netwerke op te lei; vordering kan egter vertraag word deur 'n gebrek aan befondsing.
• Groot tegnologie gaan voort om hul KI-navorsingslaboratoriums te befonds, wat lei tot meer botsende belange.
• Die koste van KI-ontwikkeling wat die toestande skep vir monopolieë om te vorm, wat die vermoë van nuwe KI-beginondernemings beperk om onafhanklik met gevestigde tegnologiefirmas mee te ding. 'n Ontluikende sakescenario kan sien dat 'n handjievol groot tegnologiefirmas reuse-eiendomse KI-modelle ontwikkel en dit aan kleiner KI-firmas as 'n diens/nutsmiddel verhuur.
• Navorsingsinstansies, niewinsorganisasies en universiteite wat deur groot tegnologie gefinansier word om 'n paar KI-eksperimente namens hulle uit te voer. Hierdie tendens kan lei tot meer breindreining van die akademie na korporasies.
• Verhoogde druk vir groot tegnologie om hul KI-etiekriglyne te publiseer en gereeld op te dateer om hulle aanspreeklik te maak vir hul navorsings- en ontwikkelingsprojekte.
• Opleiding van KI-modelle word duurder namate hoër rekenaarkrag toenemend vereis word, wat lei tot meer koolstofvrystellings.
• Sommige regeringsagentskappe probeer om die data wat gebruik word in die opleiding van hierdie reuse KI-modelle te reguleer. Mededingingsagentskappe kan ook wetgewing skep wat KI-modelle van 'n sekere grootte dwing om toeganklik te word vir kleiner plaaslike firmas in 'n poging om KMO-innovasie aan te spoor.

Vrae om te oorweeg

• As jy in die KI-sektor werk, hoe ontwikkel jou organisasie meer omgewingsvolhoubare KI-modelle?
• Wat is die potensiële langtermyngevolge van duur KI-modelle?