Hyfforddi modelau AI: Chwilio am ddatblygiad AI cost isel

• Awdur:
• enw awdur

  Rhagolwg Quantumrun
• Mawrth 21, 2023

Mae dysgu dwfn (DL) wedi profi i fod yn ateb cymwys i sawl her o ran datblygu deallusrwydd artiffisial (AI). Fodd bynnag, mae DL hefyd yn dod yn ddrutach. Mae gweithredu rhwydweithiau niwral dwfn yn gofyn am adnoddau prosesu uchel, yn enwedig mewn cyn-hyfforddiant. Yn waeth, mae'r broses ynni-ddwys hon yn golygu bod y gofynion hyn yn arwain at olion traed carbon mawr, gan niweidio graddfeydd ESG o fasnacheiddio ymchwil AI.

Hyfforddi cyd-destun modelau AI

Rhag-hyfforddiant bellach yw'r dull mwyaf poblogaidd o adeiladu rhwydweithiau niwral ar raddfa fawr, ac mae wedi dangos llwyddiant mawr mewn gweledigaeth gyfrifiadurol (CV) a phrosesu iaith naturiol (NLP). Fodd bynnag, mae datblygu modelau DL enfawr wedi dod yn rhy gostus. Er enghraifft, amcangyfrifwyd cost hyfforddi Trawsnewidydd Cyn-hyfforddedig Generative OpenAI 3 (GPT-3), sydd â 175 biliwn o baramedrau ac sydd angen mynediad at glystyrau gweinydd enfawr gyda chardiau graffeg o'r radd flaenaf, o USD $12 miliwn. Mae angen gweinydd pwerus a channoedd o gigabeit o gof mynediad ar hap fideo (VRAM) hefyd i redeg y model.

Er y gallai cwmnïau technoleg mawr fforddio costau hyfforddi o'r fath, mae'n mynd yn afresymol i fusnesau newydd a sefydliadau ymchwil llai. Mae tri ffactor yn gyrru'r gost hon. 

1. Costau cyfrifo helaeth, a fyddai angen sawl wythnos gyda miloedd o unedau prosesu graffeg (GPUs).

2. Mae modelau wedi'u tiwnio'n fanwl angen storfa enfawr, fel arfer yn cymryd cannoedd o gigabeit (GBs). Ar ben hynny, mae angen storio modelau lluosog ar gyfer gwahanol dasgau.

3. Mae hyfforddi modelau mawr yn gofyn am bŵer a chaledwedd cyfrifiannol manwl gywir; fel arall, efallai na fydd canlyniadau yn ddelfrydol.

Oherwydd costau afresymol, mae ymchwil AI wedi dod yn fwyfwy masnacheiddiedig, lle mae cwmnïau Big Tech yn arwain yr astudiaethau yn y maes. Bydd y cwmnïau hyn hefyd yn cael y budd mwyaf o'u canfyddiadau. Yn y cyfamser, yn aml mae'n rhaid i sefydliadau ymchwil a sefydliadau dielw gydweithio â'r busnesau hyn os ydyn nhw am gynnal eu hymchwiliad yn y maes. 

Effaith aflonyddgar

Mae tystiolaeth sy'n awgrymu y gall rhwydweithiau niwral gael eu "tocio." Mae hyn yn golygu, o fewn rhwydweithiau niwral mawr iawn, y gall grŵp llai gyflawni'r un lefel o gywirdeb â'r model AI gwreiddiol heb effeithio'n drwm ar ei ymarferoldeb. Er enghraifft, yn 2020, dangosodd ymchwilwyr AI yng Ngholeg Swarthmore a Labordy Cenedlaethol Los Alamos, er y gall model DL cymhleth ddysgu rhagweld camau yn y dyfodol yn Game of Life y mathemategydd John Conway, bod rhwydwaith niwral llai y gellir ei addysgu bob amser. i wneud yr un peth.

Darganfu ymchwilwyr, os ydynt yn taflu nifer o baramedrau model DL ar ôl iddo gwblhau'r weithdrefn hyfforddi gyfan, gallant ei leihau i 10 y cant o'i faint gwreiddiol a dal i gyflawni'r un canlyniad. Mae sawl cwmni technoleg eisoes yn cywasgu eu modelau AI i arbed lle ar ddyfeisiau fel gliniaduron a ffonau smart. Mae'r dull hwn nid yn unig yn arbed arian ond hefyd yn caniatáu i'r feddalwedd redeg heb gysylltiad Rhyngrwyd a chael canlyniadau mewn amser real. 

Roedd yna hefyd achosion pan oedd DL yn bosibl ar ddyfeisiau a bwerwyd gan fatris solar neu gelloedd botwm, diolch i rwydweithiau niwral bach. Fodd bynnag, cyfyngiad ar y dull tocio yw bod angen hyfforddi'r model yn llwyr o hyd cyn y gellir ei leihau. Roedd rhai astudiaethau cychwynnol ar is-setiau niwral y gellir eu hyfforddi ar eu pen eu hunain. Fodd bynnag, nid yw eu cywirdeb yr un peth â chywirdeb rhwydweithiau niwral mawr.

Goblygiadau hyfforddi modelau AI

Gallai goblygiadau ehangach hyfforddi modelau AI gynnwys: 

• Mwy o ymchwil mewn gwahanol ddulliau o hyfforddi rhwydweithiau niwral; fodd bynnag, efallai y bydd cynnydd yn cael ei arafu gan ddiffyg cyllid.
• Technoleg fawr yn parhau i ariannu eu labordai ymchwil AI, gan arwain at fwy o wrthdaro buddiannau.
• Costau datblygu AI yn creu'r amodau ar gyfer ffurfio monopolïau, gan gyfyngu ar allu busnesau newydd AI i gystadlu'n annibynnol â chwmnïau technoleg sefydledig. Efallai y bydd senario busnes sy'n dod i'r amlwg yn gweld llond llaw o gwmnïau technoleg mawr yn datblygu modelau AI perchnogol enfawr a'u prydlesu i gwmnïau AI llai fel gwasanaeth / cyfleustodau.
• Sefydliadau ymchwil, sefydliadau dielw, a phrifysgolion yn cael eu hariannu gan dechnoleg fawr i gynnal rhai arbrofion AI ar eu rhan. Gall y duedd hon arwain at fwy o ddraeniad ymennydd o'r byd academaidd i gorfforaethau.
• Mwy o bwysau ar dechnoleg fawr i gyhoeddi a diweddaru eu canllawiau moeseg AI yn rheolaidd i'w gwneud yn atebol am eu prosiectau ymchwil a datblygu.
• Hyfforddi modelau AI yn dod yn ddrutach gan fod angen mwy a mwy o bŵer cyfrifiadurol, gan arwain at fwy o allyriadau carbon.
• Rhai o asiantaethau'r llywodraeth yn ceisio rheoleiddio'r data a ddefnyddir wrth hyfforddi'r modelau AI anferth hyn. Yn ogystal, gall asiantaethau cystadleuaeth greu deddfwriaeth sy'n gorfodi modelau AI o faint penodol i fod yn hygyrch i gwmnïau domestig llai mewn ymdrech i sbarduno arloesedd busnesau bach a chanolig.

Cwestiynau i'w hystyried

• Os ydych yn gweithio yn y sector AI, sut mae eich sefydliad yn datblygu modelau AI sy’n fwy cynaliadwy yn amgylcheddol?
• Beth yw canlyniadau hirdymor posibl modelau AI drud?