Modelên AI-ê yên perwerdehiyê: Lêgerîna pêşveçûna AI-ê ya kêm-mesref

• Nivîskar:
• Navê nivîskar

  Pêşbîniya Quantumrun
• March 21, 2023

Fêrbûna kûr (DL) îsbat kiriye ku di pêşkeftina îstîxbarata sûnî (AI) de ji gelek pirsgirêkan re çareseriyek jêhatî ye. Lêbelê, DL jî bihatir dibe. Karkirina torên neuralî yên kûr hewceyê çavkaniyên pêvajoyek bilind, nemaze di pêş-perwerdeyê de. Ya xirabtir, ev pêvajoyek enerjiyê-dijwar tê vê wateyê ku van hewcedariyên lingên karbonê yên mezin encam didin, zirarê dide nirxa ESG ya bazirganîkirina lêkolîna AI.

Di çarçoveya modelên AI-ê de perwerdehiyê

Pêş-perwerde niha nêzîkatiya herî populer e ji bo avakirina torên neuralî yên mezin, û di dîtina komputerê (CV) û pêvajoya zimanê xwezayî (NLP) de serkeftinek mezin nîşan daye. Lêbelê, pêşxistina modelên DL yên mezin pir biha bûye. Mînakî, perwerdekirina OpenAI's Generative Pre-trained Transformer 3 (GPT-3), ku xwedan 175 mîlyar parametre û pêdivî ye ku bigihîje komên serverên mezin ên bi qertên grafîkî yên jorîn, lêçûnek texmînkirî 12 mîlyon dolar bû. Ji bo xebitandina modelê serverek hêzdar û bi sedan gigabayt bîranîna gihîştina rasthatî ya vîdyoyê (VRAM) jî hewce ne.

Gava ku pargîdaniyên teknolojî yên mezin dikarin bikaribin lêçûnên perwerdehiyê yên weha bidin, ew ji bo destpêk û rêxistinên lêkolînê yên piçûktir qedexe dibe. Sê faktor vê lêçûnê dimeşînin. 

1. Mesrefên hesabkirinê yên berfereh, ku bi hezaran yekîneyên pêvajoyek grafîkî (GPU) re çend hefte hewce dike.

2. Modelên birêkûpêk pêdivî bi hilanîna girseyî heye, bi gelemperî bi sedan gigabyte (GB) digirin. Wekî din, gelek modelên ji bo karên cûda hewce ne ku bêne hilanîn.

3. Ji bo perwerdekirina modelên mezin hêz û hardware ya hesabkerî ya rast hewce dike; Wekî din, dibe ku encam ne îdeal bin.

Ji ber lêçûnên qedexekirî, lêkolîna AI-ê her ku diçe bazirganî bûye, ku pargîdaniyên Big Tech pêşengiya lêkolînan li qadê dikin. Van fîrmayan jî ji dîtinên xwe herî zêde qezenc dikin. Di vê navberê de, saziyên lêkolînê û ne-qezenc bi gelemperî neçar in ku bi van karsaziyan re hevkariyê bikin ger ku ew bixwazin keşifên xwe li qadê bikin. 

Bandora têkçûyî

Delîl hene ku destnîşan dikin ku torên neuralî dikarin "qelkirî" bibin. Ev tê vê wateyê ku di nav torên neuralî yên mezin de, komek piçûktir dikare bigihîje heman astê rastbûnê wekî modela AI-ya xwerû bêyî bandorên giran li ser fonksiyona wê. Mînakî, di sala 2020-an de, lêkolînerên AI-yê li Swarthmore College û Laboratory Neteweyî ya Los Alamos diyar kirin ku her çend modelek DL-ya tevlihev dikare fêr bibe ku gavên pêşerojê di Lîstika Jiyanê ya matematîkzan John Conway de pêşbîn bike jî, her gav torgilokek neuralî ya piçûktir heye ku dikare were hîn kirin. heman tiştî bikin.

Lekolînwanan vedîtin ku ger ew gelek parametreyên modela DL-ê piştî ku tevahiya prosedûra perwerdehiyê qedandin bavêjin, ew dikarin wê ji sedî 10 ji mezinahiya wê ya orjînal kêm bikin û dîsa jî heman encamê bi dest bixin. Gelek pargîdaniyên teknolojiyê berê xwe didin modelên AI-ê da ku cîhê li ser cîhazên wekî laptop û smartfonan xilas bikin. Ev rêbaz ne tenê drav dide lê di heman demê de dihêle ku nermalavê bêyî pêwendiyek Internetnternetê bixebite û di demek rast de encam bigire. 

Di heman demê de bûyer hebûn ku DL li ser cîhazên ku bi bataryayên rojê an hucreyên bişkojkê ve têne hêz kirin, bi saya torên neuralî yên piçûk gengaz bû. Lêbelê, tixûbek rêbaza qutkirinê ev e ku hîn jî pêdivî ye ku model bi tevahî were perwerde kirin berî ku were kêm kirin. Hin lêkolînên destpêkê li ser binkomên neuralî hebûn ku dikarin bi tena serê xwe bêne perwerde kirin. Lêbelê, rastbûna wan ne wekî yên torên neuralî yên mezin e.

Encamên perwerdehiya modelên AI-ê

Encamên berfireh ên perwerdehiya modelên AI-ê dibe ku ev in: 

• Zêdebûna lêkolînê di rêbazên cûda yên perwerdekirina torên neuralî de; lebê, pêşkeftin dibe ku ji ber kêmbûna fonê hêdî bibe.
• Teknolojiya mezin ku fînansekirina laboratûwarên lêkolîna AI-yê xwe didomîne, di encamê de bêtir nakokiyên berjewendiyan çêdibe.
• Lêçûnên pêşkeftina AI-yê şert û mercên ji bo avakirina monopolan diafirîne, şiyana destpêkek nû ya AI-yê ku serbixwe bi fîrmayên teknolojiyê yên sazkirî re pêşbaziyê bike sînordar dike. Dibe ku senaryoyek karsaziyek ku derdikeve pêş çend pargîdaniyên teknolojiyê yên mezin ku modelên xwedan AI-ê yên mezin pêşdixin û wan wekî karûbar / karûbarek ji pargîdaniyên piçûktir ên AI-ê re kirê dikin.
• Saziyên lêkolînê, ne-qezenc û zanîngehên ku ji hêla teknolojiya mezin ve têne fînanse kirin ku li ser navê wan hin ceribandinên AI-ê pêk bînin. Ev meyl dikare bibe sedema rijandina mêjî ji akademiyê berbi pargîdaniyan.
• Zextek ji bo teknolojiya mezin zêde bû ku rêwerzên xwe yên etîka AI-yê biweşînin û bi rêkûpêk nûve bikin da ku wan ji projeyên lêkolîn û pêşkeftina xwe berpirsiyar bikin.
• Perwerdehiya modelên AI-ê bihatir dibe ji ber ku hêza hilberandina bilind her ku diçe zêde dibe, ku rê li ber belavbûna karbonê digire.
• Hin saziyên hukûmetê hewl didin ku daneyên ku di perwerdehiya van modelên AI-ya giyanî de têne bikar anîn birêkûpêk bikin. Di heman demê de, ajansên pêşbaziyê dibe ku qanûnek biafirînin ku modelên AI-ê yên bi pîvanek diyarkirî neçar dike ku ji pargîdaniyên piçûktir ên navmalî re bêne peyda kirin da ku hewl bidin nûjeniya SME-yê bişopînin.

Pirsên ku têne nirxandin

• Ger hûn di sektora AI-ê de bixebitin, rêxistina we çawa modelên AI-ê yên domdar ên jîngehê pêşve dike?
• Encamên potansiyel ên demdirêj ên modelên AI-ê yên biha çi ne?