Mācību ai modeļu meklēšana zemu izmaksu AI izstrāde

ATTĒLA KREDĪTS:

iStock

AI modeļu apmācība: zemu izmaksu AI izstrādes meklēšana

Mākslīgā intelekta modeļu izveide un apmācība ir ļoti dārgi, tāpēc lielākajai daļai pētnieku un lietotāju tie nav pieejami.

Autors:
Autors nosaukums
Quantumrun Foresight
Marts 21, 2023

Dziļā mācīšanās (DL) ir izrādījusies kompetents risinājums vairākiem mākslīgā intelekta (AI) attīstības izaicinājumiem. Taču arī DL kļūst dārgāks. Dziļo neironu tīklu darbībai ir nepieciešami lieli apstrādes resursi, īpaši iepriekšējas apmācības laikā. Vēl ļaunāk, šis energoietilpīgais process nozīmē, ka šīs prasības rada lielus oglekļa pēdas nospiedumus, kaitējot AI pētniecības komercializācijas ESG reitingiem.

AI modeļu apmācības konteksts

Iepriekšēja apmācība tagad ir vispopulārākā pieeja liela mēroga neironu tīklu veidošanai, un tā ir uzrādījusi lielus panākumus datorredzē (CV) un dabiskās valodas apstrādē (NLP). Tomēr milzīgu DL modeļu izstrāde ir kļuvusi pārāk dārga. Piemēram, OpenAI ģeneratīvā iepriekš apmācītā transformatora 3 (GPT-3), kuram ir 175 miljardi parametru un kuram ir nepieciešama piekļuve milzīgām serveru kopām ar augstākās klases grafiskajām kartēm, apmācības izmaksas bija 12 miljoni USD. Modeļa darbināšanai ir nepieciešams arī jaudīgs serveris un simtiem gigabaitu video brīvpiekļuves atmiņas (VRAM).

Lai gan lielākie tehnoloģiju uzņēmumi varētu atļauties šādas apmācības izmaksas, tas kļūst pārmērīgi maziem jaunizveidotiem uzņēmumiem un pētniecības organizācijām. Šos izdevumus nosaka trīs faktori.

1. Lielas aprēķinu izmaksas, kurām būtu nepieciešamas vairākas nedēļas ar tūkstošiem grafisko apstrādes vienību (GPU).

2. Precīzi pielāgotiem modeļiem ir nepieciešama liela krātuve, kas parasti aizņem simtiem gigabaitu (GB). Turklāt ir jāsaglabā vairāki modeļi dažādiem uzdevumiem.

3. Lielo modeļu apmācībai nepieciešama precīza skaitļošanas jauda un aparatūra; pretējā gadījumā rezultāti var nebūt ideāli.

Pārmērīgo izmaksu dēļ AI pētniecība ir kļuvusi arvien vairāk komercializēta, un Big Tech uzņēmumi vada pētījumus šajā jomā. Šie uzņēmumi arī iegūs visvairāk no saviem atklājumiem. Tikmēr pētniecības iestādēm un bezpeļņas organizācijām bieži ir jāsadarbojas ar šiem uzņēmumiem, ja viņi vēlas veikt izpēti šajā jomā.

Traucējoša ietekme

Ir pierādījumi, kas liecina, ka neironu tīklus var "apgriezt". Tas nozīmē, ka liela izmēra neironu tīklos mazāka grupa var sasniegt tādu pašu precizitātes līmeni kā sākotnējais AI modelis, būtiski neietekmējot tā funkcionalitāti. Piemēram, 2020. gadā AI pētnieki no Swarthmore koledžas un Los Alamos National Laboratory ilustrēja, ka, lai gan sarežģīts DL modelis var iemācīties paredzēt turpmākos soļus matemātiķa Džona Konveja Dzīves spēlē, vienmēr ir mazāks neironu tīkls, ko var iemācīt. darīt to pašu.

Pētnieki atklāja, ka, ja viņi izmet daudzus DL modeļa parametrus pēc tam, kad tas ir pabeidzis visu apmācības procedūru, viņi var samazināt to līdz 10 procentiem no sākotnējā izmēra un joprojām sasniegt to pašu rezultātu. Vairāki tehnoloģiju uzņēmumi jau saspiež savus AI modeļus, lai ietaupītu vietu tādās ierīcēs kā klēpjdatori un viedtālruņi. Šī metode ne tikai ietaupa naudu, bet arī ļauj programmatūrai darboties bez interneta savienojuma un iegūt rezultātus reāllaikā.

Bija arī gadījumi, kad DL bija iespējama ierīcēs, kuras darbina saules baterijas vai pogu elementi, pateicoties maziem neironu tīkliem. Tomēr atzarošanas metodes ierobežojums ir tāds, ka modelis joprojām ir pilnībā jāapmāca, pirms to var samazināt. Bija daži sākotnēji pētījumi par neironu apakškopām, kuras var apmācīt pašas. Tomēr to precizitāte nav tāda pati kā lielizmēra neironu tīkliem.

AI modeļu apmācības sekas

AI modeļu apmācības plašākas sekas var ietvert:

Pastiprināti pētījumi par dažādām neironu tīklu apmācības metodēm; tomēr progresu varētu palēnināt finansējuma trūkums.
Lielās tehnoloģijas turpina finansēt savas AI pētniecības laboratorijas, kā rezultātā rodas vairāk interešu konfliktu.
AI izstrādes izmaksas, radot apstākļus monopolu veidošanai, ierobežojot jaunu AI jaunuzņēmumu spēju neatkarīgi konkurēt ar jau izveidotiem tehnoloģiju uzņēmumiem. Jaunā biznesa scenārijā dažas lielas tehnoloģiju firmas var izstrādāt milzīgus patentētus AI modeļus un iznomāt tos mazākiem AI uzņēmumiem kā pakalpojumu/utilītu.
Pētniecības iestādes, bezpeļņas organizācijas un universitātes, kuras finansē lielās tehnoloģijas, lai veiktu dažus AI eksperimentus to vārdā. Šī tendence var izraisīt lielāku intelektuālā darbaspēka aizplūšanu no akadēmiskajām aprindām uz korporācijām.
Palielināts spiediens uz lielajām tehnoloģijām publicēt un regulāri atjaunināt AI ētikas vadlīnijas, lai tās būtu atbildīgas par saviem pētniecības un attīstības projektiem.
AI modeļu apmācība kļūst dārgāka, jo arvien vairāk ir nepieciešama lielāka skaitļošanas jauda, kas rada vairāk oglekļa emisiju.
Dažas valdības aģentūras mēģina regulēt datus, kas tiek izmantoti šo milzīgo AI modeļu apmācībā. Tāpat konkurences aģentūras var izstrādāt tiesību aktus, kas liek noteikta izmēra mākslīgā intelekta modeļiem būt pieejamiem mazākiem vietējiem uzņēmumiem, cenšoties veicināt MVU inovāciju.