Þjálfun gervigreindarlíkön: Leitin að ódýrri gervigreindarþróun

MYNDAGREIÐSLA:
Image inneign
iStock

Þjálfun gervigreindarlíkön: Leitin að ódýrri gervigreindarþróun

Þjálfun gervigreindarlíkön: Leitin að ódýrri gervigreindarþróun

Texti undirfyrirsagna
Gervigreindarlíkön eru alræmd dýr í smíði og þjálfun, sem gerir það að verkum að þeir eru ekki seilingar fyrir flesta rannsakendur og notendur.
    • Höfundur:
    • Höfundur nafn
      Quantumrun Foresight
    • Mars 21, 2023

    Djúpnám (DL) hefur reynst hæf lausn á nokkrum áskorunum í þróun gervigreindar (AI). Hins vegar er DL líka að verða dýrari. Að reka djúpt taugakerfi krefst mikils vinnsluúrræða, sérstaklega í forþjálfun. Það sem verra er, þetta orkufreka ferli þýðir að þessar kröfur leiða til stórra kolefnisfótspora, sem skaðar ESG einkunnir markaðssetningar gervigreindarrannsókna.

    Þjálfun gervigreindarlíkana samhengi

    Forþjálfun er nú vinsælasta aðferðin til að byggja upp umfangsmikil taugakerfi og hún hefur sýnt mikinn árangur í tölvusjón (CV) og náttúrulegri málvinnslu (NLP). Hins vegar er of dýrt að þróa risastór DL módel. Til dæmis kostaði þjálfun OpenAI Generative Pre-trained Transformer 3 (GPT-3), sem hefur 175 milljarða breytur og þarf aðgang að gríðarstórum netþjónaklösum með fyrsta flokks skjákortum, 12 milljónir Bandaríkjadala. Einnig þarf öflugan netþjón og hundruð gígabæta af handahófsaðgangsminni (VRAM) til að keyra líkanið.

    Þó að helstu tæknifyrirtæki hafi efni á slíkum þjálfunarkostnaði, verður það óheimilt fyrir smærri sprotafyrirtæki og rannsóknarstofnanir. Þrír þættir stýra þessum kostnaði. 

    1. Mikill útreikningskostnaður, sem þyrfti nokkrar vikur með þúsundum grafískra vinnslueininga (GPU).

    2. Fínstillt gerðir krefjast gríðarlegrar geymslu, sem tekur venjulega hundruð gígabæta (GB). Ennfremur þarf að geyma margar gerðir fyrir mismunandi verkefni.

    3. Þjálfun stórra gerða krefst nákvæms reiknikrafts og vélbúnaðar; annars gætu niðurstöður ekki verið ákjósanlegar.

    Vegna ofboðslegs kostnaðar hafa gervigreindarrannsóknir orðið í auknum mæli markaðssettar, þar sem stór tæknifyrirtæki leiða rannsóknir á þessu sviði. Þessi fyrirtæki munu einnig græða mest á niðurstöðum sínum. Á sama tíma þurfa rannsóknarstofnanir og sjálfseignarstofnanir oft að vinna með þessum fyrirtækjum ef þeir vilja stunda könnun sína á þessu sviði. 

    Truflandi áhrif

    Það eru vísbendingar sem benda til þess að hægt sé að "klippa taugakerfi". Þetta þýðir að innan stórra tauganeta getur minni hópur náð sömu nákvæmni og upprunalega gervigreind líkanið án þess að hafa mikil áhrif á virkni þess. Til dæmis, árið 2020, sýndu gervigreind vísindamenn við Swarthmore College og Los Alamos National Laboratory að jafnvel þó flókið DL líkan geti lært að spá fyrir um framtíðarskref í Game of Life stærðfræðingsins John Conway, þá er alltaf minna tauganet sem hægt er að kenna. að gera það sama.

    Vísindamenn komust að því að ef þeir fleygja fjölmörgum breytum af DL líkani eftir að það hefur lokið öllu þjálfunarferlinu, geta þeir minnkað það í 10 prósent af upprunalegri stærð og samt náð sömu niðurstöðu. Nokkur tæknifyrirtæki eru nú þegar að þjappa gervigreindargerðum sínum til að spara pláss á tækjum eins og fartölvum og snjallsímum. Þessi aðferð sparar ekki aðeins peninga heldur gerir hugbúnaðinum einnig kleift að keyra án nettengingar og fá niðurstöður í rauntíma. 

    Það voru líka tilvik þar sem DL var mögulegt á tækjum sem knúin voru af sólarrafhlöðum eða hnappafrumum, þökk sé litlum taugakerfi. Hins vegar er takmörkun á klippingaraðferðinni að enn þarf að þjálfa líkanið alveg áður en hægt er að minnka það. Það voru nokkrar frumrannsóknir á taugahlutmengi sem hægt er að þjálfa á eigin spýtur. Hins vegar er nákvæmni þeirra ekki sú sama og í stórum tauganetum.

    Afleiðingar þjálfunar gervigreindarlíkana

    Víðtækari áhrif þjálfunar gervigreindarlíkana geta verið: 

    • Auknar rannsóknir á mismunandi aðferðum til að þjálfa taugakerfi; þó gæti framfarir hægst vegna fjárskorts.
    • Stórtækni heldur áfram að fjármagna gervigreindarrannsóknarstofur sínar, sem leiðir til fleiri hagsmunaárekstra.
    • Kostnaður við þróun gervigreindar skapar skilyrði fyrir myndun einokunar, sem takmarkar getu nýrra gervigreindarfyrirtækja til að keppa sjálfstætt við rótgróin tæknifyrirtæki. Viðskiptasviðsmynd sem er að koma upp gæti séð handfylli stórra tæknifyrirtækja þróa risastór sérhæfð gervigreind módel og leigja þau smærri gervigreindarfyrirtækjum sem þjónustu/tól.
    • Rannsóknarstofnanir, sjálfseignarstofnanir og háskólar eru styrktir af stórtækni til að gera nokkrar gervigreindartilraunir fyrir þeirra hönd. Þessi þróun getur leitt til meiri atgervisflótta frá fræðasamfélaginu til fyrirtækja.
    • Aukinn þrýstingur á stórtækni til að birta og uppfæra reglulega siðareglur um gervigreind til að gera þá ábyrga fyrir rannsóknar- og þróunarverkefnum sínum.
    • Þjálfun gervigreindarlíkön verða dýrari eftir því sem sífellt er þörf á meiri tölvuafli, sem leiðir til meiri kolefnislosunar.
    • Sumar ríkisstofnanir reyna að stjórna gögnunum sem notuð eru við þjálfun þessara risa gervigreindarlíkana. Jafnframt geta samkeppnisstofnanir búið til löggjöf sem neyðir gervigreindarlíkön af ákveðinni stærð til að vera aðgengileg smærri innlendum fyrirtækjum í viðleitni til að hvetja til nýsköpunar fyrir lítil og meðalstór fyrirtæki.

    Spurningar sem þarf að íhuga

    • Ef þú vinnur í gervigreindargeiranum, hvernig er stofnunin þín að þróa umhverfisvænni gervigreindarlíkön?
    • Hverjar eru hugsanlegar langtímaafleiðingar dýrra gervigreindargerða?

    Innsýn tilvísanir

    Vísað var til eftirfarandi vinsælu og stofnanatengla fyrir þessa innsýn: