Tréningové modely AI: Hľadanie lacného vývoja AI

OBRÁZOK PRE OBRÁZOK:
Obrazový kredit
iStock

Tréningové modely AI: Hľadanie lacného vývoja AI

Tréningové modely AI: Hľadanie lacného vývoja AI

Text podnadpisu
Modely umelej inteligencie sú notoricky drahé na zostavenie a školenie, vďaka čomu sú pre väčšinu výskumníkov a používateľov nedostupné.
    • Autor:
    • meno autora
      Predvídavosť Quantumrun
    • March 21, 2023

    Hlboké učenie (DL) sa ukázalo ako kompetentné riešenie niekoľkých výziev vo vývoji umelej inteligencie (AI). DL je však aj drahšie. Prevádzka hlbokých neurónových sietí si vyžaduje veľké zdroje spracovania, najmä v predtréningu. Čo je horšie, tento energeticky náročný proces znamená, že tieto požiadavky vedú k veľkým uhlíkovým stopám, ktoré poškodzujú hodnotenia ESG komercializácie výskumu AI.

    Kontext tréningových modelov AI

    Predškolenie je teraz najpopulárnejším prístupom k budovaniu rozsiahlych neurónových sietí a ukázalo sa, že má veľký úspech v počítačovom videní (CV) a spracovaní prirodzeného jazyka (NLP). Vývoj obrovských modelov DL sa však stal príliš nákladným. Napríklad školenie OpenAI Generative Pre-trained Transformer 3 (GPT-3), ktorý má 175 miliárd parametrov a potrebuje prístup k obrovským serverovým klastrom so špičkovými grafickými kartami, malo odhadované náklady na 12 miliónov USD. Na spustenie modelu je potrebný aj výkonný server a stovky gigabajtov video pamäte s náhodným prístupom (VRAM).

    Zatiaľ čo veľké technologické spoločnosti si môžu dovoliť takéto náklady na školenie, pre menšie startupy a výskumné organizácie sa to stáva nedostupným. Tieto náklady ovplyvňujú tri faktory. 

    1. Rozsiahle výpočtové náklady, ktoré by si vyžadovali niekoľko týždňov s tisíckami grafických procesorov (GPU).

    2. Vyladené modely vyžadujú masívne úložisko, ktoré zvyčajne zaberá stovky gigabajtov (GB). Okrem toho je potrebné uložiť viacero modelov pre rôzne úlohy.

    3. Tréning veľkých modelov vyžaduje presný výpočtový výkon a hardvér; v opačnom prípade výsledky nemusia byť ideálne.

    Kvôli neúmerným nákladom sa výskum AI čoraz viac komercializuje, pričom veľké technologické spoločnosti vedú štúdie v tejto oblasti. Tieto firmy tiež zo svojich zistení vyťažia maximum. Medzitým musia výskumné inštitúcie a neziskové organizácie často spolupracovať s týmito podnikmi, ak chcú vykonať svoj prieskum v teréne. 

    Rušivý vplyv

    Existujú dôkazy, ktoré naznačujú, že neurónové siete možno „orezať“. To znamená, že v rámci nadrozmerných neurónových sietí môže menšia skupina dosiahnuť rovnakú úroveň presnosti ako pôvodný model AI bez veľkých dopadov na jeho funkčnosť. Napríklad v roku 2020 výskumníci AI na Swarthmore College a Los Alamos National Laboratory ukázali, že aj keď sa komplexný DL model môže naučiť predpovedať budúce kroky v hre o život matematika Johna Conwaya, vždy existuje menšia neurónová sieť, ktorú možno naučiť. robiť to isté.

    Výskumníci zistili, že ak vyradia početné parametre modelu DL po tom, čo dokončí celú tréningovú procedúru, môžu ho zmenšiť na 10 percent pôvodnej veľkosti a stále dosiahnuť rovnaký výsledok. Niekoľko technologických spoločností už komprimuje svoje modely AI, aby ušetrili miesto na zariadeniach, ako sú notebooky a smartfóny. Táto metóda nielen šetrí peniaze, ale umožňuje aj spustenie softvéru bez internetového pripojenia a získavanie výsledkov v reálnom čase. 

    Vyskytli sa aj prípady, keď bolo DL možné na zariadeniach napájaných solárnymi batériami alebo gombíkovými článkami vďaka malým neurónovým sieťam. Obmedzením metódy orezávania je však to, že model ešte musí byť úplne natrénovaný, než sa dá zmenšiť. Existovalo niekoľko počiatočných štúdií o nervových podskupinách, ktoré sa dajú trénovať samostatne. Ich presnosť však nie je rovnaká ako presnosť nadrozmerných neurónových sietí.

    Dôsledky tréningových modelov AI

    Širšie dôsledky tréningových modelov AI môžu zahŕňať: 

    • Zvýšený výskum rôznych metód trénovania neurónových sietí; pokrok však môže spomaliť nedostatok financií.
    • Veľká technológia naďalej financuje svoje výskumné laboratóriá AI, čo vedie k ďalším konfliktom záujmov.
    • Náklady na vývoj AI, ktoré vytvárajú podmienky pre vznik monopolov, obmedzujú schopnosť nových startupov AI súťažiť nezávisle so zavedenými technologickými firmami. Vznikajúci obchodný scenár môže vidieť, že hŕstka veľkých technologických firiem vyvíja obrovské proprietárne modely AI a prenajíma ich menším firmám AI ako službu/utilitu.
    • Výskumné inštitúcie, neziskové organizácie a univerzity financované veľkými technológiami, aby v ich mene uskutočňovali niektoré experimenty AI. Tento trend môže viesť k väčšiemu úniku mozgov z akademickej obce do korporácií.
    • Zvýšený tlak na veľké technológie, aby zverejňovali a pravidelne aktualizovali svoje etické usmernenia AI, aby boli zodpovední za svoje výskumné a vývojové projekty.
    • Tréningové modely umelej inteligencie sa stávajú drahšími, keďže je čoraz viac potrebný vyšší výpočtový výkon, čo vedie k vyšším emisiám uhlíka.
    • Niektoré vládne agentúry sa pokúšajú regulovať údaje používané pri výcviku týchto obrích modelov AI. Agentúry pre hospodársku súťaž môžu tiež vytvoriť legislatívu, ktorá núti modely AI určitej veľkosti sprístupniť menším domácim firmám v snahe podnietiť inovácie MSP.

    Otázky na zváženie

    • Ak pracujete v sektore AI, ako vaša organizácia vyvíja environmentálne udržateľnejšie modely AI?
    • Aké sú potenciálne dlhodobé dôsledky drahých modelov AI?

    Prehľadové referencie

    Pre tento prehľad boli použité nasledujúce populárne a inštitucionálne odkazy: