Модели за обука на вештачка интелигенција: Потрага по евтин развој на вештачка интелигенција

• автор:
• име на авторот

  Quantumrun Foresight
• Март 21, 2023

Длабокото учење (DL) се покажа како компетентно решение за неколку предизвици во развојот на вештачката интелигенција (ВИ). Сепак, DL исто така станува поскап. Работењето со длабоки невронски мрежи бара високи ресурси за процесирање, особено во пред-тренингот. Уште полошо, овој енергетски интензивен процес значи дека овие барања резултираат со големи јаглеродни отпечатоци, што ги оштетува рејтингот на ESG за комерцијализација на истражувањето на вештачката интелигенција.

Контекст на модели за обука за вештачка интелигенција

Пред-тренингот сега е најпопуларниот пристап за градење на големи невронски мрежи и покажа голем успех во компјутерската визија (CV) и обработката на природниот јазик (NLP). Сепак, развојот на огромни DL модели стана премногу скап. На пример, обуката на генеративниот претходно обучен трансформатор 3 (GPT-3) на OpenAI, кој има 175 милијарди параметри и има потреба од пристап до огромни кластери на сервери со врвни графички картички, имаше проценета цена од 12 милиони американски долари. Моќен сервер и стотици гигабајти видео меморија за случаен пристап (VRAM) исто така се потребни за да се стартува моделот.

Додека големите технолошки компании можеби ќе можат да си дозволат такви трошоци за обука, тоа станува преголемо за помалите стартапи и истражувачки организации. Три фактори го поттикнуваат овој трошок. 

1. Големи пресметковни трошоци, за кои би биле потребни неколку недели со илјадници графички процесорски единици (GPU).

2. Фино прилагодените модели бараат огромно складирање, кое обично зафаќа стотици гигабајти (GB). Понатаму, треба да се складираат повеќе модели за различни задачи.

3. Обучувањето на големи модели бара прецизна пресметковна моќ и хардвер; во спротивно, резултатите можеби не се идеални.

Поради огромните трошоци, истражувањата за вештачка интелигенција стануваат сè покомерцијализирани, при што компаниите за голема технологија ги предводат студиите на оваа област. Овие фирми, исто така, ќе добијат најмногу од нивните наоди. Во меѓувреме, истражувачките институции и непрофитните организации често мора да соработуваат со овие бизниси ако сакаат да го спроведат своето истражување на теренот. 

Нарушувачко влијание

Постојат докази кои сугерираат дека невронските мрежи може да се „изчистат“. Ова значи дека во рамките на големите невронски мрежи, помала група може да го постигне истото ниво на точност како оригиналниот модел на вештачка интелигенција без големи влијанија врз неговата функционалност. На пример, во 2020 година, истражувачите на вештачката интелигенција од колеџот Свартмор и Националната лабораторија во Лос Аламос илустрираа дека иако сложениот DL модел може да научи да ги предвидува идните чекори во играта на животот на математичарот Џон Конвеј, секогаш постои помала невронска мрежа што може да се научи. да го направи истото.

Истражувачите открија дека ако отфрлат бројни параметри на моделот DL откако ќе ја заврши целата процедура за обука, може да го намалат на 10 проценти од неговата оригинална големина и сепак да го постигнат истиот резултат. Неколку технолошки компании веќе ги компресираат своите модели со вештачка интелигенција за да заштедат простор на уреди како лаптопи и паметни телефони. Овој метод не само што заштедува пари, туку и овозможува софтверот да работи без интернет конекција и да добива резултати во реално време. 

Имаше и случаи кога DL беше можно на уреди напојувани од соларни батерии или ќелии со копчиња, благодарение на малите невронски мрежи. Сепак, ограничување на методот на кастрење е тоа што моделот сè уште треба целосно да се обучи пред да може да се намали. Имаше некои првични студии за нервни подмножества кои може да се обучуваат сами. Сепак, нивната прецизност не е иста како оние на големите невронски мрежи.

Импликации од обука на модели со вештачка интелигенција

Пошироките импликации на моделите за обука на вештачка интелигенција може да вклучуваат: 

• Зголемено истражување во различни методи за обука на невронски мрежи; сепак, напредокот може да биде забавен поради недостиг на финансии.
• Големата технологија продолжува да ги финансира нивните истражувачки лаборатории за вештачка интелигенција, што резултира со повеќе конфликти на интереси.
• Трошоците за развој на вештачката интелигенција создаваат услови за формирање на монополи, ограничувајќи ја способноста на новите стартапи со вештачка интелигенција да се натпреваруваат независно со воспоставените технолошки фирми. Во новото деловно сценарио може да се види дека неколку големи технолошки фирми развиваат гигантски сопственички модели на вештачка интелигенција и ги издаваат на помали фирми со вештачка интелигенција како услуга/корисна услуга.
• Истражувачки институции, непрофитни организации и универзитети кои се финансирани од голема технологија за да спроведат некои експерименти со вештачка интелигенција во нивно име. Овој тренд може да доведе до поголем одлив на мозоци од академските институции кон корпорациите.
• Зголемен притисок за големите технологии да ги објавуваат и редовно да ги ажурираат нивните етички упатства за вештачка интелигенција за да ги направат одговорни за нивните проекти за истражување и развој.
• Тренирањето на модели со вештачка интелигенција станува поскапо бидејќи се повеќе се бара поголема компјутерска моќ, што доведува до повеќе емисии на јаглерод.
• Некои владини агенции се обидуваат да ги регулираат податоците што се користат во обуката на овие гигантски модели на вештачка интелигенција. Исто така, агенциите за конкуренција може да создадат легислатива што ги принудува моделите на вештачка интелигенција со одредена големина да бидат достапни за помалите домашни фирми во обид да ги поттикнат иновациите на МСП.

Прашања што треба да се разгледаат

• Ако работите во секторот за вештачка интелигенција, како вашата организација развива еколошки поодржливи модели на вештачка интелигенција?
• Кои се потенцијалните долгорочни последици од скапите модели со вештачка интелигенција?