Обучение на AI модели: Търсенето на евтина разработка на AI

• Автор:
• име Автор

  Quantumrun Foresight
• Март 21, 2023

Дълбокото обучение (DL) се доказа като компетентно решение на няколко предизвикателства в развитието на изкуствения интелект (AI). DL обаче също става все по-скъп. Работата с дълбоки невронни мрежи изисква големи ресурси за обработка, особено при предварително обучение. Още по-лошо, този енергоемък процес означава, че тези изисквания водят до големи въглеродни отпечатъци, увреждайки ESG оценките на комерсиализацията на изследванията на ИИ.

Контекст на модели на AI за обучение

Предварителното обучение сега е най-популярният подход за изграждане на широкомащабни невронни мрежи и показа голям успех в компютърното зрение (CV) и обработката на естествен език (NLP). Разработването на огромни DL модели обаче стана твърде скъпо. Например, обучението на Generative Pre-trained Transformer 3 (GPT-3) на OpenAI, който има 175 милиарда параметри и се нуждае от достъп до огромни сървърни клъстери с първокласни графични карти, имаше приблизителна цена от 12 милиона щатски долара. Мощен сървър и стотици гигабайти видеопамет с произволен достъп (VRAM) също са необходими за стартиране на модела.

Докато големите технологични компании може да са в състояние да си позволят такива разходи за обучение, това става непосилно за по-малките стартиращи фирми и изследователски организации. Три фактора определят този разход. 

1. Големи изчислителни разходи, които биха отнели няколко седмици с хиляди графични процесори (GPU).

2. Фино настроените модели изискват масивна памет, обикновено заемаща стотици гигабайти (GB). Освен това трябва да се съхраняват множество модели за различни задачи.

3. Обучението на големи модели изисква прецизна изчислителна мощност и хардуер; в противен случай резултатите може да не са идеални.

Поради прекалено високите разходи, изследванията на AI стават все по-комерсиализирани, като големите технологични компании водят проучванията в тази област. Тези фирми също могат да спечелят най-много от своите открития. Междувременно изследователските институции и организациите с нестопанска цел често трябва да си сътрудничат с тези фирми, ако искат да проведат своето проучване в тази област. 

Разрушително въздействие

Има доказателства, които предполагат, че невронните мрежи могат да бъдат "орязвани". Това означава, че в рамките на свръхголеми невронни мрежи по-малка група може да постигне същото ниво на точност като оригиналния AI модел без тежки въздействия върху неговата функционалност. Например през 2020 г. изследователи на AI от Swarthmore College и Националната лаборатория в Лос Аламос показаха, че въпреки че сложен DL модел може да се научи да предсказва бъдещи стъпки в Играта на живота на математика Джон Конуей, винаги има по-малка невронна мрежа, която може да бъде научена да направи същото нещо.

Изследователите откриха, че ако отхвърлят множество параметри на DL модел, след като е завършил цялата процедура на обучение, те могат да го намалят до 10 процента от първоначалния му размер и пак да постигнат същия резултат. Няколко технологични компании вече компресират своите AI модели, за да спестят място на устройства като лаптопи и смартфони. Този метод не само спестява пари, но също така позволява на софтуера да работи без интернет връзка и да получава резултати в реално време. 

Имаше и случаи, когато DL беше възможно на устройства, захранвани от слънчеви батерии или бутонни клетки, благодарение на малки невронни мрежи. Въпреки това, ограничение на метода за подрязване е, че моделът все още трябва да бъде напълно обучен, преди да може да бъде намален. Имаше някои първоначални проучвания върху невронни подгрупи, които могат да бъдат обучени сами. Въпреки това, тяхната точност не е същата като тази на свръхголемите невронни мрежи.

Последици от обучението на AI модели

По-широките последици от обучението на AI модели могат да включват: 

• Засилено изследване на различни методи за обучение на невронни мрежи; напредъкът обаче може да се забави поради липса на финансиране.
• Големите технологични компании продължават да финансират своите изследователски лаборатории за ИИ, което води до повече конфликти на интереси.
• Разходите за разработване на AI създават условия за формиране на монополи, ограничавайки способността на новите стартиращи AI фирми да се конкурират независимо с установени технологични фирми. Възникващ бизнес сценарий може да види шепа големи технологични фирми, които разработват гигантски патентовани AI модели и ги отдават под наем на по-малки AI фирми като услуга/полезно средство.
• Изследователски институции, организации с нестопанска цел и университети, финансирани от големите технологии, за да провеждат някои експерименти с ИИ от тяхно име. Тази тенденция може да доведе до повече изтичане на мозъци от академичните среди към корпорациите.
• Повишен натиск върху големите технологии да публикуват и редовно да актуализират своите етични насоки за AI, за да ги направят отговорни за своите изследователски и развойни проекти.
• Обучението на AI модели става все по-скъпо, тъй като все повече се изисква по-висока изчислителна мощност, което води до повече въглеродни емисии.
• Някои правителствени агенции се опитват да регулират данните, използвани при обучението на тези гигантски AI модели. Освен това агенциите за защита на конкуренцията могат да създадат законодателство, което принуждава AI модели с определен размер да бъдат достъпни за по-малки местни фирми в опит да стимулират иновациите на МСП.

Въпроси за разглеждане

• Ако работите в сектора на ИИ, как вашата организация разработва по-екологично устойчиви модели на ИИ?
• Какви са потенциалните дългосрочни последици от скъпите AI модели?