AI modellarini o'rgatish: arzon narxlardagi sun'iy intellektni rivojlantirishni izlash

• Muallif:
• Muallifning ismi

  Kvant davrini bashorat qilish
• Mart 21, 2023

Chuqur o'rganish (DL) sun'iy intellektni (AI) rivojlantirishdagi bir qator muammolarga malakali yechim ekanligini isbotladi. Biroq, DL ham qimmatlashmoqda. Chuqur neyron tarmoqlardan foydalanish yuqori qayta ishlash resurslarini talab qiladi, ayniqsa tayyorgarlikdan oldin. Eng yomoni, bu energiyani ko'p talab qiladigan jarayon, bu talablar katta uglerod izlariga olib keladi va AI tadqiqotlari tijoratlashtirishning ESG reytinglariga putur etkazadi.

AI modellarini o'rgatish konteksti

Pre-trening hozirda keng ko'lamli neyron tarmoqlarni qurishda eng mashhur yondashuv bo'lib, u kompyuterni ko'rish (CV) va tabiiy tilni qayta ishlash (NLP) sohasida katta muvaffaqiyatlar ko'rsatdi. Biroq, ulkan DL modellarini ishlab chiqish juda qimmatga tushdi. Masalan, OpenAI-ning 3 milliard parametrga ega va yuqori darajadagi grafik kartalari bo'lgan ulkan server klasterlariga kirishga muhtoj bo'lgan Generative Pre-trained Transformer 3 (GPT-175) ni o'qitishning taxminiy qiymati 12 million AQSh dollarini tashkil etdi. Modelni ishga tushirish uchun kuchli server va yuzlab gigabaytlik video tasodifiy kirish xotirasi (VRAM) ham kerak.

Yirik texnologiya kompaniyalari bunday o'quv xarajatlarini qoplay olishi mumkin bo'lsa-da, kichikroq startaplar va tadqiqot tashkilotlari uchun bu taqiqlanadi. Ushbu xarajatlarni uchta omil qo'zg'atadi. 

1. Minglab grafik ishlov berish birliklari (GPU) bilan bir necha hafta kerak bo'ladigan keng ko'lamli hisoblash xarajatlari.

2. Nozik sozlangan modellar katta hajmdagi saqlashni talab qiladi, odatda yuzlab gigabaytni (GB) egallaydi. Bundan tashqari, turli vazifalar uchun bir nechta modellarni saqlash kerak.

3. Katta modellarni tayyorlash uchun aniq hisoblash quvvati va apparat vositalari kerak; aks holda natijalar ideal bo'lmasligi mumkin.

Taqiqlovchi xarajatlar tufayli sun'iy intellekt tadqiqotlari tobora ko'proq tijoratlashtirildi, bunda Big Tech kompaniyalari ushbu sohadagi tadqiqotlarni boshqarmoqda. Ushbu firmalar ham o'zlarining topilmalaridan eng ko'p foyda olishadi. Ayni paytda, tadqiqot institutlari va notijorat tashkilotlari, agar ular bu sohada o'z tadqiqotlarini olib borishni xohlasalar, ko'pincha ushbu korxonalar bilan hamkorlik qilishlari kerak. 

Buzg'unchi ta'sir

Neyron tarmoqlarni "kesish" mumkinligini ko'rsatadigan dalillar mavjud. Bu shuni anglatadiki, kattalashtirilgan neyron tarmoqlarda kichikroq guruh uning funksionalligiga katta ta'sir ko'rsatmasdan, asl AI modeli kabi aniqlik darajasiga erishishi mumkin. Misol uchun, 2020 yilda Swarthmore kolleji va Los Alamos milliy laboratoriyasining AI tadqiqotchilari murakkab DL modeli matematik Jon Konveyning "Hayot o'yini" ning kelajakdagi qadamlarini bashorat qilishni o'rganishi mumkin bo'lsa ham, har doim o'rgatish mumkin bo'lgan kichikroq neyron tarmoq mavjudligini ko'rsatdi. xuddi shu narsani qilish.

Tadqiqotchilar shuni aniqladilarki, agar ular DL modeli butun o'quv jarayonini tugatgandan so'ng uning ko'plab parametrlaridan voz kechsalar, uni asl hajmining 10 foizigacha qisqartirishlari va baribir bir xil natijaga erishishlari mumkin. Bir nechta texnologiya kompaniyalari noutbuklar va smartfonlar kabi qurilmalarda joy tejash uchun o'zlarining AI modellarini allaqachon siqib chiqarmoqda. Bu usul nafaqat pulni tejash, balki dasturiy ta'minotni Internetga ulanmasdan ishlash va real vaqtda natijalarni olish imkonini beradi. 

Kichik neyron tarmoqlar tufayli quyosh batareyalari yoki tugma xujayralari bilan ishlaydigan qurilmalarda DL mumkin bo'lgan holatlar ham bo'lgan. Biroq, kesish usulining cheklovi shundaki, modelni kamaytirishdan oldin hali ham to'liq o'qitilishi kerak. O'z-o'zidan o'qitilishi mumkin bo'lgan neyron to'plamlar bo'yicha ba'zi dastlabki tadqiqotlar mavjud edi. Biroq, ularning aniqligi katta o'lchamli neyron tarmoqlarniki bilan bir xil emas.

AI modellarini o'qitishning oqibatlari

AI modellarini o'qitishning kengroq oqibatlari quyidagilarni o'z ichiga olishi mumkin: 

• Neyron tarmoqlarni o'qitishning turli usullari bo'yicha tadqiqotlarni kuchaytirish; Biroq, moliyalashtirishning etishmasligi tufayli taraqqiyot sekinlashishi mumkin.
• Katta texnologiyalar AI tadqiqot laboratoriyalarini moliyalashtirishda davom etmoqda, bu esa ko'proq manfaatlar to'qnashuviga olib keladi.
• Sun'iy intellektni rivojlantirish xarajatlari monopoliyalarning shakllanishi uchun sharoit yaratib, yangi AI startaplarining tashkil etilgan texnologik firmalar bilan mustaqil raqobatlasha olish qobiliyatini cheklaydi. Rivojlanayotgan biznes stsenariysida bir nechta yirik texnologik firmalar gigant xususiy AI modellarini ishlab chiqishlari va ularni kichikroq AI firmalariga xizmat/kommunal dastur sifatida ijaraga berishlari mumkin.
• Ilmiy-tadqiqot institutlari, notijorat tashkilotlari va universitetlar ularning nomidan sun'iy intellekt bo'yicha ba'zi tajribalar o'tkazish uchun yirik texnologiyalar tomonidan moliyalashtiriladi. Bu tendentsiya akademiyadan korporatsiyalarga ko'proq miya ketishiga olib kelishi mumkin.
• Katta texnologiyalarga o'zlarining ilmiy-tadqiqot loyihalari uchun javobgar bo'lishlari uchun sun'iy intellektning axloqiy yo'riqnomalarini nashr etish va muntazam yangilash uchun bosim kuchaymoqda.
• AI modellarini o'qitish qimmatroq bo'ladi, chunki yuqori hisoblash quvvati tobora ko'proq talab qilinmoqda, bu esa ko'proq uglerod chiqindilariga olib keladi.
• Ba'zi davlat idoralari ushbu ulkan AI modellarini tayyorlashda foydalaniladigan ma'lumotlarni tartibga solishga harakat qilmoqda. Shuningdek, raqobat agentliklari KO'B innovatsiyalarini rag'batlantirish maqsadida ma'lum o'lchamdagi AI modellarini kichikroq mahalliy firmalar uchun ochiq qilishga majbur qiladigan qonunchilikni yaratishi mumkin.

Ko'rib chiqilishi kerak bo'lgan savollar

• Agar siz sun'iy intellekt sohasida ishlayotgan bo'lsangiz, tashkilotingiz qanday qilib ekologik jihatdan barqarorroq AI modellarini ishlab chiqmoqda?
• Qimmatbaho AI modellarining mumkin bo'lgan uzoq muddatli oqibatlari qanday?