آموزش مدل های هوش مصنوعی: جستجو برای توسعه هوش مصنوعی کم هزینه
آموزش مدل های هوش مصنوعی: جستجو برای توسعه هوش مصنوعی کم هزینه
آموزش مدل های هوش مصنوعی: جستجو برای توسعه هوش مصنوعی کم هزینه
- نویسنده:
- مارس 21، 2023
یادگیری عمیق (DL) ثابت کرده است که راه حل مناسبی برای چندین چالش در توسعه هوش مصنوعی (AI) است. با این حال، DL نیز گران تر می شود. بهره برداری از شبکه های عصبی عمیق نیازمند منابع پردازشی بالایی است، به ویژه در پیش آموزش. بدتر از آن، این فرآیند پر انرژی به این معنی است که این الزامات منجر به ردپای کربن بزرگی می شود که به رتبه بندی ESG تجاری سازی تحقیقات هوش مصنوعی آسیب می رساند.
آموزش زمینه مدل های هوش مصنوعی
پیشآموزش در حال حاضر محبوبترین رویکرد برای ساخت شبکههای عصبی در مقیاس بزرگ است و موفقیت زیادی در بینایی کامپیوتر (CV) و پردازش زبان طبیعی (NLP) نشان داده است. با این حال، توسعه مدل های بزرگ DL بسیار پرهزینه شده است. به عنوان مثال، آموزش ترانسفورماتور 3 (GPT-3) که دارای 175 میلیارد پارامتر است و نیاز به دسترسی به خوشه های سرور عظیم با کارت های گرافیک درجه یک دارد، هزینه تخمینی 12 میلیون دلار داشت. یک سرور قدرتمند و صدها گیگابایت حافظه دسترسی تصادفی ویدیویی (VRAM) نیز برای اجرای مدل مورد نیاز است.
در حالی که ممکن است شرکتهای بزرگ فناوری قادر به پرداخت چنین هزینههای آموزشی باشند، این امر برای استارتآپهای کوچکتر و سازمانهای تحقیقاتی غیرقابل تحمل میشود. سه عامل باعث این هزینه می شود.
1. هزینه های محاسباتی گسترده، که چندین هفته با هزاران واحد پردازش گرافیکی (GPU) نیاز دارد.
2. مدلهای تنظیمشده به فضای ذخیرهسازی عظیمی نیاز دارند که معمولاً صدها گیگابایت (گیگابایت) را اشغال میکنند. علاوه بر این، چندین مدل برای کارهای مختلف باید ذخیره شوند.
3. آموزش مدل های بزرگ نیازمند قدرت محاسباتی و سخت افزار دقیق است. در غیر این صورت، نتایج ممکن است ایده آل نباشد.
به دلیل هزینه های گزاف، تحقیقات هوش مصنوعی به طور فزاینده ای تجاری شده است، که در آن شرکت های فناوری بزرگ پیشرو مطالعات در این زمینه هستند. این شرکت ها همچنین بیشترین سود را از یافته های خود خواهند برد. در همین حال، موسسات تحقیقاتی و غیر انتفاعی اگر بخواهند کاوش خود را در این زمینه انجام دهند، اغلب باید با این مشاغل همکاری کنند.
تاثیر مخرب
شواهدی وجود دارد که نشان می دهد شبکه های عصبی را می توان "هرس" کرد. این بدان معناست که در شبکههای عصبی بزرگ، گروه کوچکتری میتوانند به همان سطح دقت مدل اصلی هوش مصنوعی بدون تأثیرات سنگین بر عملکرد آن دست یابند. به عنوان مثال، در سال 2020، محققان هوش مصنوعی در کالج Swarthmore و آزمایشگاه ملی لوس آلاموس نشان دادند که حتی اگر یک مدل پیچیده DL می تواند پیش بینی مراحل آینده در بازی زندگی ریاضیدان جان کانوی را بیاموزد، همیشه یک شبکه عصبی کوچکتر وجود دارد که می توان آموزش داد. برای انجام همین کار
محققان کشف کردند که اگر پارامترهای متعددی از یک مدل DL را پس از تکمیل تمام مراحل آموزشی کنار بگذارند، می توانند آن را تا 10 درصد از اندازه اصلی خود کاهش دهند و همچنان به همان نتیجه دست یابند. چندین شرکت فناوری در حال حاضر مدلهای هوش مصنوعی خود را فشرده میکنند تا در دستگاههایی مانند لپتاپ و تلفنهای هوشمند صرفهجویی کنند. این روش نه تنها باعث صرفه جویی در هزینه می شود، بلکه به نرم افزار اجازه می دهد تا بدون اتصال به اینترنت اجرا شود و در زمان واقعی به نتیجه برسد.
همچنین مواردی وجود داشت که به لطف شبکه های عصبی کوچک، DL در دستگاه هایی که با باتری های خورشیدی یا سلول های دکمه ای تغذیه می شدند، امکان پذیر بود. با این حال، محدودیت روش هرس این است که مدل هنوز باید به طور کامل آموزش داده شود تا بتوان آن را کاهش داد. برخی مطالعات اولیه روی زیرمجموعه های عصبی وجود داشت که می توانند به تنهایی آموزش داده شوند. با این حال، دقت آنها با شبکه های عصبی بزرگ یکسان نیست.
پیامدهای آموزش مدل های هوش مصنوعی
پیامدهای گسترده تر آموزش مدل های هوش مصنوعی ممکن است شامل موارد زیر باشد:
- افزایش تحقیقات در روش های مختلف آموزش شبکه های عصبی. با این حال، پیشرفت ممکن است به دلیل کمبود بودجه کند شود.
- فناوریهای بزرگ به تأمین مالی آزمایشگاههای تحقیقاتی هوش مصنوعی خود ادامه میدهند، که منجر به تضاد منافع بیشتر میشود.
- هزینههای توسعه هوش مصنوعی شرایطی را برای شکلگیری انحصارات ایجاد میکند و توانایی استارتآپهای جدید هوش مصنوعی را برای رقابت مستقل با شرکتهای فناوری شناخته شده محدود میکند. یک سناریوی تجاری در حال ظهور ممکن است شاهد باشد که تعداد انگشت شماری از شرکت های بزرگ فناوری مدل های غول پیکر اختصاصی هوش مصنوعی را توسعه داده و آنها را به شرکت های کوچکتر هوش مصنوعی به عنوان یک سرویس یا ابزار اجاره می دهند.
- مؤسسات تحقیقاتی، غیرانتفاعی، و دانشگاههایی که توسط فناوریهای بزرگ تأمین مالی میشوند تا برخی آزمایشهای هوش مصنوعی را از طرف آنها انجام دهند. این روند می تواند منجر به فرار مغزها از دانشگاه ها به شرکت ها شود.
- افزایش فشار برای فناوریهای بزرگ برای انتشار و بهروزرسانی منظم دستورالعملهای اخلاقی هوش مصنوعی برای پاسخگویی به پروژههای تحقیق و توسعهشان.
- آموزش مدلهای هوش مصنوعی گرانتر میشود، زیرا قدرت محاسباتی بیشتر مورد نیاز است و منجر به انتشار کربن بیشتر میشود.
- برخی از سازمان های دولتی تلاش می کنند تا داده های مورد استفاده در آموزش این مدل های غول پیکر هوش مصنوعی را تنظیم کنند. همچنین، آژانسهای رقابت ممکن است قوانینی را ایجاد کنند که مدلهای هوش مصنوعی با اندازه معین را مجبور میکند در تلاش برای تحریک نوآوری SME برای شرکتهای کوچکتر داخلی در دسترس قرار گیرند.
سوالاتی که باید در نظر گرفته شود
- اگر در بخش هوش مصنوعی کار می کنید، سازمان شما چگونه مدل های هوش مصنوعی سازگار با محیط زیست را توسعه می دهد؟
- عواقب بالقوه درازمدت مدلهای گرانقیمت هوش مصنوعی چیست؟
مراجع بینش
پیوندهای محبوب و نهادی زیر برای این بینش ارجاع داده شد: