نماذج تدريب الذكاء الاصطناعي: البحث عن تطوير ذكاء اصطناعي منخفض التكلفة

• كاتب:
• اسم المؤلف

  البصيرة الكمومية
• 21 آذار، 2023

أثبت التعلم العميق (DL) أنه حل فعال للعديد من التحديات في تطوير الذكاء الاصطناعي (AI). ومع ذلك ، أصبح DL أكثر تكلفة أيضًا. يتطلب تشغيل الشبكات العصبية العميقة موارد معالجة عالية ، لا سيما في مرحلة ما قبل التدريب. والأسوأ من ذلك ، أن هذه العملية كثيفة الاستهلاك للطاقة تعني أن هذه المتطلبات تؤدي إلى بصمات كربونية كبيرة ، مما يضر بتصنيفات ESG لتسويق أبحاث الذكاء الاصطناعي.

تدريب نماذج الذكاء الاصطناعي

يعد التدريب المسبق الآن النهج الأكثر شيوعًا لبناء شبكات عصبية واسعة النطاق ، وقد أظهر نجاحًا كبيرًا في رؤية الكمبيوتر (CV) ومعالجة اللغة الطبيعية (NLP). ومع ذلك ، فقد أصبح تطوير نماذج DL ضخمة مكلفًا للغاية. على سبيل المثال ، تدريب Transformer 3 Generative Generative Transformer 3 (GPT-175) من OpenAI ، والذي يحتوي على 12 مليار معلمة ويحتاج إلى الوصول إلى مجموعات الخوادم الهائلة باستخدام بطاقات رسومات من الدرجة الأولى ، بتكلفة تقديرية تبلغ XNUMX مليون دولار أمريكي. هناك حاجة أيضًا إلى خادم قوي ومئات الجيجابايت من ذاكرة الوصول العشوائي للفيديو (VRAM) لتشغيل النموذج.

في حين أن شركات التكنولوجيا الكبرى قد تكون قادرة على تحمل تكاليف التدريب هذه ، فإنها تصبح باهظة بالنسبة للشركات الناشئة والمؤسسات البحثية الأصغر. هناك ثلاثة عوامل تدفع هذه التكلفة. 

1. تكاليف حساب ضخمة ، والتي قد تحتاج إلى عدة أسابيع مع آلاف وحدات معالجة الرسوم (GPU).

2. تتطلب النماذج التي تم ضبطها بدقة مساحة تخزين ضخمة ، وعادة ما تستهلك مئات الجيجابايت (GBs). علاوة على ذلك ، يجب تخزين نماذج متعددة للمهام المختلفة.

3. يتطلب تدريب النماذج الكبيرة قوة وأجهزة حسابية دقيقة ؛ خلاف ذلك ، قد لا تكون النتائج مثالية.

بسبب التكاليف الباهظة ، أصبحت أبحاث الذكاء الاصطناعي ذات طابع تجاري بشكل متزايد ، حيث تقود شركات التكنولوجيا الكبيرة الدراسات في هذا المجال. هذه الشركات هي أيضا الأكثر استفادة من النتائج التي توصلت إليها. وفي الوقت نفسه ، غالبًا ما يتعين على المؤسسات البحثية والمنظمات غير الربحية التعاون مع هذه الشركات إذا أرادوا إجراء استكشافهم في هذا المجال. 

التأثير التخريبي

هناك أدلة تشير إلى أنه يمكن "تقليم" الشبكات العصبية. هذا يعني أنه ضمن الشبكات العصبية المفرطة ، يمكن لمجموعة أصغر تحقيق نفس المستوى من الدقة مثل نموذج الذكاء الاصطناعي الأصلي دون تأثيرات شديدة على وظائفه. على سبيل المثال ، في عام 2020 ، أوضح باحثو الذكاء الاصطناعي في كلية سوارثمور ومختبر لوس ألاموس الوطني أنه على الرغم من أن نموذج DL المعقد يمكن أن يتعلم التنبؤ بالخطوات المستقبلية في لعبة الحياة لعالم الرياضيات جون كونواي ، هناك دائمًا شبكة عصبية أصغر يمكن تدريسها لفعل نفس الشيء.

اكتشف الباحثون أنهم إذا تجاهلوا العديد من المعلمات لنموذج DL بعد الانتهاء من إجراء التدريب بأكمله ، فيمكنهم تقليله إلى 10 بالمائة من حجمه الأصلي مع تحقيق نفس النتيجة. تقوم العديد من شركات التكنولوجيا بالفعل بضغط نماذج الذكاء الاصطناعي الخاصة بها لتوفير مساحة على أجهزة مثل أجهزة الكمبيوتر المحمولة والهواتف الذكية. لا توفر هذه الطريقة المال فحسب ، بل تتيح أيضًا تشغيل البرنامج بدون اتصال بالإنترنت والحصول على نتائج في الوقت الفعلي. 

كانت هناك أيضًا حالات كان فيها DL ممكنًا على الأجهزة التي تعمل بالبطاريات الشمسية أو خلايا الأزرار ، وذلك بفضل الشبكات العصبية الصغيرة. ومع ذلك ، فإن أحد قيود طريقة التقليم هو أن النموذج لا يزال بحاجة إلى التدريب الكامل قبل أن يتم تقليله. كانت هناك بعض الدراسات الأولية حول مجموعات فرعية عصبية يمكن تدريبها بمفردها. ومع ذلك ، فإن دقتها ليست هي نفسها تلك الموجودة في الشبكات العصبية الكبيرة.

تداعيات تدريب نماذج الذكاء الاصطناعي

قد تشمل الآثار الأوسع نطاقًا لتدريب نماذج الذكاء الاصطناعي ما يلي: 

• زيادة البحث في طرق مختلفة لتدريب الشبكات العصبية ؛ ومع ذلك ، قد يتباطأ التقدم بسبب نقص التمويل.
• تواصل التكنولوجيا الكبيرة تمويل مختبرات أبحاث الذكاء الاصطناعي الخاصة بها ، مما يؤدي إلى المزيد من تضارب المصالح.
• تخلق تكاليف تطوير الذكاء الاصطناعي الظروف المناسبة لتشكيل الاحتكارات ، مما يحد من قدرة الشركات الناشئة الجديدة في مجال الذكاء الاصطناعي على التنافس بشكل مستقل مع شركات التكنولوجيا القائمة. قد يشهد سيناريو الأعمال الناشئة قيام حفنة من شركات التكنولوجيا الكبيرة بتطوير نماذج عملاقة للذكاء الاصطناعي وتأجيرها لشركات ذكاء اصطناعي أصغر كخدمة / مرفق.
• يتم تمويل المؤسسات البحثية والمنظمات غير الربحية والجامعات من قبل شركات التكنولوجيا الكبرى لإجراء بعض تجارب الذكاء الاصطناعي نيابة عنها. يمكن أن يؤدي هذا الاتجاه إلى مزيد من هجرة العقول من الأوساط الأكاديمية إلى الشركات.
• زيادة الضغط على الشركات الكبرى لنشر وتحديث المبادئ التوجيهية لأخلاقيات الذكاء الاصطناعي بانتظام لجعلها مسؤولة عن مشاريع البحث والتطوير الخاصة بها.
• أصبح تدريب نماذج الذكاء الاصطناعي أكثر تكلفة مع تزايد الحاجة إلى قوة حوسبة أعلى ، مما يؤدي إلى المزيد من انبعاثات الكربون.
• تحاول بعض الوكالات الحكومية تنظيم البيانات المستخدمة في تدريب نماذج الذكاء الاصطناعي العملاقة هذه. بالإضافة إلى ذلك ، قد تضع وكالات المنافسة تشريعات تفرض على الشركات المحلية الأصغر إمكانية الوصول إلى نماذج الذكاء الاصطناعي ذات الحجم المعين في محاولة لتحفيز الابتكار في الشركات الصغيرة والمتوسطة.

أسئلة للنظر فيها

• إذا كنت تعمل في قطاع الذكاء الاصطناعي ، فكيف تقوم مؤسستك بتطوير نماذج ذكاء اصطناعي أكثر استدامة بيئيًا؟
• ما هي العواقب المحتملة طويلة المدى لنماذج الذكاء الاصطناعي الباهظة الثمن؟