ٽريننگ AI ماڊل: گھٽ قيمت AI ترقي جي ڳولا

• الاهي:
• ليکڪ جو نالو

  Quantumrun اڳڪٿي
• مارچ 21، 2023

ڊيپ لرننگ (DL) ثابت ڪيو آهي ته مصنوعي ذهانت (AI) جي ترقي ۾ ڪيترن ئي چئلينجن جو هڪ قابل حل حل. بهرحال، ڊي ايل پڻ وڌيڪ مهانگو ٿي رهيو آهي. گہرے اعصابي نيٽ ورڪ کي هلائڻ لاءِ اعليٰ پروسيسنگ وسيلن جي ضرورت آهي، خاص طور تي پري ٽريننگ ۾. بدتر، هن توانائي جي شدت واري عمل جو مطلب آهي ته اهي گهرجون وڏي ڪاربن جي پيرن جي نشانن جي نتيجي ۾، اي اي ريسرچ ڪمرشلائيزيشن جي ESG درجه بندي کي نقصان پهچائي.

ٽريننگ AI ماڊلز جي حوالي سان

پري ٽريننگ هاڻي وڏي پيماني تي نيورل نيٽ ورڪ ٺاهڻ جو سڀ کان مشهور طريقو آهي، ۽ اهو ڪمپيوٽر ويزن (CV) ۽ قدرتي ٻولي پروسيسنگ (NLP) ۾ وڏي ڪاميابي ڏيکاري آهي. بهرحال، وڏي ڊي ايل ماڊلز کي ترقي ڪرڻ تمام قيمتي ٿي چڪو آهي. مثال طور، OpenAI جي جنريٽو پري ٽرين ٿيل ٽرانسفارمر 3 (GPT-3) جي تربيت، جنهن ۾ 175 بلين پيٽرولر آهن ۽ ان کي وڏي سرور جي ڪلستر تائين پهچ جي ضرورت آهي جنهن ۾ اعليٰ درجي جا گرافڪس ڪارڊ آهن، جن جي تخميني قيمت USD $12 ملين هئي. ماڊل کي هلائڻ لاءِ هڪ طاقتور سرور ۽ سوين گيگا بائيٽ ويڊيو بي ترتيب رسائي ميموري (VRAM) پڻ گهربل آهي.

جڏهن ته وڏيون ٽيڪني ڪمپنيون شايد اهڙي تربيت جي قيمتن کي برداشت ڪرڻ جي قابل ٿي سگهن ٿيون، اهو ننڍڙن شروعاتن ۽ تحقيقاتي تنظيمن لاء ممنوع بڻجي ويندو آهي. ٽي عنصر هن خرچ کي هلائيندا آهن. 

1. وسيع حسابي قيمتون، جن کي ھزارين گرافڪ پروسيسنگ يونٽس (GPUs) سان ڪيترن ئي هفتن جي ضرورت پوندي.

2. سٺي نموني سان ٺهيل ماڊلز کي وڏي اسٽوريج جي ضرورت هوندي آهي، عام طور تي سوين گيگا بائيٽ (GBs) کڻندا آهن. ان کان سواء، مختلف ڪمن لاء ڪيترن ئي ماڊل کي ذخيرو ڪرڻ جي ضرورت آهي.

3. وڏي ماڊلز جي تربيت لاءِ درست ڪمپيوٽري طاقت ۽ هارڊويئر جي ضرورت آھي. ٻي صورت ۾، نتيجا مثالي نه هوندا.

ممنوع خرچن جي ڪري، AI تحقيق تيزي سان تجارتي ٿي چڪي آهي، جتي بگ ٽيڪ ڪمپنيون فيلڊ ۾ پڙهائي جي اڳواڻي ڪري رهيا آهن. اهي ڪمپنيون پڻ انهن جي نتيجن مان تمام گهڻو حاصل ڪرڻ لاء بيٺا آهن. ان کان علاوه، تحقيقي ادارن ۽ غير منافع بخش ادارن کي اڪثر انهن ڪاروبار سان تعاون ڪرڻو پوندو آهي جيڪڏهن اهي فيلڊ ۾ پنهنجي ڳولا کي هلائڻ چاهيندا آهن. 

خراب ڪندڙ اثر

اهو ثبوت آهي ته اهو مشورو ڏئي ٿو ته نيورل نيٽ ورڪ کي "پرن" ڪري سگهجي ٿو. ان جو مطلب اهو آهي ته سپرسائيز ٿيل نيورل نيٽ ورڪن جي اندر، هڪ ننڍڙو گروپ ان جي ڪارڪردگي تي ڳري اثرن کان سواءِ اصل AI ماڊل جي ساڳي سطح جي درستگي حاصل ڪري سگهي ٿو. مثال طور، 2020 ۾، AI جي محقق Swarthmore College ۽ لاس الاموس نيشنل ليبارٽري ۾ واضح ڪيو ته جيتوڻيڪ هڪ پيچيده ڊي ايل ماڊل رياضي دان جان ڪنوي جي گيم آف لائف ۾ مستقبل جي قدمن جي اڳڪٿي ڪرڻ سکي سگهي ٿو، اتي هميشه هڪ ننڍڙو نيورل نيٽورڪ هوندو آهي جيڪو سيکاري سگهجي ٿو. ساڳيو ڪم ڪرڻ.

محقق دريافت ڪيو ته جيڪڏهن اهي ڊي ايل ماڊل جي ڪيترن ئي پيرا ميٽرز کي رد ڪري ڇڏيندا آهن مڪمل تربيتي طريقيڪار مڪمل ڪرڻ کان پوء، اهي ان کي ان جي اصل سائيز جي 10 سيڪڙو تائين گهٽائي سگهن ٿا ۽ اڃا به ساڳيو نتيجو حاصل ڪري سگھن ٿا. ڪيتريون ئي ٽيڪني ڪمپنيون اڳ ۾ ئي ليپ ٽاپ ۽ اسمارٽ فونز وانگر ڊوائيسز تي جاء بچائڻ لاء انهن جي AI ماڊل کي دٻائي رهيا آهن. اهو طريقو نه رڳو پئسا بچائيندو آهي پر سافٽ ويئر کي انٽرنيٽ ڪنيڪشن کان سواءِ هلائڻ ۽ حقيقي وقت ۾ نتيجا حاصل ڪرڻ جي اجازت ڏئي ٿو. 

اهڙا مثال پڻ هئا جڏهن DL سولر بيٽرين يا بٽڻ سيلز ذريعي هلندڙ ڊوائيسز تي ممڪن هو، ننڍن نيورل نيٽ ورڪن جي مهرباني. بهرحال، پرننگ جي طريقي جي هڪ حد اها آهي ته ماڊل کي اڃا تائين مڪمل طور تي تربيت ڏيڻ جي ضرورت آهي ان کان اڳ جو اهو گهٽجي وڃي. نيورل سبسٽس تي ڪجھ ابتدائي اڀياس موجود آھن جيڪي پنھنجي پاڻ تي تربيت ڪري سگھجن ٿيون. تنهن هوندي، انهن جي درستگي ساڳي نه آهي جيئن ته سپرسائيز نيورل نيٽ ورڪن جي.

ٽريننگ AI ماڊل جا اثر

ٽريننگ AI ماڊل جا وسيع اثر شامل ٿي سگھن ٿا: 

• نيورل نيٽ ورڪ جي تربيت جي مختلف طريقن ۾ تحقيق کي وڌايو؛ بهرحال، فنڊ جي کوٽ جي ڪري ترقي سست ٿي سگهي ٿي.
• وڏي ٽيڪني پنهنجي AI ريسرچ ليبز کي فنڊ ڏيڻ جاري رکي ٿي، نتيجي ۾ دلچسپي جي وڌيڪ تڪرار.
• اي آءِ ڊولپمينٽ جا خرچ هڪ هٽي قائم ڪرڻ لاءِ حالتون ٺاهي رهيا آهن، نئين اي آءِ جي شروعاتن جي صلاحيت کي محدود ڪرڻ لاءِ قائم ڪيل ٽيڪ فرمن سان آزاديءَ سان مقابلو ڪرڻ. هڪ اڀرندڙ ڪاروباري منظر ڏسي سگھي ٿو ته مٿس وڏيون وڏيون ٽيڪ فرمون وڏي ملڪيت واري اي آءِ ماڊلز کي ترقي ڪندي ۽ انهن کي ننڍين اي آءِ فرمز کي خدمت / يوٽيلٽي جي طور تي ليز ڪندي.
• تحقيقي ادارا، غير منافع بخش ادارا، ۽ يونيورسٽيون وڏي ٽيڪ جي طرفان فنڊنگ ڪري رهيون آهن انهن جي طرفان ڪجهه AI تجربا ڪرڻ لاءِ. اهو رجحان اڪيڊمي کان ڪارپوريشنن تائين وڌيڪ دماغي خشڪي جو سبب بڻجي سگهي ٿو.
• وڏي ٽيڪن لاءِ دٻاءُ وڌايو ۽ باقاعده طور تي انهن جي AI اخلاقي هدايتن کي شايع ڪرڻ ۽ تازه ڪاري ڪرڻ لاءِ انهن کي انهن جي تحقيق ۽ ترقياتي منصوبن لاءِ جوابده بڻائڻ.
• ٽريننگ AI ماڊل وڌيڪ مهانگو ٿي رهيو آهي جيئن ته اعلي ڪمپيوٽنگ پاور تيزي سان گهربل آهي، وڌيڪ ڪاربن جي اخراج جي ڪري.
• ڪجهه حڪومتي ادارا ڪوشش ڪري رهيا آهن ڊيٽا کي ضابطي ۾ آڻڻ لاءِ استعمال ٿيل انهن وشال AI ماڊلز جي تربيت ۾. انهي سان گڏ، مقابلي واري ايجنسيون شايد قانون سازي ٺاهي سگھن ٿيون جيڪي هڪ خاص سائيز جي AI ماڊل کي SME جدت کي وڌائڻ جي ڪوشش ۾ ننڍن گهريلو ڪمپنين تائين پهچ جي قابل بڻائين.

غور ڪرڻ لاءِ سوال

• جيڪڏهن توهان AI شعبي ۾ ڪم ڪري رهيا آهيو، توهان جي تنظيم ڪيئن ترقي ڪري رهي آهي وڌيڪ ماحولياتي پائيدار AI ماڊل؟
• قيمتي AI ماڊل جا امڪاني ڊگهي مدي وارا نتيجا ڇا آهن؟