AI ماڈلز کی تربیت: کم لاگت AI کی ترقی کی تلاش

• مصنف:
• مصنف کا نام

  Quantumrun دور اندیشی
• مارچ 21، 2023

ڈیپ لرننگ (DL) مصنوعی ذہانت (AI) کی ترقی میں کئی چیلنجوں کا ایک قابل حل ثابت ہوا ہے۔ تاہم، ڈی ایل بھی مہنگا ہوتا جا رہا ہے۔ گہرے نیورل نیٹ ورکس کو چلانے کے لیے اعلیٰ پروسیسنگ وسائل کی ضرورت ہوتی ہے، خاص طور پر پری ٹریننگ میں۔ اس سے بھی بدتر بات یہ ہے کہ توانائی پر مبنی اس عمل کا مطلب یہ ہے کہ ان تقاضوں کے نتیجے میں کاربن کے بڑے نشانات ہوتے ہیں، جس سے AI ریسرچ کمرشلائزیشن کی ESG ریٹنگز کو نقصان پہنچتا ہے۔

AI ماڈل کے سیاق و سباق کی تربیت

پری ٹریننگ اب بڑے پیمانے پر نیورل نیٹ ورکس بنانے کا سب سے مقبول طریقہ ہے، اور اس نے کمپیوٹر ویژن (CV) اور قدرتی زبان کی پروسیسنگ (NLP) میں بڑی کامیابی دکھائی ہے۔ تاہم، بڑے ڈی ایل ماڈل تیار کرنا بہت مہنگا ہو گیا ہے۔ مثال کے طور پر، OpenAI کے جنریٹو پری ٹرینڈ ٹرانسفارمر 3 (GPT-3) کی تربیت، جس کے 175 بلین پیرامیٹرز ہیں اور اعلی درجے کے گرافکس کارڈز کے ساتھ بہت زیادہ سرور کلسٹرز تک رسائی کی ضرورت ہے، اس کی تخمینہ لاگت USD $12 ملین تھی۔ ماڈل کو چلانے کے لیے ایک طاقتور سرور اور سینکڑوں گیگا بائٹس ویڈیو رینڈم ایکسیس میموری (VRAM) کی بھی ضرورت ہے۔

اگرچہ بڑی ٹیک کمپنیاں اس طرح کے تربیتی اخراجات برداشت کرنے کے قابل ہو سکتی ہیں، لیکن یہ چھوٹے سٹارٹ اپس اور تحقیقی اداروں کے لیے ممنوع ہو جاتا ہے۔ تین عوامل اس اخراجات کو چلاتے ہیں۔ 

1. وسیع حسابی اخراجات، جس میں ہزاروں گرافک پروسیسنگ یونٹس (GPUs) کے ساتھ کئی ہفتوں کی ضرورت ہوگی۔

2. فائن ٹیونڈ ماڈلز کو بڑے پیمانے پر اسٹوریج کی ضرورت ہوتی ہے، عام طور پر سینکڑوں گیگا بائٹس (GBs) لیتے ہیں۔ مزید برآں، مختلف کاموں کے لیے متعدد ماڈلز کو ذخیرہ کرنے کی ضرورت ہے۔

3. بڑے ماڈلز کی تربیت کے لیے قطعی کمپیوٹیشنل پاور اور ہارڈ ویئر کی ضرورت ہوتی ہے۔ دوسری صورت میں، نتائج مثالی نہیں ہوسکتے ہیں.

ممنوعہ اخراجات کی وجہ سے، AI تحقیق تیزی سے تجارتی بن گئی ہے، جس میں بگ ٹیک کمپنیاں اس شعبے میں مطالعہ کی قیادت کر رہی ہیں۔ یہ فرمیں بھی اپنے نتائج سے زیادہ سے زیادہ فائدہ اٹھانے کے لیے کھڑی ہیں۔ دریں اثنا، تحقیقی اداروں اور غیر منفعتی اداروں کو اکثر ان کاروباروں کے ساتھ تعاون کرنا پڑتا ہے اگر وہ میدان میں اپنی تلاش کرنا چاہتے ہیں۔ 

خلل ڈالنے والا اثر

ایسے شواہد موجود ہیں جن سے پتہ چلتا ہے کہ اعصابی نیٹ ورک کو "کاٹا جا سکتا ہے۔" اس کا مطلب یہ ہے کہ سپرسائزڈ نیورل نیٹ ورکس کے اندر، ایک چھوٹا گروپ اپنی فعالیت پر بھاری اثرات کے بغیر اصل AI ماڈل جیسی درستگی حاصل کر سکتا ہے۔ مثال کے طور پر، 2020 میں، سوارتھمور کالج اور لاس الاموس نیشنل لیبارٹری کے AI محققین نے واضح کیا کہ اگرچہ ایک پیچیدہ DL ماڈل ریاضی دان جان کونوے کے گیم آف لائف میں مستقبل کے اقدامات کی پیش گوئی کرنا سیکھ سکتا ہے، لیکن ہمیشہ ایک چھوٹا اعصابی نیٹ ورک ہوتا ہے جسے سکھایا جا سکتا ہے۔ ایک ہی کام کرنے کے لئے.

محققین نے دریافت کیا کہ اگر وہ پورے تربیتی طریقہ کار کو مکمل کرنے کے بعد ڈی ایل ماڈل کے متعدد پیرامیٹرز کو ضائع کر دیتے ہیں، تو وہ اسے اس کے اصل سائز کے 10 فیصد تک کم کر سکتے ہیں اور پھر بھی وہی نتیجہ حاصل کر سکتے ہیں۔ کئی ٹیک کمپنیاں پہلے ہی لیپ ٹاپ اور اسمارٹ فون جیسے آلات پر جگہ بچانے کے لیے اپنے AI ماڈلز کو کمپریس کر رہی ہیں۔ یہ طریقہ نہ صرف پیسے بچاتا ہے بلکہ سافٹ ویئر کو انٹرنیٹ کنکشن کے بغیر چلانے اور حقیقی وقت میں نتائج حاصل کرنے کی بھی اجازت دیتا ہے۔ 

ایسی مثالیں بھی تھیں جب چھوٹے نیورل نیٹ ورکس کی بدولت شمسی بیٹریوں یا بٹن سیلز سے چلنے والے آلات پر ڈی ایل ممکن تھا۔ تاہم، کٹائی کے طریقہ کار کی ایک حد یہ ہے کہ ماڈل کو کم کرنے سے پہلے اسے مکمل طور پر تربیت دینے کی ضرورت ہے۔ اعصابی ذیلی سیٹوں کے بارے میں کچھ ابتدائی مطالعات تھے جن کی خود تربیت کی جا سکتی ہے۔ تاہم، ان کی درستگی سپرسائزڈ نیورل نیٹ ورکس جیسی نہیں ہے۔

AI ماڈلز کی تربیت کے مضمرات

AI ماڈلز کی تربیت کے وسیع مضمرات میں شامل ہو سکتے ہیں: 

• عصبی نیٹ ورک کی تربیت کے مختلف طریقوں میں تحقیق میں اضافہ؛ تاہم، فنڈز کی کمی کی وجہ سے پیش رفت سست ہو سکتی ہے۔
• بڑی ٹیک اپنی AI ریسرچ لیبز کے لیے فنڈنگ ​​جاری رکھے ہوئے ہے، جس کے نتیجے میں دلچسپی کے مزید تنازعات پیدا ہو رہے ہیں۔
• AI کی ترقی کے اخراجات اجارہ داریوں کے لیے حالات پیدا کرتے ہیں، نئے AI اسٹارٹ اپس کی قائم شدہ ٹیک فرموں کے ساتھ آزادانہ طور پر مقابلہ کرنے کی صلاحیت کو محدود کرتے ہیں۔ ابھرتے ہوئے کاروباری منظر نامے میں مٹھی بھر بڑی ٹیک فرموں کو دیومالائی ملکیتی AI ماڈلز تیار کرنے اور خدمت/یوٹیلیٹی کے طور پر چھوٹی AI فرموں کو لیز پر دیے جا سکتے ہیں۔
• تحقیقی اداروں، غیر منفعتی اداروں، اور یونیورسٹیوں کو بڑی ٹیک کی طرف سے مالی اعانت فراہم کی جا رہی ہے تاکہ ان کی جانب سے کچھ AI تجربات کیے جا سکیں۔ یہ رجحان اکیڈمیا سے لے کر کارپوریشنوں تک مزید برین ڈرین کا باعث بن سکتا ہے۔
• بڑی ٹیک پر اپنے AI اخلاقیات کے رہنما خطوط کو شائع کرنے اور باقاعدگی سے اپ ڈیٹ کرنے کے لیے دباؤ میں اضافہ ہوا ہے تاکہ وہ اپنے تحقیقی اور ترقیاتی منصوبوں کے لیے جوابدہ ہوں۔
• AI ماڈلز کی تربیت زیادہ مہنگی ہوتی جا رہی ہے کیونکہ زیادہ کمپیوٹنگ پاور کی ضرورت ہوتی جا رہی ہے، جس سے کاربن کا اخراج زیادہ ہوتا ہے۔
• کچھ سرکاری ایجنسیاں ان دیوہیکل AI ماڈلز کی تربیت میں استعمال ہونے والے ڈیٹا کو ریگولیٹ کرنے کی کوشش کر رہی ہیں۔ اس کے ساتھ ساتھ، مسابقتی ایجنسیاں ایسی قانون سازی کر سکتی ہیں جو SME جدت کو فروغ دینے کی کوشش میں ایک مخصوص سائز کے AI ماڈلز کو چھوٹی گھریلو فرموں کے لیے قابل رسائی بنائے۔

غور کرنے کے لیے سوالات۔

• اگر آپ AI سیکٹر میں کام کرتے ہیں، تو آپ کی تنظیم ماحولیاتی لحاظ سے زیادہ پائیدار AI ماڈلز کیسے تیار کر رہی ہے؟
• مہنگے AI ماڈلز کے ممکنہ طویل مدتی نتائج کیا ہیں؟