प्रशिक्षण एआई मॉडल: कम लागत वाले एआई विकास की खोज

• लेखक:
• लेखक का नाम

  क्वांटमरन दूरदर्शिता
• मार्च २०,२०२१

डीप लर्निंग (डीएल) आर्टिफिशियल इंटेलिजेंस (एआई) के विकास में कई चुनौतियों का सक्षम समाधान साबित हुआ है। हालांकि डीएल भी महंगा होता जा रहा है। गहरे तंत्रिका नेटवर्क के संचालन के लिए उच्च प्रसंस्करण संसाधनों की आवश्यकता होती है, विशेष रूप से पूर्व-प्रशिक्षण में। इससे भी बदतर, इस ऊर्जा-गहन प्रक्रिया का अर्थ है कि इन आवश्यकताओं के परिणामस्वरूप बड़े कार्बन पदचिह्न होते हैं, जो एआई अनुसंधान व्यावसायीकरण की ईएसजी रेटिंग को नुकसान पहुंचाते हैं।

प्रशिक्षण एआई मॉडल संदर्भ

बड़े पैमाने पर तंत्रिका नेटवर्क के निर्माण के लिए पूर्व-प्रशिक्षण अब सबसे लोकप्रिय तरीका है, और इसने कंप्यूटर विज़न (CV) और प्राकृतिक भाषा प्रसंस्करण (NLP) में बड़ी सफलता दिखाई है। हालाँकि, विशाल DL मॉडल विकसित करना बहुत महंगा हो गया है। उदाहरण के लिए, OpenAI के जनरेटिव पूर्व-प्रशिक्षित ट्रांसफार्मर 3 (GPT-3) को प्रशिक्षित करना, जिसमें 175 बिलियन पैरामीटर हैं और शीर्ष पायदान ग्राफिक्स कार्ड के साथ विशाल सर्वर क्लस्टर तक पहुंच की आवश्यकता है, जिसकी अनुमानित लागत $12 मिलियन अमरीकी डालर थी। मॉडल को चलाने के लिए एक शक्तिशाली सर्वर और सैकड़ों गीगाबाइट वीडियो रैंडम एक्सेस मेमोरी (वीआरएएम) की भी आवश्यकता होती है।

जबकि प्रमुख टेक कंपनियां इस तरह की प्रशिक्षण लागतों को वहन करने में सक्षम हो सकती हैं, यह छोटे स्टार्टअप और अनुसंधान संगठनों के लिए निषेधात्मक हो जाता है। तीन कारक इस व्यय को चलाते हैं। 

1. व्यापक गणना लागत, जिसमें हजारों ग्राफिक प्रोसेसिंग यूनिट (जीपीयू) के साथ कई हफ्तों की आवश्यकता होगी।

2. फाइन-ट्यून किए गए मॉडल में बड़े पैमाने पर भंडारण की आवश्यकता होती है, आमतौर पर सैकड़ों गीगाबाइट (जीबी) लेते हैं। इसके अलावा, विभिन्न कार्यों के लिए कई मॉडलों को संग्रहित करने की आवश्यकता है।

3. बड़े मॉडलों के प्रशिक्षण के लिए सटीक कम्प्यूटेशनल शक्ति और हार्डवेयर की आवश्यकता होती है; अन्यथा, परिणाम आदर्श नहीं हो सकते हैं।

निषेधात्मक लागतों के कारण, एआई अनुसंधान का तेजी से व्यावसायीकरण हो गया है, जिसमें बड़ी टेक कंपनियां क्षेत्र में अध्ययन का नेतृत्व कर रही हैं। ये कंपनियां अपने निष्कर्षों से सबसे अधिक लाभ उठाने के लिए भी खड़ी हैं। इस बीच, अनुसंधान संस्थानों और गैर-लाभकारी संस्थाओं को अक्सर इन व्यवसायों के साथ सहयोग करना पड़ता है यदि वे क्षेत्र में अपनी खोज करना चाहते हैं। 

विघटनकारी प्रभाव

ऐसे सबूत हैं जो सुझाव देते हैं कि तंत्रिका नेटवर्क "छंटनी" हो सकते हैं। इसका मतलब यह है कि सुपरसाइज्ड न्यूरल नेटवर्क के भीतर, एक छोटा समूह अपनी कार्यक्षमता पर भारी प्रभाव के बिना मूल एआई मॉडल के समान सटीकता प्राप्त कर सकता है। उदाहरण के लिए, 2020 में, स्वर्थमोर कॉलेज और लॉस एलामोस नेशनल लेबोरेटरी के एआई शोधकर्ताओं ने स्पष्ट किया कि भले ही एक जटिल डीएल मॉडल गणितज्ञ जॉन कॉनवे के गेम ऑफ लाइफ में भविष्य के कदमों की भविष्यवाणी करना सीख सकता है, लेकिन हमेशा एक छोटा तंत्रिका नेटवर्क होता है जिसे सिखाया जा सकता है। एक ही काम करने के लिए।

शोधकर्ताओं ने पाया कि यदि वे पूरी प्रशिक्षण प्रक्रिया पूरी करने के बाद डीएल मॉडल के कई मापदंडों को छोड़ देते हैं, तो वे इसे अपने मूल आकार के 10 प्रतिशत तक कम कर सकते हैं और फिर भी वही परिणाम प्राप्त कर सकते हैं। कई तकनीकी कंपनियां पहले से ही लैपटॉप और स्मार्टफोन जैसे उपकरणों पर जगह बचाने के लिए अपने एआई मॉडल को कंप्रेस कर रही हैं। यह विधि न केवल पैसे बचाती है बल्कि सॉफ्टवेयर को इंटरनेट कनेक्शन के बिना चलाने और रीयल-टाइम में परिणाम प्राप्त करने की अनुमति भी देती है। 

ऐसे उदाहरण भी थे जब सौर बैटरी या बटन सेल द्वारा संचालित उपकरणों पर डीएल संभव था, छोटे तंत्रिका नेटवर्क के लिए धन्यवाद। हालांकि, प्रूनिंग विधि की एक सीमा यह है कि इसे कम करने से पहले मॉडल को अभी भी पूरी तरह से प्रशिक्षित करने की आवश्यकता है। तंत्रिका उपसमुच्चय पर कुछ प्रारंभिक अध्ययन थे जिन्हें अपने आप प्रशिक्षित किया जा सकता है। हालाँकि, उनकी सटीकता सुपरसाइज़्ड न्यूरल नेटवर्क जैसी नहीं है।

प्रशिक्षण एआई मॉडल के निहितार्थ

एआई मॉडल के प्रशिक्षण के व्यापक निहितार्थों में शामिल हो सकते हैं: 

• तंत्रिका नेटवर्क के प्रशिक्षण के विभिन्न तरीकों में अनुसंधान में वृद्धि; हालाँकि, धन की कमी से प्रगति धीमी हो सकती है।
• बिग टेक ने अपने एआई अनुसंधान प्रयोगशालाओं को निधि देना जारी रखा, जिसके परिणामस्वरूप हितों का अधिक टकराव हुआ।
• एआई विकास की लागत एकाधिकार के गठन के लिए परिस्थितियों का निर्माण करती है, नए एआई स्टार्टअप की स्थापित तकनीकी फर्मों के साथ स्वतंत्र रूप से प्रतिस्पर्धा करने की क्षमता को सीमित करती है। एक उभरते हुए व्यावसायिक परिदृश्य में मुट्ठी भर बड़ी टेक फर्मों को विशाल मालिकाना एआई मॉडल विकसित करते हुए देखा जा सकता है और उन्हें सेवा/उपयोगिता के रूप में छोटी एआई फर्मों को पट्टे पर दिया जा सकता है।
• अनुसंधान संस्थानों, गैर-लाभकारी संस्थाओं और विश्वविद्यालयों को उनकी ओर से कुछ एआई प्रयोग करने के लिए बड़ी तकनीक द्वारा वित्त पोषित किया जा रहा है। इस प्रवृत्ति से शिक्षाविदों से लेकर निगमों तक प्रतिभा पलायन हो सकता है।
• बड़ी तकनीक के लिए अपने एआई नैतिकता दिशानिर्देशों को प्रकाशित करने और नियमित रूप से अपडेट करने के लिए उन्हें अपने अनुसंधान और विकास परियोजनाओं के लिए जवाबदेह बनाने के लिए दबाव बढ़ा।
• प्रशिक्षण एआई मॉडल अधिक महंगा होता जा रहा है क्योंकि उच्च कंप्यूटिंग शक्ति की तेजी से आवश्यकता होती है, जिससे अधिक कार्बन उत्सर्जन होता है।
• कुछ सरकारी एजेंसियां ​​इन विशाल एआई मॉडलों के प्रशिक्षण में उपयोग किए गए डेटा को विनियमित करने का प्रयास कर रही हैं। साथ ही, प्रतिस्पर्धा एजेंसियां ​​एसएमई नवाचार को प्रोत्साहित करने के प्रयास में छोटे घरेलू फर्मों के लिए एक निश्चित आकार के एआई मॉडल को सुलभ बनाने के लिए कानून बना सकती हैं।

विचार करने के लिए प्रश्न

• यदि आप एआई क्षेत्र में काम करते हैं, तो आपका संगठन पर्यावरण की दृष्टि से अधिक टिकाऊ एआई मॉडल कैसे विकसित कर रहा है?
• महंगे AI मॉडल के संभावित दीर्घकालिक परिणाम क्या हैं?