प्रशिक्षण एआई मोडेलहरू: कम लागत एआई विकासको लागि खोज
प्रशिक्षण एआई मोडेलहरू: कम लागत एआई विकासको लागि खोज
प्रशिक्षण एआई मोडेलहरू: कम लागत एआई विकासको लागि खोज
- लेखक:
- मार्च 21, 2023
डीप लर्निङ (DL) आर्टिफिसियल इन्टेलिजेन्स (AI) विकासमा धेरै चुनौतीहरूको लागि सक्षम समाधान साबित भएको छ। यद्यपि, DL पनि महँगो हुँदै गइरहेको छ। गहिरो न्यूरल नेटवर्कहरू सञ्चालन गर्न उच्च प्रशोधन स्रोतहरू आवश्यक पर्दछ, विशेष गरी पूर्व-प्रशिक्षणमा। नराम्रो कुरा, यो ऊर्जा-गहन प्रक्रियाको अर्थ हो कि यी आवश्यकताहरूले ठूलो कार्बन फुटप्रिन्टहरू निम्त्याउँछ, जसले AI अनुसन्धान व्यावसायीकरणको ESG मूल्याङ्कनलाई हानि पुर्याउँछ।
प्रशिक्षण एआई मोडेल सन्दर्भ
प्रि-ट्रेनिङ अहिले ठूला-ठूला स्नायु नेटवर्कहरू निर्माण गर्ने सबैभन्दा लोकप्रिय दृष्टिकोण हो, र यसले कम्प्युटर भिजन (CV) र प्राकृतिक भाषा प्रशोधन (NLP) मा ठूलो सफलता देखाएको छ। यद्यपि, विशाल DL मोडेलहरू विकास गर्नु धेरै महँगो भएको छ। उदाहरणका लागि, प्रशिक्षण OpenAI को जेनेरेटिभ प्रि-ट्रेन्ड ट्रान्सफर्मर 3 (GPT-3), जसमा 175 बिलियन प्यारामिटरहरू छन् र शीर्ष-निशान ग्राफिक्स कार्डहरू भएका विशाल सर्भर क्लस्टरहरूमा पहुँच चाहिन्छ, USD $ 12 मिलियनको अनुमानित लागत थियो। एक शक्तिशाली सर्भर र सयौं गीगाबाइट भिडियो अनियमित पहुँच मेमोरी (VRAM) पनि मोडेल चलाउन आवश्यक छ।
जबकि प्रमुख टेक कम्पनीहरूले यस्तो प्रशिक्षण लागतहरू वहन गर्न सक्षम हुन सक्छ, यो साना स्टार्टअपहरू र अनुसन्धान संस्थाहरूको लागि निषेधित हुन्छ। तीन कारकहरूले यो खर्चलाई ड्राइभ गर्छन्।
1. व्यापक गणना लागत, जसमा हजारौं ग्राफिक प्रशोधन एकाइहरू (GPUs) को साथ धेरै हप्ताहरू आवश्यक पर्दछ।
2. राम्रो-ट्यून गरिएको मोडेलहरूलाई ठूलो भण्डारण चाहिन्छ, सामान्यतया सयौं गिगाबाइटहरू (GBs) लिन्छ। यसबाहेक, विभिन्न कार्यहरूको लागि बहु मोडेलहरू भण्डारण गर्न आवश्यक छ।
3. ठूला मोडेलहरूलाई तालिम दिन सटीक कम्प्युटेसनल पावर र हार्डवेयर चाहिन्छ; अन्यथा, परिणाम आदर्श नहुन सक्छ।
निषेधात्मक लागतहरूको कारण, एआई अनुसन्धान बढ्दो रूपमा व्यावसायिक भएको छ, जहाँ बिग टेक कम्पनीहरूले यस क्षेत्रमा अध्ययनको नेतृत्व गरिरहेका छन्। यी फर्महरू पनि उनीहरूको खोजबाट सबैभन्दा बढी लाभ उठाउन खडा हुन्छन्। यस बीचमा, अनुसन्धान संस्थाहरू र गैर-नाफामुखीहरूले प्राय: यी व्यवसायहरूसँग सहकार्य गर्नुपर्छ यदि तिनीहरू क्षेत्रमा आफ्नो अन्वेषण सञ्चालन गर्न चाहन्छन्।
विघटनकारी प्रभाव
त्यहाँ प्रमाणहरू छन् जसले सुझाव दिन्छ कि तंत्रिका नेटवर्कहरू "छाँट्न सकिन्छ।" यसको मतलब यो हो कि सुपरसाइज्ड न्यूरल नेटवर्कहरू भित्र, एउटा सानो समूहले यसको कार्यक्षमतामा ठूलो असर नगरी मूल एआई मोडेलको समान स्तरको शुद्धता हासिल गर्न सक्छ। उदाहरणका लागि, २०२० मा, स्वार्थमोर कलेज र लस अलामोस नेशनल ल्याबोरेटरीका एआई अनुसन्धानकर्ताहरूले गणितज्ञ जोन कन्वेको गेम अफ लाइफमा जटिल DL मोडेलले भविष्यका चरणहरू भविष्यवाणी गर्न सिक्न सक्ने भए पनि, त्यहाँ सधैं सानो न्यूरल नेटवर्क हुन्छ जुन सिकाउन सकिन्छ भनेर चित्रण गरे। एउटै कुरा गर्न।
अन्वेषकहरूले पत्ता लगाए कि यदि तिनीहरूले सम्पूर्ण प्रशिक्षण प्रक्रिया पूरा गरेपछि DL मोडेलका धेरै प्यारामिटरहरू खारेज गरे, तिनीहरूले यसलाई यसको मूल आकारको 10 प्रतिशतमा घटाउन सक्छन् र अझै पनि समान परिणाम प्राप्त गर्न सक्छन्। धेरै प्राविधिक कम्पनीहरूले पहिले नै ल्यापटप र स्मार्टफोन जस्ता उपकरणहरूमा ठाउँ बचत गर्न आफ्नो एआई मोडेलहरू कम्प्रेस गर्दैछन्। यो विधिले पैसा बचत मात्र गर्दैन तर सफ्टवेयरलाई इन्टरनेट जडान बिना चलाउन र वास्तविक समयमा परिणामहरू प्राप्त गर्न अनुमति दिन्छ।
त्यहाँ पनि उदाहरणहरू थिए जब सौर ब्याट्री वा बटन सेलहरू द्वारा संचालित उपकरणहरूमा DL सम्भव थियो, साना न्यूरल नेटवर्कहरूको लागि धन्यवाद। यद्यपि, छाँट्ने विधिको सीमितता यो हो कि मोडेल अझै पनि यसलाई कम गर्न सक्नु अघि पूर्ण रूपमा प्रशिक्षित गर्न आवश्यक छ। त्यहाँ न्यूरल सबसेटहरूमा केही प्रारम्भिक अध्ययनहरू थिए जुन तिनीहरू आफैंमा प्रशिक्षित हुन सक्छन्। यद्यपि, तिनीहरूको शुद्धता सुपरसाइज्ड न्यूरल नेटवर्कहरूको जस्तै छैन।
प्रशिक्षण एआई मोडेल को प्रभाव
प्रशिक्षण एआई मोडेलहरूको व्यापक प्रभावहरू समावेश हुन सक्छन्:
- न्यूरल सञ्जालहरू प्रशिक्षणको विभिन्न विधिहरूमा बढेको अनुसन्धान; तर, आर्थिक अभावले प्रगति सुस्त हुन सक्छ।
- ठूला प्रविधिहरूले तिनीहरूको AI अनुसन्धान प्रयोगशालाहरूलाई कोष गर्न जारी राखेका छन्, जसले गर्दा चासोको थप द्वन्द्व उत्पन्न हुन्छ।
- एआई विकासको लागतहरूले एकाधिकारहरू गठन गर्न सर्तहरू सिर्जना गर्दछ, नयाँ एआई स्टार्टअपहरूको स्वतन्त्र रूपमा स्थापित प्राविधिक फर्महरूसँग प्रतिस्पर्धा गर्ने क्षमतालाई सीमित गर्दछ। एउटा उदीयमान व्यापार परिदृश्यले मुट्ठीभर ठूला टेक फर्महरूले विशाल स्वामित्वको एआई मोडेलहरू विकास गर्दै र सेवा/उपयोगिताको रूपमा साना एआई फर्महरूलाई भाडामा दिइरहेको देख्न सक्छ।
- अनुसन्धान संस्थाहरू, गैर-नाफामुखी संस्थाहरू, र विश्वविद्यालयहरू तिनीहरूको तर्फबाट केही AI प्रयोगहरू सञ्चालन गर्न ठूला प्रविधिहरूद्वारा वित्त पोषित छन्। यो प्रवृतिले एकेडेमियादेखि निगमसम्म थप ब्रेन ड्रेन गर्न सक्छ।
- ठूला प्राविधिकहरूलाई तिनीहरूको अनुसन्धान र विकास परियोजनाहरूका लागि जवाफदेही बनाउन तिनीहरूको AI नैतिकता दिशानिर्देशहरू प्रकाशित गर्न र नियमित रूपमा अद्यावधिक गर्नको लागि बढ्दो दबाब।
- उच्च कम्प्युटिङ पावर बढ्दो मात्रामा आवश्यक हुने भएकाले एआई मोडेलहरू थप महँगो हुँदै गएको छ, जसले गर्दा कार्बन उत्सर्जन बढ्दै गएको छ।
- केही सरकारी एजेन्सीहरूले यी विशाल एआई मोडेलहरूको प्रशिक्षणमा प्रयोग हुने डाटालाई नियमन गर्ने प्रयास गरिरहेका छन्। साथै, प्रतिस्पर्धा एजेन्सीहरूले SME नवाचारलाई प्रोत्साहित गर्ने प्रयासमा साना घरेलु फर्महरूलाई पहुँचयोग्य बनाउन निश्चित आकारको AI मोडेलहरूलाई बाध्य पार्ने कानूनहरू बनाउन सक्छन्।
विचार गर्न प्रश्नहरु
- यदि तपाइँ AI क्षेत्रमा काम गर्नुहुन्छ भने, तपाइँको संस्थाले कसरी वातावरणीय रूपमा दिगो एआई मोडेलहरू विकास गर्दैछ?
- महँगो एआई मोडेलहरूको सम्भावित दीर्घकालीन परिणामहरू के हुन्?
अन्तरदृष्टि सन्दर्भहरू
निम्न लोकप्रिय र संस्थागत लिङ्कहरू यस अन्तरदृष्टिको लागि सन्दर्भ गरिएको थियो:
