एआय मॉडेल्सचे प्रशिक्षण: कमी किमतीच्या एआय विकासाचा शोध

• लेखक बद्दल:
• लेखक नाव

  Quantumrun दूरदृष्टी
• मार्च 21, 2023

डीप लर्निंग (DL) हे कृत्रिम बुद्धिमत्ता (AI) विकासातील अनेक आव्हानांवर एक सक्षम उपाय असल्याचे सिद्ध झाले आहे. तथापि, डीएल देखील महाग होत आहे. डीप न्यूरल नेटवर्क्स ऑपरेट करण्यासाठी उच्च प्रक्रिया संसाधने आवश्यक आहेत, विशेषत: पूर्व प्रशिक्षणात. सर्वात वाईट म्हणजे, या ऊर्जा-केंद्रित प्रक्रियेचा अर्थ असा आहे की या आवश्यकतांमुळे मोठ्या कार्बन फूटप्रिंट्स होतात, ज्यामुळे AI संशोधन व्यापारीकरणाच्या ESG रेटिंगचे नुकसान होते.

प्रशिक्षण एआय मॉडेल संदर्भ

मोठ्या प्रमाणात न्यूरल नेटवर्क तयार करण्यासाठी प्री-ट्रेनिंग हा आता सर्वात लोकप्रिय दृष्टीकोन आहे आणि त्याने संगणक दृष्टी (CV) आणि नैसर्गिक भाषा प्रक्रिया (NLP) मध्ये चांगले यश दर्शवले आहे. तथापि, प्रचंड DL मॉडेल विकसित करणे खूप महाग झाले आहे. उदाहरणार्थ, OpenAI च्या जनरेटिव्ह प्री-ट्रेन्ड ट्रान्सफॉर्मर 3 (GPT-3) चे प्रशिक्षण, ज्यात 175 अब्ज पॅरामीटर्स आहेत आणि त्यांना टॉप-नॉच ग्राफिक्स कार्ड्ससह प्रचंड सर्व्हर क्लस्टर्समध्ये प्रवेश आवश्यक आहे, त्याची अंदाजे किंमत USD $12 दशलक्ष होती. मॉडेल चालवण्यासाठी एक शक्तिशाली सर्व्हर आणि शेकडो गीगाबाइट्स व्हिडिओ रँडम ऍक्सेस मेमरी (VRAM) देखील आवश्यक आहे.

मोठ्या टेक कंपन्या अशा प्रशिक्षणाचा खर्च परवडण्यास सक्षम असल्या तरी लहान स्टार्टअप्स आणि संशोधन संस्थांसाठी ते प्रतिबंधात्मक बनते. तीन घटक हा खर्च चालवतात. 

1. विस्तृत गणना खर्च, ज्यासाठी हजारो ग्राफिक प्रोसेसिंग युनिट्स (GPU) सह अनेक आठवडे लागतील.

2. फाइन-ट्यून केलेल्या मॉडेल्सना मोठ्या प्रमाणात स्टोरेज आवश्यक असते, सहसा शेकडो गीगाबाइट्स (GBs) घेतात. शिवाय, विविध कार्यांसाठी अनेक मॉडेल्स संग्रहित करणे आवश्यक आहे.

3. मोठ्या मॉडेल्सना प्रशिक्षण देण्यासाठी अचूक संगणकीय शक्ती आणि हार्डवेअर आवश्यक आहे; अन्यथा, परिणाम आदर्श असू शकत नाहीत.

प्रतिबंधात्मक खर्चामुळे, AI संशोधनाचे अधिकाधिक व्यापारीकरण झाले आहे, ज्यामध्ये बिग टेक कंपन्या या क्षेत्रातील अभ्यासाचे नेतृत्व करत आहेत. या कंपन्या त्यांच्या निष्कर्षांमधून सर्वाधिक फायदा मिळवण्यासाठी देखील आहेत. दरम्यान, संशोधन संस्था आणि ना-नफा संस्थांना या व्यवसायांमध्ये त्यांचे अन्वेषण करायचे असल्यास त्यांना सहसा सहकार्य करावे लागते. 

व्यत्यय आणणारा प्रभाव

असे पुरावे आहेत जे सूचित करतात की न्यूरल नेटवर्क "छाटले" जाऊ शकतात. याचा अर्थ असा की सुपरसाइज्ड न्यूरल नेटवर्क्समध्ये, एक लहान गट त्याच्या कार्यक्षमतेवर जास्त परिणाम न करता मूळ एआय मॉडेल प्रमाणेच अचूकता प्राप्त करू शकतो. उदाहरणार्थ, 2020 मध्ये, स्वार्थमोर कॉलेज आणि लॉस अलामोस नॅशनल लॅबोरेटरी मधील AI संशोधकांनी स्पष्ट केले की जरी एक जटिल DL मॉडेल गणितज्ञ जॉन कॉनवेच्या गेम ऑफ लाइफमध्ये भविष्यातील पायऱ्यांचा अंदाज बांधण्यास शिकू शकतो, तरीही एक लहान न्यूरल नेटवर्क आहे जे शिकवले जाऊ शकते. समान गोष्ट करण्यासाठी.

संशोधकांनी शोधून काढले की जर त्यांनी संपूर्ण प्रशिक्षण प्रक्रिया पूर्ण केल्यानंतर डीएल मॉडेलचे असंख्य पॅरामीटर्स टाकून दिले तर ते त्याच्या मूळ आकाराच्या 10 टक्के कमी करू शकतात आणि तरीही समान परिणाम प्राप्त करू शकतात. लॅपटॉप आणि स्मार्टफोन सारख्या उपकरणांवर जागा वाचवण्यासाठी अनेक टेक कंपन्या आधीच त्यांचे AI मॉडेल संकुचित करत आहेत. ही पद्धत केवळ पैशांची बचत करत नाही तर सॉफ्टवेअरला इंटरनेट कनेक्शनशिवाय चालवण्यास आणि रिअल-टाइममध्ये परिणाम प्राप्त करण्यास अनुमती देते. 

लहान न्यूरल नेटवर्क्समुळे सौर बॅटरी किंवा बटण सेलद्वारे समर्थित डिव्हाइसेसवर DL शक्य होते तेव्हा अशी उदाहरणे देखील होती. तथापि, रोपांची छाटणी करण्याच्या पद्धतीची मर्यादा अशी आहे की ती कमी होण्यापूर्वी मॉडेलला अद्याप पूर्णपणे प्रशिक्षित करणे आवश्यक आहे. मज्जातंतूंच्या उपसमूहांवर काही प्रारंभिक अभ्यास होते जे स्वतः प्रशिक्षित केले जाऊ शकतात. तथापि, त्यांची अचूकता सुपरसाइज्ड न्यूरल नेटवर्क्स सारखी नसते.

प्रशिक्षण एआय मॉडेलचे परिणाम

प्रशिक्षण एआय मॉडेलच्या विस्तृत परिणामांमध्ये हे समाविष्ट असू शकते: 

• तंत्रिका नेटवर्क प्रशिक्षणाच्या विविध पद्धतींमध्ये वाढीव संशोधन; तथापि, निधीअभावी प्रगती मंद होऊ शकते.
• मोठ्या तंत्रज्ञानाने त्यांच्या AI संशोधन प्रयोगशाळांना निधी देणे सुरू ठेवले आहे, परिणामी हितसंबंधांचा अधिक संघर्ष होतो.
• एआय डेव्हलपमेंटच्या खर्चामुळे मक्तेदारी तयार होण्यासाठी परिस्थिती निर्माण होते, नवीन एआय स्टार्टअप्सची प्रस्थापित टेक कंपन्यांशी स्वतंत्रपणे स्पर्धा करण्याची क्षमता मर्यादित करते. उदयोन्मुख व्यवसाय परिस्थितीमध्ये मूठभर मोठ्या टेक कंपन्या महाकाय प्रोप्रायटरी एआय मॉडेल विकसित करत आहेत आणि सेवा/उपयोगिता म्हणून छोट्या एआय कंपन्यांना भाड्याने देत आहेत.
• संशोधन संस्था, नानफा संस्था आणि विद्यापीठांना त्यांच्या वतीने काही AI प्रयोग करण्यासाठी मोठ्या तंत्रज्ञानाद्वारे निधी दिला जात आहे. या प्रवृत्तीमुळे शैक्षणिक संस्थांपासून कॉर्पोरेशनपर्यंत अधिक ब्रेन ड्रेन होऊ शकतो.
• त्‍यांच्‍या संशोधन आणि विकास प्रकल्‍पांसाठी जबाबदार बनण्‍यासाठी त्‍यांच्‍या AI नैतिकतेच्‍या मार्गदर्शक तत्‍त्‍वे प्रकाशित करण्‍यासाठी आणि नियमितपणे अपडेट करण्‍यासाठी मोठ्या तंत्रज्ञानावर दबाव वाढला आहे.
• AI मॉडेल्सचे प्रशिक्षण देणे अधिक महाग होत आहे कारण उच्च संगणकीय शक्ती वाढत्या प्रमाणात आवश्यक आहे, ज्यामुळे अधिक कार्बन उत्सर्जन होते.
• काही सरकारी एजन्सी या विशाल AI मॉडेल्सच्या प्रशिक्षणात वापरल्या जाणार्‍या डेटाचे नियमन करण्याचा प्रयत्न करत आहेत. तसेच, स्पर्धा एजन्सी कायदा तयार करू शकतात जे SME नवकल्पना वाढवण्याच्या प्रयत्नात विशिष्ट आकाराचे AI मॉडेल्स लहान देशांतर्गत कंपन्यांना प्रवेशयोग्य बनवण्यास भाग पाडतात.

विचारात घेण्यासारखे प्रश्न

• जर तुम्ही AI क्षेत्रात काम करत असाल, तर तुमची संस्था पर्यावरणाच्या दृष्टीने अधिक टिकाऊ AI मॉडेल्स कशी विकसित करत आहे?
• महागड्या एआय मॉडेल्सचे संभाव्य दीर्घकालीन परिणाम काय आहेत?