പരിശീലന AI മോഡലുകൾ: ചെലവ് കുറഞ്ഞ AI വികസനത്തിനായുള്ള തിരയൽ

• രചയിതാവ്:
• രചയിതാവിന്റെ പേര്

  Quantumrun ദീർഘവീക്ഷണം
• മാർച്ച് 21, 2023

ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് (എഐ) വികസനത്തിലെ നിരവധി വെല്ലുവിളികൾക്കുള്ള സമർത്ഥമായ പരിഹാരമായി ഡീപ് ലേണിംഗ് (ഡിഎൽ) തെളിയിച്ചിട്ടുണ്ട്. എന്നിരുന്നാലും, DL കൂടുതൽ ചെലവേറിയതായിത്തീരുന്നു. ആഴത്തിലുള്ള ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് ഉയർന്ന പ്രോസസ്സിംഗ് ഉറവിടങ്ങൾ ആവശ്യമാണ്, പ്രത്യേകിച്ച് പ്രീ-ട്രെയിനിംഗിൽ. ഏറ്റവും മോശമായ കാര്യം, ഈ ഊർജ്ജ-ഇന്റൻസീവ് പ്രക്രിയ അർത്ഥമാക്കുന്നത്, ഈ ആവശ്യകതകൾ വലിയ കാർബൺ കാൽപ്പാടുകൾക്ക് കാരണമാകുന്നു, ഇത് AI ഗവേഷണ വാണിജ്യവൽക്കരണത്തിന്റെ ESG റേറ്റിംഗുകളെ നശിപ്പിക്കുന്നു.

പരിശീലനം AI മോഡലുകളുടെ സന്ദർഭം

വലിയ തോതിലുള്ള ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ നിർമ്മിക്കുന്നതിനുള്ള ഏറ്റവും ജനപ്രിയമായ സമീപനമാണ് പ്രീ-ട്രെയിനിംഗ്, കൂടാതെ കമ്പ്യൂട്ടർ വിഷൻ (സിവി), നാച്ചുറൽ ലാംഗ്വേജ് പ്രോസസ്സിംഗ് (എൻ‌എൽ‌പി) എന്നിവയിൽ ഇത് മികച്ച വിജയം കാണിച്ചു. എന്നിരുന്നാലും, വലിയ DL മോഡലുകൾ വികസിപ്പിക്കുന്നത് വളരെ ചെലവേറിയതാണ്. ഉദാഹരണത്തിന്, 3 ബില്യൺ പാരാമീറ്ററുകളുള്ളതും മികച്ച ഗ്രാഫിക്സ് കാർഡുകളുള്ള വലിയ സെർവർ ക്ലസ്റ്ററുകളിലേക്ക് ആക്‌സസ് ആവശ്യമുള്ളതുമായ ഓപ്പൺഎഐയുടെ ജനറേറ്റീവ് പ്രീ-ട്രെയിൻഡ് ട്രാൻസ്‌ഫോർമർ 3 (GPT-175) പരിശീലനത്തിന് $12 മില്യൺ ഡോളർ ചിലവ് കണക്കാക്കുന്നു. മോഡൽ പ്രവർത്തിപ്പിക്കുന്നതിന് ശക്തമായ ഒരു സെർവറും നൂറുകണക്കിന് ജിഗാബൈറ്റ് വീഡിയോ റാൻഡം ആക്‌സസ് മെമ്മറിയും (VRAM) ആവശ്യമാണ്.

പ്രമുഖ ടെക് കമ്പനികൾക്ക് ഇത്തരം പരിശീലനച്ചെലവുകൾ താങ്ങാനാകുമെങ്കിലും, ചെറിയ സ്റ്റാർട്ടപ്പുകൾക്കും ഗവേഷണ സ്ഥാപനങ്ങൾക്കും ഇത് നിരോധിതമാകും. മൂന്ന് ഘടകങ്ങൾ ഈ ചെലവിനെ നയിക്കുന്നു. 

1. ആയിരക്കണക്കിന് ഗ്രാഫിക് പ്രോസസ്സിംഗ് യൂണിറ്റുകൾ (ജിപിയു) ഉപയോഗിച്ച് ആഴ്ചകൾ ആവശ്യമായി വരുന്ന വിപുലമായ കണക്കുകൂട്ടൽ ചെലവുകൾ.

2. ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡലുകൾക്ക് വൻതോതിൽ സംഭരണം ആവശ്യമാണ്, സാധാരണയായി നൂറുകണക്കിന് ജിഗാബൈറ്റുകൾ (GBs) എടുക്കുന്നു. കൂടാതെ, വ്യത്യസ്ത ജോലികൾക്കായി ഒന്നിലധികം മോഡലുകൾ സൂക്ഷിക്കേണ്ടതുണ്ട്.

3. വലിയ മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതിന് കൃത്യമായ കമ്പ്യൂട്ടേഷണൽ പവറും ഹാർഡ്‌വെയറും ആവശ്യമാണ്; അല്ലെങ്കിൽ, ഫലങ്ങൾ അനുയോജ്യമാകണമെന്നില്ല.

നിരോധിത ചെലവുകൾ കാരണം, AI ഗവേഷണം കൂടുതൽ വാണിജ്യവൽക്കരിക്കപ്പെട്ടിരിക്കുന്നു, അതിൽ ബിഗ് ടെക് കമ്പനികൾ ഈ മേഖലയിലെ പഠനങ്ങൾക്ക് നേതൃത്വം നൽകുന്നു. ഈ സ്ഥാപനങ്ങൾ അവരുടെ കണ്ടെത്തലുകളിൽ നിന്ന് ഏറ്റവും കൂടുതൽ നേട്ടമുണ്ടാക്കും. അതേസമയം, ഗവേഷണ സ്ഥാപനങ്ങളും ലാഭേച്ഛയില്ലാത്ത സ്ഥാപനങ്ങളും ഈ മേഖലയിൽ തങ്ങളുടെ പര്യവേക്ഷണം നടത്താൻ ആഗ്രഹിക്കുന്നുവെങ്കിൽ പലപ്പോഴും ഈ ബിസിനസുകളുമായി സഹകരിക്കേണ്ടതുണ്ട്. 

തടസ്സപ്പെടുത്തുന്ന ആഘാതം

ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ "പ്രൂൺ" ചെയ്യാൻ കഴിയുമെന്ന് സൂചിപ്പിക്കുന്ന തെളിവുകളുണ്ട്. ഇതിനർത്ഥം, സൂപ്പർസൈസ്ഡ് ന്യൂറൽ നെറ്റ്‌വർക്കുകൾക്കുള്ളിൽ, ഒരു ചെറിയ ഗ്രൂപ്പിന് യഥാർത്ഥ AI മോഡലിന്റെ അതേ നിലവാരത്തിലുള്ള കൃത്യത അതിന്റെ പ്രവർത്തനത്തിൽ കനത്ത ആഘാതങ്ങളില്ലാതെ നേടാൻ കഴിയും എന്നാണ്. ഉദാഹരണത്തിന്, 2020-ൽ, Swarthmore കോളേജിലെയും ലോസ് അലാമോസ് നാഷണൽ ലബോറട്ടറിയിലെയും AI ഗവേഷകർ, ഗണിതശാസ്ത്രജ്ഞനായ ജോൺ കോൺവേയുടെ ഗെയിം ഓഫ് ലൈഫിൽ ഒരു സങ്കീർണ്ണമായ DL മോഡലിന് ഭാവി ഘട്ടങ്ങൾ പ്രവചിക്കാൻ പഠിക്കാമെങ്കിലും, പഠിപ്പിക്കാൻ കഴിയുന്ന ഒരു ചെറിയ ന്യൂറൽ നെറ്റ്‌വർക്ക് എപ്പോഴും ഉണ്ടെന്ന് ചിത്രീകരിച്ചു. അതേ കാര്യം ചെയ്യാൻ.

മുഴുവൻ പരിശീലന പ്രക്രിയയും പൂർത്തിയാക്കിയ ശേഷം ഡിഎൽ മോഡലിന്റെ നിരവധി പാരാമീറ്ററുകൾ നിരസിച്ചാൽ, അത് യഥാർത്ഥ വലുപ്പത്തിന്റെ 10 ശതമാനമായി കുറയ്ക്കാനും അതേ ഫലം നേടാനും കഴിയുമെന്ന് ഗവേഷകർ കണ്ടെത്തി. ലാപ്‌ടോപ്പുകളും സ്‌മാർട്ട്‌ഫോണുകളും പോലുള്ള ഉപകരണങ്ങളിൽ ഇടം ലാഭിക്കുന്നതിനായി നിരവധി ടെക് കമ്പനികൾ ഇതിനകം തന്നെ അവരുടെ AI മോഡലുകൾ കംപ്രസ് ചെയ്യുന്നു. ഈ രീതി പണം ലാഭിക്കുക മാത്രമല്ല, ഇന്റർനെറ്റ് കണക്ഷനില്ലാതെ സോഫ്റ്റ്‌വെയർ പ്രവർത്തിപ്പിക്കാനും തത്സമയം ഫലങ്ങൾ നേടാനും അനുവദിക്കുന്നു. 

ചെറിയ ന്യൂറൽ നെറ്റ്‌വർക്കുകൾക്ക് നന്ദി, സോളാർ ബാറ്ററികളോ ബട്ടൺ സെല്ലുകളോ ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്ന ഉപകരണങ്ങളിൽ DL സാധ്യമായ സന്ദർഭങ്ങളും ഉണ്ടായിരുന്നു. എന്നിരുന്നാലും, വെട്ടിമാറ്റൽ രീതിയുടെ ഒരു പരിമിതി, അത് കുറയ്ക്കുന്നതിന് മുമ്പ് മോഡൽ ഇപ്പോഴും പൂർണ്ണമായും പരിശീലിപ്പിക്കേണ്ടതുണ്ട്. സ്വന്തമായി പരിശീലിപ്പിക്കാൻ കഴിയുന്ന ന്യൂറൽ ഉപവിഭാഗങ്ങളെക്കുറിച്ച് ചില പ്രാഥമിക പഠനങ്ങൾ ഉണ്ടായിരുന്നു. എന്നിരുന്നാലും, അവയുടെ കൃത്യത സൂപ്പർസൈസ്ഡ് ന്യൂറൽ നെറ്റ്‌വർക്കുകളുടെ കൃത്യതയ്ക്ക് തുല്യമല്ല.

AI മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതിന്റെ പ്രത്യാഘാതങ്ങൾ

പരിശീലന AI മോഡലുകളുടെ വിശാലമായ പ്രത്യാഘാതങ്ങൾ ഉൾപ്പെടാം: 

• നാഡീ ശൃംഖലകളെ പരിശീലിപ്പിക്കുന്നതിനുള്ള വിവിധ രീതികളിൽ ഗവേഷണം വർദ്ധിപ്പിച്ചു; എന്നിരുന്നാലും, ഫണ്ടിന്റെ അഭാവം മൂലം പുരോഗതി മന്ദഗതിയിലായേക്കാം.
• ബിഗ് ടെക് അവരുടെ AI ഗവേഷണ ലാബുകൾക്ക് ധനസഹായം നൽകുന്നത് തുടരുന്നു, ഇത് കൂടുതൽ താൽപ്പര്യ വൈരുദ്ധ്യങ്ങൾക്ക് കാരണമാകുന്നു.
• AI വികസനത്തിന്റെ ചെലവുകൾ കുത്തകകൾ രൂപീകരിക്കുന്നതിനുള്ള സാഹചര്യങ്ങൾ സൃഷ്ടിക്കുന്നു, സ്ഥാപിത സാങ്കേതിക സ്ഥാപനങ്ങളുമായി സ്വതന്ത്രമായി മത്സരിക്കാനുള്ള പുതിയ AI സ്റ്റാർട്ടപ്പുകളുടെ കഴിവ് പരിമിതപ്പെടുത്തുന്നു. വളർന്നുവരുന്ന ഒരു ബിസിനസ്സ് സാഹചര്യത്തിൽ ഒരുപിടി വലിയ ടെക് സ്ഥാപനങ്ങൾ ഭീമൻ കുത്തക AI മോഡലുകൾ വികസിപ്പിക്കുകയും ചെറിയ AI സ്ഥാപനങ്ങൾക്ക് ഒരു സേവനം/യൂട്ടിലിറ്റി എന്ന നിലയിൽ പാട്ടത്തിന് നൽകുകയും ചെയ്തേക്കാം.
• ഗവേഷണ സ്ഥാപനങ്ങൾ, ലാഭേച്ഛയില്ലാത്ത സ്ഥാപനങ്ങൾ, സർവ്വകലാശാലകൾ എന്നിവയ്ക്ക് അവരുടെ പേരിൽ ചില AI പരീക്ഷണങ്ങൾ നടത്താൻ വലിയ സാങ്കേതികവിദ്യകൾ ധനസഹായം നൽകുന്നു. ഈ പ്രവണത അക്കാദമിക മേഖലകളിൽ നിന്ന് കോർപ്പറേഷനുകളിലേക്ക് കൂടുതൽ മസ്തിഷ്ക ചോർച്ചയിലേക്ക് നയിച്ചേക്കാം.
• അവരുടെ ഗവേഷണ-വികസന പ്രോജക്റ്റുകൾക്ക് ഉത്തരവാദിത്തമുള്ളവരാക്കുന്നതിന് അവരുടെ AI എത്തിക്‌സ് മാർഗ്ഗനിർദ്ദേശങ്ങൾ പ്രസിദ്ധീകരിക്കാനും പതിവായി അപ്‌ഡേറ്റ് ചെയ്യാനും വലിയ സാങ്കേതികവിദ്യയ്ക്ക് സമ്മർദ്ദം വർദ്ധിച്ചു.
• ഉയർന്ന കമ്പ്യൂട്ടിംഗ് പവർ കൂടുതലായി ആവശ്യമുള്ളതിനാൽ AI മോഡലുകളുടെ പരിശീലനം കൂടുതൽ ചെലവേറിയതായിത്തീരുന്നു, ഇത് കൂടുതൽ കാർബൺ ഉദ്‌വമനത്തിലേക്ക് നയിക്കുന്നു.
• ഈ ഭീമൻ AI മോഡലുകളുടെ പരിശീലനത്തിൽ ഉപയോഗിക്കുന്ന ഡാറ്റ നിയന്ത്രിക്കാൻ ചില സർക്കാർ ഏജൻസികൾ ശ്രമിക്കുന്നു. അതുപോലെ, മത്സര ഏജൻസികൾ ഒരു നിശ്ചിത വലുപ്പത്തിലുള്ള AI മോഡലുകൾ ചെറുകിട ആഭ്യന്തര സ്ഥാപനങ്ങൾക്ക് ആക്‌സസ് ചെയ്യാൻ നിർബന്ധിക്കുന്ന നിയമനിർമ്മാണം സൃഷ്ടിച്ചേക്കാം.

പരിഗണിക്കേണ്ട ചോദ്യങ്ങൾ

• നിങ്ങൾ AI മേഖലയിൽ പ്രവർത്തിക്കുന്നുണ്ടെങ്കിൽ, നിങ്ങളുടെ സ്ഥാപനം എങ്ങനെയാണ് കൂടുതൽ പരിസ്ഥിതി സുസ്ഥിര AI മോഡലുകൾ വികസിപ്പിക്കുന്നത്?
• ചെലവേറിയ AI മോഡലുകളുടെ ദീർഘകാല പ്രത്യാഘാതങ്ങൾ എന്തൊക്കെയാണ്?