AI મોડલ્સની તાલીમ: ઓછી કિંમતના AI વિકાસ માટેની શોધ

• લેખક:
• લેખક નામ

  ક્વોન્ટમરુન અગમચેતી
• માર્ચ ૨૦, ૨૦૨૧

ડીપ લર્નિંગ (DL) એ આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) વિકાસમાં અનેક પડકારોનો સક્ષમ ઉકેલ સાબિત થયો છે. જોકે, ડીએલ પણ મોંઘુ થઈ રહ્યું છે. ડીપ ન્યુરલ નેટવર્ક ઓપરેટ કરવા માટે ઉચ્ચ પ્રોસેસિંગ સંસાધનોની જરૂર પડે છે, ખાસ કરીને પૂર્વ-તાલીમમાં. ખરાબ, આ ઉર્જા-સઘન પ્રક્રિયાનો અર્થ એ છે કે આ જરૂરિયાતો મોટા કાર્બન ફૂટપ્રિન્ટ્સમાં પરિણમે છે, જે AI સંશોધન વ્યાપારીકરણના ESG રેટિંગને નુકસાન પહોંચાડે છે.

AI મોડલ્સ સંદર્ભમાં તાલીમ આપવી

મોટા પાયે ન્યુરલ નેટવર્ક બનાવવા માટે પ્રી-ટ્રેનિંગ હવે સૌથી લોકપ્રિય અભિગમ છે, અને તેણે કોમ્પ્યુટર વિઝન (CV) અને નેચરલ લેંગ્વેજ પ્રોસેસિંગ (NLP)માં મોટી સફળતા દર્શાવી છે. જો કે, વિશાળ DL મોડલ વિકસાવવા ખૂબ ખર્ચાળ બની ગયા છે. ઉદાહરણ તરીકે, ઓપનએઆઈના જનરેટિવ પ્રી-ટ્રેઇન્ડ ટ્રાન્સફોર્મર 3 (GPT-3)ની તાલીમ, જેમાં 175 બિલિયન પેરામીટર્સ છે અને તેને ટોચના ગ્રાફિક્સ કાર્ડ્સ સાથેના વિશાળ સર્વર ક્લસ્ટરની ઍક્સેસની જરૂર છે, તેનો અંદાજિત ખર્ચ USD $12 મિલિયન હતો. મોડલ ચલાવવા માટે શક્તિશાળી સર્વર અને સેંકડો ગીગાબાઇટ્સ વિડિયો રેન્ડમ એક્સેસ મેમરી (VRAM)ની પણ જરૂર છે.

જ્યારે મોટી ટેક કંપનીઓ આવા તાલીમ ખર્ચ પરવડી શકે છે, તે નાના સ્ટાર્ટઅપ્સ અને સંશોધન સંસ્થાઓ માટે પ્રતિબંધિત બની જાય છે. ત્રણ પરિબળો આ ખર્ચને ચલાવે છે. 

1. વ્યાપક ગણતરી ખર્ચ, જેમાં હજારો ગ્રાફિક પ્રોસેસિંગ યુનિટ્સ (GPUs) સાથે કેટલાક અઠવાડિયાની જરૂર પડશે.

2. ફાઇન-ટ્યુન કરેલ મોડલને મોટા પ્રમાણમાં સ્ટોરેજની જરૂર પડે છે, સામાન્ય રીતે સેંકડો ગીગાબાઇટ્સ (GBs) લે છે. વધુમાં, વિવિધ કાર્યો માટે બહુવિધ મોડલ્સ સંગ્રહિત કરવાની જરૂર છે.

3. મોટા મોડલ્સને તાલીમ આપવા માટે ચોક્કસ કોમ્પ્યુટેશનલ પાવર અને હાર્ડવેરની જરૂર છે; નહિંતર, પરિણામો આદર્શ ન હોઈ શકે.

નિષેધાત્મક ખર્ચને કારણે, AI સંશોધનનું વધુને વધુ વ્યાપારીકરણ થયું છે, જેમાં બિગ ટેક કંપનીઓ આ ક્ષેત્રમાં અભ્યાસનું નેતૃત્વ કરી રહી છે. આ કંપનીઓ તેમના તારણોમાંથી સૌથી વધુ લાભ મેળવવા માટે પણ ઊભી છે. દરમિયાન, સંશોધન સંસ્થાઓ અને બિનનફાકારકોએ આ વ્યવસાયો સાથે સહયોગ કરવો પડે છે જો તેઓ આ ક્ષેત્રમાં તેમનું સંશોધન કરવા માંગતા હોય. 

વિક્ષેપકારક અસર

એવા પુરાવા છે કે જે સૂચવે છે કે ન્યુરલ નેટવર્કને "કાપી શકાય છે." આનો અર્થ એ છે કે સુપરસાઇઝ્ડ ન્યુરલ નેટવર્ક્સમાં, એક નાનું જૂથ તેની કાર્યક્ષમતા પર ભારે અસર કર્યા વિના મૂળ AI મોડલ જેટલું જ ચોકસાઈનું સ્તર હાંસલ કરી શકે છે. ઉદાહરણ તરીકે, 2020 માં, સ્વાર્થમોર કોલેજ અને લોસ એલામોસ નેશનલ લેબોરેટરીના AI સંશોધકોએ દર્શાવ્યું હતું કે ભલે જટિલ DL મોડલ ગણિતશાસ્ત્રી જ્હોન કોનવેની ગેમ ઓફ લાઇફમાં ભવિષ્યના પગલાંની આગાહી કરવાનું શીખી શકે, ત્યાં હંમેશા એક નાનું ન્યુરલ નેટવર્ક હોય છે જે શીખવી શકાય છે. એ જ વસ્તુ કરવા માટે.

સંશોધકોએ શોધ્યું કે જો તેઓ સમગ્ર તાલીમ પ્રક્રિયા પૂર્ણ કર્યા પછી DL મોડેલના અસંખ્ય પરિમાણોને કાઢી નાખે છે, તો તેઓ તેને તેના મૂળ કદના 10 ટકા સુધી ઘટાડી શકે છે અને હજુ પણ સમાન પરિણામ પ્રાપ્ત કરી શકે છે. લેપટોપ અને સ્માર્ટફોન જેવા ઉપકરણો પર જગ્યા બચાવવા માટે ઘણી ટેક કંપનીઓ પહેલેથી જ તેમના AI મોડલ્સને સંકુચિત કરી રહી છે. આ પદ્ધતિ માત્ર પૈસાની બચત જ નથી કરતી પણ સૉફ્ટવેરને ઇન્ટરનેટ કનેક્શન વિના ચલાવવાની અને રીઅલ-ટાઇમમાં પરિણામો મેળવવાની પણ મંજૂરી આપે છે. 

એવા કિસ્સાઓ પણ હતા જ્યારે સૌર બેટરી અથવા બટન કોષો દ્વારા સંચાલિત ઉપકરણો પર ડીએલ શક્ય હતું, નાના ન્યુરલ નેટવર્કને કારણે. જો કે, કાપણી પદ્ધતિની મર્યાદા એ છે કે મોડલને ઘટાડી શકાય તે પહેલા તેને હજુ પણ સંપૂર્ણપણે પ્રશિક્ષિત કરવાની જરૂર છે. ન્યુરલ સબસેટ્સ પર કેટલાક પ્રારંભિક અભ્યાસો હતા જે તેમના પોતાના પર તાલીમ આપી શકાય છે. જો કે, તેમની ચોકસાઈ સુપરસાઈઝ્ડ ન્યુરલ નેટવર્ક જેવી નથી.

AI મોડલ્સની તાલીમની અસરો

AI મોડલ્સની તાલીમના વ્યાપક પરિણામોમાં આનો સમાવેશ થઈ શકે છે: 

• ન્યુરલ નેટવર્કને તાલીમ આપવાની વિવિધ પદ્ધતિઓમાં સંશોધનમાં વધારો; જો કે, ભંડોળના અભાવે પ્રગતિ ધીમી પડી શકે છે.
• મોટી ટેક તેમની AI સંશોધન પ્રયોગશાળાઓને ભંડોળ આપવાનું ચાલુ રાખે છે, પરિણામે રસના વધુ સંઘર્ષો થાય છે.
• AI ડેવલપમેન્ટનો ખર્ચ એકાધિકારની રચના માટે શરતો બનાવે છે, નવી AI સ્ટાર્ટઅપ્સની સ્થાપિત ટેક કંપનીઓ સાથે સ્વતંત્ર રીતે સ્પર્ધા કરવાની ક્ષમતાને મર્યાદિત કરે છે. ઉભરતા વ્યાપાર દૃશ્યમાં મુઠ્ઠીભર મોટી ટેક કંપનીઓ વિશાળ માલિકીનું AI મોડલ વિકસાવી રહી છે અને તેમને સેવા/ઉપયોગિતા તરીકે નાની AI કંપનીઓને લીઝ પર આપી શકે છે.
• સંશોધન સંસ્થાઓ, બિનનફાકારક સંસ્થાઓ અને યુનિવર્સિટીઓને તેમના વતી કેટલાક AI પ્રયોગો કરવા માટે મોટી ટેક દ્વારા ભંડોળ પૂરું પાડવામાં આવે છે. આ વલણ એકેડેમિયાથી લઈને કોર્પોરેશનો સુધી વધુ બ્રેઈન ડ્રેઇન તરફ દોરી શકે છે.
• મોટી ટેક પર તેમના સંશોધન અને વિકાસ પ્રોજેક્ટ્સ માટે જવાબદાર બનાવવા માટે તેમની AI નીતિશાસ્ત્રની માર્ગદર્શિકા પ્રકાશિત કરવા અને નિયમિતપણે અપડેટ કરવાનું દબાણ વધ્યું છે.
• AI મોડલ્સને તાલીમ આપવી વધુ ખર્ચાળ બની રહી છે કારણ કે ઉચ્ચ કમ્પ્યુટિંગ પાવરની વધુને વધુ આવશ્યકતા છે, જે વધુ કાર્બન ઉત્સર્જન તરફ દોરી જાય છે.
• કેટલીક સરકારી એજન્સીઓ આ વિશાળ AI મોડલ્સની તાલીમમાં ઉપયોગમાં લેવાતા ડેટાને નિયંત્રિત કરવાનો પ્રયાસ કરી રહી છે. તેમજ, સ્પર્ધા એજન્સીઓ કાયદો બનાવી શકે છે જે SME નવીનતાને પ્રોત્સાહન આપવાના પ્રયાસમાં ચોક્કસ કદના AI મોડલ્સને નાની સ્થાનિક કંપનીઓ માટે સુલભ બનાવવા દબાણ કરે છે.

ધ્યાનમાં લેવાના પ્રશ્નો

• જો તમે AI ક્ષેત્રમાં કામ કરો છો, તો તમારી સંસ્થા પર્યાવરણની દૃષ્ટિએ વધુ ટકાઉ AI મોડલ્સ કેવી રીતે વિકસાવી રહી છે?
• ખર્ચાળ AI મોડલ્સના સંભવિત લાંબા ગાળાના પરિણામો શું છે?