శిక్షణ AI నమూనాలు: తక్కువ-ధర AI అభివృద్ధి కోసం శోధన

• రచయిత గురించి:
• రచయిత పేరు

  క్వాంటమ్రన్ దూరదృష్టి
• మార్చి 21, 2023

ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ (AI) అభివృద్ధిలో అనేక సవాళ్లకు డీప్ లెర్నింగ్ (DL) సమర్థ పరిష్కారంగా నిరూపించబడింది. అయితే, DL కూడా ఖరీదైనదిగా మారుతోంది. డీప్ న్యూరల్ నెట్‌వర్క్‌లను నిర్వహించడానికి అధిక ప్రాసెసింగ్ వనరులు అవసరం, ముఖ్యంగా ముందస్తు శిక్షణలో. అధ్వాన్నంగా, ఈ శక్తి-ఇంటెన్సివ్ ప్రక్రియ అంటే ఈ అవసరాలు పెద్ద కార్బన్ పాదముద్రలకు దారితీస్తాయి, AI పరిశోధన వాణిజ్యీకరణ యొక్క ESG రేటింగ్‌లను దెబ్బతీస్తాయి.

శిక్షణ AI మోడల్స్ సందర్భం

పెద్ద-స్థాయి న్యూరల్ నెట్‌వర్క్‌లను నిర్మించడానికి ప్రీ-ట్రైనింగ్ ఇప్పుడు అత్యంత ప్రజాదరణ పొందిన విధానం, మరియు ఇది కంప్యూటర్ విజన్ (CV) మరియు సహజ భాషా ప్రాసెసింగ్ (NLP)లో గొప్ప విజయాన్ని కనబరిచింది. అయితే, భారీ DL మోడళ్లను అభివృద్ధి చేయడం చాలా ఖర్చుతో కూడుకున్నది. ఉదాహరణకు, 3 బిలియన్ పారామీటర్‌లను కలిగి ఉన్న OpenAI యొక్క జనరేటివ్ ప్రీ-ట్రైన్డ్ ట్రాన్స్‌ఫార్మర్ 3 (GPT-175) శిక్షణ మరియు అగ్రశ్రేణి గ్రాఫిక్స్ కార్డ్‌లతో అపారమైన సర్వర్ క్లస్టర్‌లకు యాక్సెస్ అవసరం, దీని అంచనా వ్యయం USD $12 మిలియన్లు. మోడల్‌ను అమలు చేయడానికి శక్తివంతమైన సర్వర్ మరియు వందల కొద్దీ గిగాబైట్ల వీడియో రాండమ్ యాక్సెస్ మెమరీ (VRAM) కూడా అవసరం.

ప్రధాన టెక్ కంపెనీలు అటువంటి శిక్షణ ఖర్చులను భరించగలిగినప్పటికీ, చిన్న స్టార్టప్‌లు మరియు పరిశోధనా సంస్థలకు ఇది నిషేధం అవుతుంది. మూడు అంశాలు ఈ వ్యయాన్ని పెంచుతాయి. 

1. వేలకొద్దీ గ్రాఫిక్ ప్రాసెసింగ్ యూనిట్‌లతో (GPUలు) అనేక వారాలు అవసరమయ్యే విస్తృతమైన గణన ఖర్చులు.

2. ఫైన్-ట్యూన్ చేయబడిన మోడల్‌లకు భారీ నిల్వ అవసరమవుతుంది, సాధారణంగా వందలకొద్దీ గిగాబైట్‌లను (GBs) తీసుకుంటుంది. ఇంకా, వివిధ పనుల కోసం బహుళ నమూనాలు నిల్వ చేయబడాలి.

3. పెద్ద మోడళ్లకు శిక్షణ ఇవ్వడానికి ఖచ్చితమైన గణన శక్తి మరియు హార్డ్‌వేర్ అవసరం; లేకపోతే, ఫలితాలు ఆదర్శంగా ఉండకపోవచ్చు.

నిషేధిత వ్యయాల కారణంగా, AI పరిశోధన మరింతగా వాణిజ్యీకరించబడింది, ఇందులో బిగ్ టెక్ కంపెనీలు ఈ రంగంలో అధ్యయనాలకు నాయకత్వం వహిస్తున్నాయి. ఈ సంస్థలు తమ పరిశోధనల నుండి ఎక్కువ లాభం పొందుతాయి. ఇంతలో, పరిశోధనా సంస్థలు మరియు లాభాపేక్షలేని సంస్థలు ఈ రంగంలో తమ అన్వేషణను నిర్వహించాలనుకుంటే తరచుగా ఈ వ్యాపారాలతో సహకరించవలసి ఉంటుంది. 

విఘాతం కలిగించే ప్రభావం

న్యూరల్ నెట్‌వర్క్‌లను "ప్రూన్" చేయవచ్చని సూచించే ఆధారాలు ఉన్నాయి. దీని అర్థం సూపర్‌సైజ్ చేయబడిన న్యూరల్ నెట్‌వర్క్‌లలో, ఒక చిన్న సమూహం దాని కార్యాచరణపై భారీ ప్రభావం లేకుండా అసలు AI మోడల్ వలె అదే స్థాయి ఖచ్చితత్వాన్ని సాధించగలదు. ఉదాహరణకు, 2020లో, స్వర్త్‌మోర్ కళాశాల మరియు లాస్ అలమోస్ నేషనల్ లాబొరేటరీలోని AI పరిశోధకులు, గణిత శాస్త్రజ్ఞుడు జాన్ కాన్వే యొక్క గేమ్ ఆఫ్ లైఫ్‌లో భవిష్యత్ దశలను అంచనా వేయడానికి సంక్లిష్టమైన DL మోడల్ నేర్చుకోగలిగినప్పటికీ, బోధించబడే చిన్న న్యూరల్ నెట్‌వర్క్ ఎల్లప్పుడూ ఉంటుందని వివరించారు. అదే పని చేయడానికి.

మొత్తం శిక్షణా విధానాన్ని పూర్తి చేసిన తర్వాత వారు DL మోడల్ యొక్క అనేక పారామితులను విస్మరిస్తే, వారు దానిని దాని అసలు పరిమాణంలో 10 శాతానికి తగ్గించి, అదే ఫలితాన్ని సాధించవచ్చని పరిశోధకులు కనుగొన్నారు. ల్యాప్‌టాప్‌లు మరియు స్మార్ట్‌ఫోన్‌ల వంటి పరికరాలలో స్థలాన్ని ఆదా చేయడానికి అనేక టెక్ కంపెనీలు ఇప్పటికే తమ AI మోడల్‌లను కంప్రెస్ చేస్తున్నాయి. ఈ పద్ధతి డబ్బును ఆదా చేయడమే కాకుండా సాఫ్ట్‌వేర్ ఇంటర్నెట్ కనెక్షన్ లేకుండా అమలు చేయడానికి మరియు నిజ సమయంలో ఫలితాలను పొందడానికి అనుమతిస్తుంది. 

చిన్న న్యూరల్ నెట్‌వర్క్‌ల కారణంగా సౌర బ్యాటరీలు లేదా బటన్ సెల్స్‌తో నడిచే పరికరాల్లో DL సాధ్యమైన సందర్భాలు కూడా ఉన్నాయి. అయినప్పటికీ, కత్తిరింపు పద్ధతి యొక్క పరిమితి ఏమిటంటే, మోడల్‌ను తగ్గించడానికి ముందు పూర్తిగా శిక్షణ పొందవలసి ఉంటుంది. వారి స్వంతంగా శిక్షణ పొందగల నాడీ ఉపసమితులపై కొన్ని ప్రారంభ అధ్యయనాలు ఉన్నాయి. అయినప్పటికీ, వాటి ఖచ్చితత్వం సూపర్సైజ్ చేయబడిన న్యూరల్ నెట్‌వర్క్‌ల మాదిరిగానే ఉండదు.

శిక్షణ AI నమూనాల చిక్కులు

శిక్షణ AI నమూనాల యొక్క విస్తృత చిక్కులు వీటిని కలిగి ఉండవచ్చు: 

• న్యూరల్ నెట్‌వర్క్‌లకు శిక్షణ ఇచ్చే వివిధ పద్ధతుల్లో పరిశోధనను పెంచడం; అయినప్పటికీ, నిధుల కొరత కారణంగా పురోగతి మందగించవచ్చు.
• పెద్ద టెక్ వారి AI పరిశోధన ల్యాబ్‌లకు నిధులు సమకూర్చడం కొనసాగిస్తోంది, ఫలితంగా ఆసక్తికి సంబంధించిన మరిన్ని వైరుధ్యాలు ఏర్పడుతున్నాయి.
• AI అభివృద్ధి ఖర్చులు గుత్తాధిపత్యం ఏర్పడటానికి పరిస్థితులను సృష్టిస్తాయి, కొత్త AI స్టార్టప్‌లు స్థాపించబడిన సాంకేతిక సంస్థలతో స్వతంత్రంగా పోటీపడే సామర్థ్యాన్ని పరిమితం చేస్తాయి. అభివృద్ధి చెందుతున్న వ్యాపార దృష్టాంతంలో కొన్ని పెద్ద టెక్ సంస్థలు భారీ యాజమాన్య AI మోడల్‌లను అభివృద్ధి చేయడం మరియు వాటిని చిన్న AI సంస్థలకు సేవ/యుటిలిటీగా లీజుకు ఇవ్వడం చూడవచ్చు.
• పరిశోధనా సంస్థలు, లాభాపేక్ష రహిత సంస్థలు మరియు విశ్వవిద్యాలయాలు తమ తరపున కొన్ని AI ప్రయోగాలను నిర్వహించడానికి పెద్ద సాంకేతిక పరిజ్ఞానం ద్వారా నిధులు పొందుతున్నాయి. ఈ ధోరణి అకాడెమియా నుండి కార్పొరేషన్ల వరకు మరింత మెదడు ప్రవాహానికి దారి తీస్తుంది.
• వారి పరిశోధన మరియు అభివృద్ధి ప్రాజెక్ట్‌లకు జవాబుదారీగా ఉండేలా వారి AI నీతి మార్గదర్శకాలను ప్రచురించడానికి మరియు క్రమం తప్పకుండా నవీకరించడానికి పెద్ద సాంకేతికతపై ఒత్తిడి పెరిగింది.
• అధిక కంప్యూటింగ్ శక్తి ఎక్కువగా అవసరం కాబట్టి శిక్షణ AI నమూనాలు మరింత ఖరీదైనవిగా మారుతున్నాయి, ఇది మరింత కార్బన్ ఉద్గారాలకు దారితీస్తుంది.
• ఈ దిగ్గజం AI నమూనాల శిక్షణలో ఉపయోగించిన డేటాను నియంత్రించడానికి కొన్ని ప్రభుత్వ ఏజెన్సీలు ప్రయత్నిస్తున్నాయి. అలాగే, పోటీ ఏజెన్సీలు SME ఆవిష్కరణలను ప్రోత్సహించే ప్రయత్నంలో చిన్న దేశీయ సంస్థలకు నిర్దిష్ట పరిమాణంలోని AI మోడల్‌లను అందుబాటులో ఉండేలా బలవంతం చేసే చట్టాన్ని రూపొందించవచ్చు.

పరిగణించవలసిన ప్రశ్నలు

• మీరు AI విభాగంలో పనిచేస్తుంటే, మీ సంస్థ మరింత పర్యావరణపరంగా స్థిరమైన AI నమూనాలను ఎలా అభివృద్ధి చేస్తోంది?
• ఖరీదైన AI మోడల్స్ యొక్క సంభావ్య దీర్ఘకాలిక పరిణామాలు ఏమిటి?