প্রশিক্ষণ এআই মডেল: কম খরচে এআই বিকাশের অনুসন্ধান
প্রশিক্ষণ এআই মডেল: কম খরচে এআই বিকাশের অনুসন্ধান
প্রশিক্ষণ এআই মডেল: কম খরচে এআই বিকাশের অনুসন্ধান
- লেখক:
- মার্চ 21, 2023
ডিপ লার্নিং (ডিএল) কৃত্রিম বুদ্ধিমত্তা (এআই) উন্নয়নে বেশ কয়েকটি চ্যালেঞ্জের একটি যোগ্য সমাধান হিসেবে প্রমাণিত হয়েছে। তবে, ডিএল আরও ব্যয়বহুল হয়ে উঠছে। গভীর নিউরাল নেটওয়ার্ক পরিচালনার জন্য উচ্চ প্রক্রিয়াকরণ সংস্থান প্রয়োজন, বিশেষ করে প্রাক-প্রশিক্ষণে। আরও খারাপ, এই শক্তি-নিবিড় প্রক্রিয়াটির অর্থ হল এই প্রয়োজনীয়তার ফলে বড় কার্বন ফুটপ্রিন্ট হয়, যা AI গবেষণা বাণিজ্যিকীকরণের ESG রেটিংকে ক্ষতিগ্রস্ত করে।
এআই মডেলের প্রসঙ্গ প্রশিক্ষণ
প্রাক-প্রশিক্ষণ এখন বড় আকারের নিউরাল নেটওয়ার্ক তৈরির সবচেয়ে জনপ্রিয় পদ্ধতি, এবং এটি কম্পিউটার ভিশন (সিভি) এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণে (এনএলপি) দুর্দান্ত সাফল্য দেখিয়েছে। যাইহোক, বিশাল ডিএল মডেল তৈরি করা খুব ব্যয়বহুল হয়ে উঠেছে। উদাহরণস্বরূপ, ওপেনএআই-এর জেনারেটিভ প্রি-ট্রেইনড ট্রান্সফরমার 3 (GPT-3), যার 175 বিলিয়ন প্যারামিটার রয়েছে এবং শীর্ষস্থানীয় গ্রাফিক্স কার্ড সহ বিশাল সার্ভার ক্লাস্টারগুলিতে অ্যাক্সেসের প্রয়োজন, প্রশিক্ষণের আনুমানিক খরচ ছিল USD $12 মিলিয়ন। মডেলটি চালানোর জন্য একটি শক্তিশালী সার্ভার এবং শত শত গিগাবাইট ভিডিও র্যান্ডম অ্যাক্সেস মেমরি (VRAM) প্রয়োজন।
যদিও বড় প্রযুক্তি সংস্থাগুলি এই ধরনের প্রশিক্ষণের খরচ বহন করতে সক্ষম হতে পারে, এটি ছোট স্টার্টআপ এবং গবেষণা সংস্থাগুলির জন্য নিষিদ্ধ হয়ে ওঠে। তিনটি কারণ এই খরচ চালায়.
1. ব্যাপক গণনা খরচ, যার জন্য হাজার হাজার গ্রাফিক প্রসেসিং ইউনিট (GPUs) সহ কয়েক সপ্তাহ লাগবে।
2. ফাইন-টিউনড মডেলের জন্য বিশাল স্টোরেজ প্রয়োজন, সাধারণত শত শত গিগাবাইট (GBs) নেয়। উপরন্তু, বিভিন্ন কাজের জন্য একাধিক মডেল সংরক্ষণ করা প্রয়োজন।
3. বড় মডেলের প্রশিক্ষণের জন্য সুনির্দিষ্ট কম্পিউটেশনাল শক্তি এবং হার্ডওয়্যার প্রয়োজন; অন্যথায়, ফলাফল আদর্শ নাও হতে পারে।
নিষেধাজ্ঞামূলক খরচের কারণে, এআই গবেষণা ক্রমবর্ধমানভাবে বাণিজ্যিকীকরণ হয়েছে, যেখানে বিগ টেক কোম্পানিগুলি এই ক্ষেত্রে গবেষণায় নেতৃত্ব দিচ্ছে। এই সংস্থাগুলি তাদের অনুসন্ধানগুলি থেকে সর্বাধিক লাভ করতে দাঁড়ায়। এদিকে, গবেষণা প্রতিষ্ঠান এবং অলাভজনকদের প্রায়শই এই ব্যবসাগুলির সাথে সহযোগিতা করতে হয় যদি তারা ক্ষেত্রে তাদের অন্বেষণ পরিচালনা করতে চায়।
বিঘ্নিত প্রভাব
এমন প্রমাণ রয়েছে যা পরামর্শ দেয় যে নিউরাল নেটওয়ার্কগুলি "ছাঁটা" হতে পারে। এর অর্থ হল সুপারসাইজড নিউরাল নেটওয়ার্কের মধ্যে, একটি ছোট গোষ্ঠী তার কার্যকারিতার উপর ভারী প্রভাব ছাড়াই আসল AI মডেলের মতো নির্ভুলতা অর্জন করতে পারে। উদাহরণস্বরূপ, 2020 সালে, সোয়ার্থমোর কলেজ এবং লস অ্যালামোস ন্যাশনাল ল্যাবরেটরির এআই গবেষকরা চিত্রিত করেছেন যে যদিও একটি জটিল ডিএল মডেল গণিতবিদ জন কনওয়ের গেম অফ লাইফের ভবিষ্যত পদক্ষেপগুলি ভবিষ্যদ্বাণী করতে শিখতে পারে, সেখানে সর্বদা একটি ছোট নিউরাল নেটওয়ার্ক রয়েছে যা শেখানো যেতে পারে। একই জিনিস করতে
গবেষকরা আবিষ্কার করেছেন যে যদি তারা সম্পূর্ণ প্রশিক্ষণ প্রক্রিয়া সম্পন্ন করার পরে একটি ডিএল মডেলের অসংখ্য পরামিতি বাতিল করে, তবে তারা এটিকে তার আসল আকারের 10 শতাংশে কমাতে পারে এবং এখনও একই ফলাফল অর্জন করতে পারে। ল্যাপটপ এবং স্মার্টফোনের মতো ডিভাইসগুলিতে স্থান বাঁচাতে বেশ কয়েকটি প্রযুক্তি সংস্থা ইতিমধ্যে তাদের এআই মডেলগুলিকে সংকুচিত করছে। এই পদ্ধতিটি শুধুমাত্র অর্থ সাশ্রয় করে না বরং সফ্টওয়্যারটিকে ইন্টারনেট সংযোগ ছাড়াই চালানোর এবং রিয়েল-টাইমে ফলাফল পেতে দেয়।
এমনও উদাহরণ ছিল যখন সৌর ব্যাটারি বা বোতাম কোষ দ্বারা চালিত ডিভাইসগুলিতে ডিএল সম্ভব ছিল, ছোট নিউরাল নেটওয়ার্কের জন্য ধন্যবাদ। যাইহোক, ছাঁটাই পদ্ধতির একটি সীমাবদ্ধতা হল যে মডেলটিকে এখনও কমিয়ে আনার আগে সম্পূর্ণভাবে প্রশিক্ষিত করতে হবে। নিউরাল সাবসেটগুলির উপর কিছু প্রাথমিক গবেষণা ছিল যেগুলি তাদের নিজস্ব প্রশিক্ষিত হতে পারে। যাইহোক, তাদের নির্ভুলতা সুপারসাইজড নিউরাল নেটওয়ার্কগুলির মতো নয়।
এআই মডেল প্রশিক্ষণের প্রভাব
এআই মডেলের প্রশিক্ষণের বিস্তৃত প্রভাব অন্তর্ভুক্ত হতে পারে:
- নিউরাল নেটওয়ার্ক প্রশিক্ষণের বিভিন্ন পদ্ধতিতে গবেষণা বৃদ্ধি; যাইহোক, তহবিলের অভাবে অগ্রগতি মন্থর হতে পারে।
- বিগ টেক তাদের AI গবেষণা ল্যাবগুলিকে তহবিল দিয়ে চলেছে, যার ফলে স্বার্থের আরও দ্বন্দ্ব রয়েছে৷
- এআই বিকাশের খরচ একচেটিয়া গঠনের শর্ত তৈরি করে, প্রতিষ্ঠিত প্রযুক্তি সংস্থাগুলির সাথে স্বাধীনভাবে প্রতিযোগিতা করার জন্য নতুন এআই স্টার্টআপের ক্ষমতা সীমিত করে। একটি উদীয়মান ব্যবসায়িক পরিস্থিতিতে দেখা যেতে পারে যে মুষ্টিমেয় বড় কারিগরি সংস্থাগুলি বিশাল মালিকানাধীন AI মডেলগুলি বিকাশ করছে এবং পরিষেবা/ইউটিলিটি হিসাবে সেগুলিকে ছোট এআই সংস্থাগুলির কাছে লিজ দিচ্ছে৷
- গবেষণা প্রতিষ্ঠান, অলাভজনক এবং বিশ্ববিদ্যালয়গুলিকে তাদের পক্ষে কিছু AI পরীক্ষা চালানোর জন্য বড় প্রযুক্তির দ্বারা অর্থায়ন করা হচ্ছে। এই প্রবণতা একাডেমিয়া থেকে কর্পোরেশন পর্যন্ত আরও মস্তিষ্কের ড্রেন হতে পারে।
- বড় প্রযুক্তির জন্য তাদের গবেষণা ও উন্নয়ন প্রকল্পের জন্য দায়বদ্ধ করার জন্য তাদের AI নৈতিকতার নির্দেশিকা প্রকাশ এবং নিয়মিত আপডেট করার চাপ বেড়েছে।
- AI মডেলের প্রশিক্ষণ আরও ব্যয়বহুল হয়ে উঠছে কারণ উচ্চতর কম্পিউটিং শক্তি ক্রমবর্ধমান প্রয়োজন, যা আরও কার্বন নির্গমনের দিকে পরিচালিত করে।
- কিছু সরকারী সংস্থা এই বিশাল AI মডেলগুলির প্রশিক্ষণে ব্যবহৃত ডেটা নিয়ন্ত্রণ করার চেষ্টা করছে। পাশাপাশি, প্রতিযোগিতা সংস্থাগুলি আইন তৈরি করতে পারে যা SME উদ্ভাবনের প্রয়াসে একটি নির্দিষ্ট আকারের AI মডেলগুলিকে ছোট দেশীয় সংস্থাগুলির কাছে অ্যাক্সেসযোগ্য করতে বাধ্য করে।
বিবেচনা করার প্রশ্ন
- আপনি যদি এআই সেক্টরে কাজ করেন, তাহলে আপনার প্রতিষ্ঠান কীভাবে আরও পরিবেশগতভাবে টেকসই এআই মডেল তৈরি করছে?
- ব্যয়বহুল এআই মডেলগুলির সম্ভাব্য দীর্ঘমেয়াদী পরিণতিগুলি কী কী?
অন্তর্দৃষ্টি রেফারেন্স
এই অন্তর্দৃষ্টির জন্য নিম্নলিখিত জনপ্রিয় এবং প্রাতিষ্ঠানিক লিঙ্কগুলি উল্লেখ করা হয়েছে:
