AI modellərinin öyrədilməsi: Ucuz AI inkişafı axtarışı

• Author:
• Author adı

  Quantumrun Uzaqgörməsi
• Mart 21, 2023

Dərin öyrənmə (DL) süni intellektin (AI) inkişafında bir sıra problemlərin səlahiyyətli həlli olduğunu sübut etdi. Bununla belə, DL də bahalaşır. Dərin neyron şəbəkələri idarə etmək yüksək emal resursları tələb edir, xüsusən də hazırlıqdan əvvəl. Daha da pisi, bu enerji tutumlu proses o deməkdir ki, bu tələblər böyük karbon izləri ilə nəticələnir və AI tədqiqatının kommersiyalaşdırılmasının ESG reytinqlərinə zərər verir.

Təlim AI modelləri konteksti

Pre-təlim hazırda geniş miqyaslı neyron şəbəkələrinin qurulması üçün ən populyar yanaşmadır və o, kompüter görmə (CV) və təbii dil emalında (NLP) böyük uğur nümayiş etdirir. Bununla belə, nəhəng DL modellərinin hazırlanması çox baha başa gəldi. Məsələn, OpenAI-nin 3 milyard parametri olan və yüksək səviyyəli qrafik kartları ilə nəhəng server klasterlərinə çıxışa ehtiyacı olan Generative Pre-trained Transformer 3 (GPT-175) təliminin təxmini dəyəri 12 milyon ABŞ dolları təşkil edirdi. Modeli işə salmaq üçün güclü server və yüzlərlə giqabaytlıq video təsadüfi giriş yaddaşı (VRAM) da lazımdır.

Böyük texnologiya şirkətləri bu cür təlim xərclərini ödəyə bilsələr də, kiçik startaplar və tədqiqat təşkilatları üçün bu, qadağanedici olur. Bu xərci üç amil şərtləndirir. 

1. Minlərlə qrafik emal vahidləri (GPU) ilə bir neçə həftə tələb olunacaq geniş hesablama xərcləri.

2. İncə tənzimlənmiş modellər adətən yüzlərlə giqabayt (GB) yer tutan böyük yaddaş tələb edir. Bundan əlavə, müxtəlif tapşırıqlar üçün çoxlu modellər saxlanmalıdır.

3. Böyük modellərin hazırlanması dəqiq hesablama gücü və avadanlıq tələb edir; əks halda nəticələr ideal olmaya bilər.

Qadağanedici xərclər səbəbindən süni intellekt tədqiqatları getdikcə daha çox kommersiyalaşdırılıb, burada Big Tech şirkətləri bu sahədə tədqiqatlara rəhbərlik edirlər. Bu firmalar da öz tapıntılarından ən çox qazanc əldə edirlər. Bu arada, tədqiqat institutları və qeyri-kommersiya təşkilatları bu sahədə kəşfiyyat işləri aparmaq istədikləri təqdirdə tez-tez bu müəssisələrlə əməkdaşlıq etməli olurlar. 

Dağıdıcı təsir

Neyron şəbəkələrinin "kəsilməsi" mümkün olduğunu göstərən dəlillər var. Bu o deməkdir ki, böyük ölçülü neyron şəbəkələri daxilində daha kiçik bir qrup onun funksionallığına ağır təsir göstərmədən orijinal AI modeli ilə eyni dəqiqlik səviyyəsinə nail ola bilər. Məsələn, 2020-ci ildə Swarthmore Kollecinin və Los Alamos Milli Laboratoriyasının süni intellekt üzrə tədqiqatçıları göstərdilər ki, mürəkkəb DL modeli riyaziyyatçı Con Konveyin Həyat Oyununda gələcək addımları proqnozlaşdırmağı öyrənə bilsə də, həmişə öyrədilə bilən daha kiçik bir neyron şəbəkəsi var. eyni şeyi etmək.

Tədqiqatçılar aşkar etdilər ki, əgər onlar bütün təlim prosedurunu tamamladıqdan sonra DL modelinin çoxsaylı parametrlərini ləğv etsələr, onu orijinal ölçüsünün 10 faizinə endirə və yenə də eyni nəticəni əldə edə bilərlər. Bir sıra texnoloji şirkətlər noutbuklar və smartfonlar kimi cihazlarda yerə qənaət etmək üçün artıq süni intellekt modellərini sıxışdırırlar. Bu üsul təkcə pula qənaət etmir, həm də proqram təminatının İnternet bağlantısı olmadan işləməsinə və real vaxt rejimində nəticələr əldə etməyə imkan verir. 

Kiçik neyron şəbəkələri sayəsində günəş batareyaları və ya düymə hüceyrələri ilə işləyən cihazlarda DL-nin mümkün olduğu hallar da var idi. Bununla belə, budama metodunun bir məhdudiyyəti ondan ibarətdir ki, modelin azaldılmasından əvvəl hələ də tamamilə öyrədilməsi lazımdır. Öz-özünə öyrədilə bilən sinir alt qrupları ilə bağlı bəzi ilkin tədqiqatlar var idi. Lakin onların dəqiqliyi böyük ölçülü neyron şəbəkələrinin dəqiqliyi ilə eyni deyil.

AI modellərinin təliminin nəticələri

AI modellərinin təliminin daha geniş təsirləri aşağıdakıları əhatə edə bilər: 

• Neyroşəbəkələrin öyrədilməsinin müxtəlif üsulları üzrə tədqiqatların artırılması; lakin, maliyyə çatışmazlığı səbəbindən irəliləyiş yavaşlaya bilər.
• Böyük texnologiya süni intellekt üzrə tədqiqat laboratoriyalarını maliyyələşdirməyə davam edir, nəticədə daha çox maraq toqquşması baş verir.
• İnhisarların formalaşması üçün şərait yaradan süni intellektin inkişafı xərcləri, yeni AI startaplarının qurulmuş texnoloji firmalarla müstəqil rəqabət aparmaq imkanlarını məhdudlaşdırır. İnkişaf etməkdə olan bir iş ssenarisi, bir neçə böyük texnoloji firmanın nəhəng mülkiyyət AI modellərini inkişaf etdirdiyini və onları xidmət/kommunal kimi kiçik AI firmalarına icarəyə verdiyini görə bilər.
• Tədqiqat institutları, qeyri-kommersiya təşkilatları və universitetlər onların adından bəzi AI təcrübələri keçirmək üçün böyük texnologiya tərəfindən maliyyələşdirilir. Bu tendensiya akademiyadan korporasiyalara daha çox beyin axınına səbəb ola bilər.
• Tədqiqat və təkmilləşdirmə layihələri üçün cavabdeh olmaq üçün böyük texnologiyanın süni intellektlə bağlı etik qaydalarını dərc etmək və müntəzəm olaraq yeniləmək üçün artan təzyiq.
• Yüksək hesablama gücü getdikcə daha çox tələb olunduqca, süni intellekt modellərinin təlimi daha bahalı olur və bu, daha çox karbon emissiyasına səbəb olur.
• Bəzi dövlət qurumları bu nəhəng süni intellekt modellərinin hazırlanmasında istifadə edilən məlumatları tənzimləməyə çalışır. Həmçinin, rəqabət agentlikləri KOM innovasiyalarını təşviq etmək məqsədilə müəyyən ölçülü süni intellekt modellərini daha kiçik yerli firmalar üçün əlçatan etməyə məcbur edən qanunlar yarada bilərlər.

Nəzərə alınmalı suallar

• Əgər süni intellekt sektorunda işləyirsinizsə, təşkilatınız ekoloji cəhətdən daha davamlı AI modellərini necə inkişaf etdirir?
• Bahalı AI modellərinin potensial uzunmüddətli nəticələri nələrdir?