AI modellerini eğitmek: Düşük maliyetli AI geliştirme arayışı

• Yazar:
• Yazar adı

  Kuantumrun Öngörüsü
• 21 Mart, 2023

Derin öğrenmenin (DL), yapay zeka (AI) geliştirmedeki çeşitli zorluklara yetkin bir çözüm olduğu kanıtlanmıştır. Ancak, DL de daha pahalı hale geliyor. Derin sinir ağlarını çalıştırmak, özellikle ön eğitimde yüksek işlem kaynakları gerektirir. Daha da kötüsü, bu enerji yoğun süreç, bu gereksinimlerin büyük karbon ayak izleriyle sonuçlanarak AI araştırma ticarileştirmesinin ESG derecelerine zarar vermesi anlamına gelir.

Eğitim AI modelleri bağlamı

Ön eğitim, artık büyük ölçekli sinir ağları oluşturmaya yönelik en popüler yaklaşımdır ve bilgisayarla görme (CV) ve doğal dil işlemede (NLP) büyük başarı göstermiştir. Ancak, devasa DL modelleri geliştirmek çok maliyetli hale geldi. Örneğin, OpenAI'nin 3 milyar parametreye sahip ve birinci sınıf grafik kartlarıyla muazzam sunucu kümelerine erişim gerektiren Generative Pre-trained Transformer 3'ün (GPT-175) eğitiminin tahmini maliyeti 12 milyon ABD dolarıydı. Modeli çalıştırmak için güçlü bir sunucu ve yüzlerce gigabayt video rasgele erişim belleği (VRAM) de gereklidir.

Büyük teknoloji şirketleri bu tür eğitim maliyetlerini karşılayabilirken, daha küçük girişimler ve araştırma kuruluşları için engelleyici hale geliyor. Bu masrafı üç faktör yönlendiriyor. 

1. Binlerce grafik işleme birimi (GPU) ile birkaç haftayı gerektirecek kapsamlı hesaplama maliyetleri.

2. İnce ayarlı modeller, genellikle yüzlerce gigabayt (GB) alan çok büyük depolama gerektirir. Ayrıca, farklı görevler için birden fazla modelin saklanması gerekir.

3. Büyük modellerin eğitimi, hassas hesaplama gücü ve donanım gerektirir; aksi halde sonuçlar ideal olmayabilir.

Engelleyici maliyetler nedeniyle, yapay zeka araştırması giderek daha fazla ticari hale geldi ve bu alanda Büyük Teknoloji şirketleri bu alandaki çalışmalara öncülük ediyor. Bu firmalar ayrıca bulgularından en iyi şekilde yararlanmaya hazırdır. Bu arada, araştırma kurumları ve kar amacı gütmeyen kuruluşlar, keşiflerini sahada yürütmek istiyorlarsa genellikle bu işletmelerle işbirliği yapmak zorunda kalırlar. 

Yıkıcı etki

Sinir ağlarının "budanabileceğini" gösteren kanıtlar var. Bu, süper boyutlu sinir ağları içinde, daha küçük bir grubun, işlevselliği üzerinde ağır etkiler olmadan orijinal AI modeliyle aynı düzeyde doğruluk elde edebileceği anlamına gelir. Örneğin, 2020'de Swarthmore College ve Los Alamos Ulusal Laboratuvarı'ndaki yapay zeka araştırmacıları, karmaşık bir DL modelinin matematikçi John Conway'in Game of Life oyununda gelecekteki adımları tahmin etmeyi öğrenebilmesine rağmen, her zaman öğretilebilecek daha küçük bir sinir ağı olduğunu gösterdi. aynı şeyi yapmak için.

Araştırmacılar, tüm eğitim prosedürünü tamamladıktan sonra bir DL modelinin çok sayıda parametresini atarlarsa, onu orijinal boyutunun yüzde 10'una indirebileceklerini ve yine de aynı sonucu elde edebileceklerini keşfettiler. Birkaç teknoloji şirketi, dizüstü bilgisayarlar ve akıllı telefonlar gibi cihazlarda yer kazanmak için AI modellerini zaten sıkıştırıyor. Bu yöntem sadece tasarruf sağlamakla kalmaz, aynı zamanda yazılımın İnternet bağlantısı olmadan çalışmasına ve gerçek zamanlı olarak sonuç almasına olanak tanır. 

Küçük sinir ağları sayesinde güneş pilleri veya düğme pillerle çalışan cihazlarda DL'nin mümkün olduğu durumlar da vardı. Bununla birlikte, budama yönteminin bir sınırlaması, modelin azaltılabilmesi için hala tamamen eğitilmesi gerekmesidir. Kendi başlarına eğitilebilecek nöral alt kümeler hakkında bazı ilk çalışmalar vardı. Bununla birlikte, doğrulukları, süper boyutlu sinir ağlarınınkilerle aynı değildir.

Yapay zeka modellerini eğitmenin çıkarımları

Eğitim AI modellerinin daha geniş etkileri şunları içerebilir: 

• Sinir ağlarını eğitmek için farklı yöntemlerde artan araştırma; ancak, finansman eksikliği nedeniyle ilerleme yavaşlayabilir.
• Büyük teknoloji, AI araştırma laboratuvarlarını finanse etmeye devam ederek daha fazla çıkar çatışmasına neden oluyor.
• Tekellerin oluşması için gerekli koşulları yaratan yapay zeka geliştirme maliyetleri, yeni yapay zeka girişimlerinin yerleşik teknoloji firmalarıyla bağımsız olarak rekabet etme yeteneğini sınırlıyor. Gelişmekte olan bir iş senaryosu, bir avuç büyük teknoloji firmasının dev tescilli AI modelleri geliştirdiğini ve bunları bir hizmet/yardımcı program olarak daha küçük AI firmalarına kiraladığını görebilir.
• Araştırma kurumları, kar amacı gütmeyen kuruluşlar ve üniversiteler, kendi adlarına bazı AI deneyleri yapmak için büyük teknoloji tarafından finanse ediliyor. Bu eğilim, akademiden şirketlere daha fazla beyin göçüne yol açabilir.
• Büyük teknoloji şirketlerinin, araştırma ve geliştirme projelerinden sorumlu olmalarını sağlamak için yapay zeka etik yönergelerini yayınlaması ve düzenli olarak güncellemesi yönünde artan baskı.
• Daha yüksek bilgi işlem gücü giderek daha fazla ihtiyaç duyuldukça yapay zeka modellerinin eğitimi daha pahalı hale geliyor ve bu da daha fazla karbon emisyonuna yol açıyor.
• Bazı devlet kurumları, bu dev yapay zeka modellerinin eğitiminde kullanılan verileri düzenlemeye çalışıyor. Ayrıca, rekabet ajansları, KOBİ inovasyonunu teşvik etme çabasıyla belirli bir büyüklükteki yapay zeka modellerini daha küçük yerli firmalara erişilebilir hale getirmeye zorlayan mevzuat oluşturabilir.

Dikkate alınması gereken sorular

• Yapay zeka sektöründe çalışıyorsanız, kuruluşunuz nasıl çevresel olarak daha sürdürülebilir yapay zeka modelleri geliştiriyor?
• Pahalı yapay zeka modellerinin potansiyel uzun vadeli sonuçları nelerdir?