Melatih model AI: Pencarian untuk pengembangan AI berbiaya rendah

KREDIT GAMBAR:
Gambar kredit
iStock

Melatih model AI: Pencarian untuk pengembangan AI berbiaya rendah

Melatih model AI: Pencarian untuk pengembangan AI berbiaya rendah

Teks subjudul
Model kecerdasan buatan terkenal mahal untuk dibangun dan dilatih, membuatnya tidak terjangkau oleh sebagian besar peneliti dan pengguna.
    • Penulis:
    • nama penulis
      Pandangan ke Depan Quantumrun
    • 21 Maret, 2023

    Pembelajaran mendalam (DL) telah terbukti menjadi solusi yang kompeten untuk beberapa tantangan dalam pengembangan kecerdasan buatan (AI). Namun, DL juga menjadi lebih mahal. Mengoperasikan jaringan syaraf dalam membutuhkan sumber daya pemrosesan yang tinggi, terutama di pra-pelatihan. Lebih buruk lagi, proses intensif energi ini berarti bahwa persyaratan ini menghasilkan jejak karbon yang besar, merusak peringkat ESG dari komersialisasi penelitian AI.

    Melatih konteks model AI

    Pra-pelatihan sekarang menjadi pendekatan paling populer untuk membangun jaringan saraf skala besar, dan telah menunjukkan keberhasilan besar dalam visi komputer (CV) dan pemrosesan bahasa alami (NLP). Namun, mengembangkan model DL besar menjadi terlalu mahal. Misalnya, melatih Generative Pre-trained Transformer 3 (GPT-3) OpenAI, yang memiliki 175 miliar parameter dan membutuhkan akses ke kluster server yang sangat besar dengan kartu grafis terbaik, diperkirakan menelan biaya sebesar USD $12 juta. Server yang kuat dan ratusan gigabyte memori akses acak video (VRAM) juga diperlukan untuk menjalankan model.

    Sementara perusahaan teknologi besar mungkin mampu membayar biaya pelatihan seperti itu, hal itu menjadi penghalang bagi perusahaan rintisan dan organisasi penelitian yang lebih kecil. Tiga faktor mendorong biaya ini. 

    1. Biaya komputasi yang besar, yang membutuhkan waktu beberapa minggu dengan ribuan unit pemrosesan grafis (GPU).

    2. Model yang disetel dengan baik membutuhkan penyimpanan yang sangat besar, biasanya menghabiskan ratusan gigabyte (GB). Selanjutnya, beberapa model untuk tugas yang berbeda perlu disimpan.

    3. Pelatihan model besar membutuhkan daya komputasi dan perangkat keras yang tepat; jika tidak, hasilnya mungkin tidak ideal.

    Karena biaya yang mahal, penelitian AI semakin dikomersialkan, di mana perusahaan Teknologi Besar memimpin studi di lapangan. Perusahaan-perusahaan ini juga berdiri untuk mendapatkan hasil maksimal dari temuan mereka. Sementara itu, lembaga penelitian dan nirlaba seringkali harus berkolaborasi dengan bisnis ini jika ingin melakukan penjajakan di lapangan. 

    Dampak yang mengganggu

    Ada bukti yang menunjukkan bahwa jaringan saraf dapat "dipangkas". Ini berarti bahwa dalam jaringan saraf super besar, grup yang lebih kecil dapat mencapai tingkat akurasi yang sama dengan model AI asli tanpa berdampak besar pada fungsinya. Misalnya, pada tahun 2020, peneliti AI di Swarthmore College dan Laboratorium Nasional Los Alamos mengilustrasikan bahwa meskipun model DL yang kompleks dapat belajar memprediksi langkah-langkah masa depan dalam Game of Life karya matematikawan John Conway, selalu ada jaringan saraf yang lebih kecil yang dapat diajarkan. untuk melakukan hal yang sama.

    Para peneliti menemukan bahwa jika mereka membuang banyak parameter model DL setelah menyelesaikan seluruh prosedur pelatihan, mereka dapat menguranginya hingga 10 persen dari ukuran aslinya dan tetap mencapai hasil yang sama. Beberapa perusahaan teknologi sudah mengompresi model AI mereka untuk menghemat ruang pada perangkat seperti laptop dan smartphone. Metode ini tidak hanya menghemat uang tetapi juga memungkinkan perangkat lunak berjalan tanpa koneksi internet dan mendapatkan hasil secara real-time. 

    Ada juga contoh ketika DL dimungkinkan pada perangkat yang ditenagai oleh baterai surya atau sel tombol, berkat jaringan saraf kecil. Namun, keterbatasan metode pruning adalah model masih perlu dilatih sepenuhnya sebelum dapat direduksi. Ada beberapa studi awal tentang himpunan bagian saraf yang dapat dilatih sendiri. Namun, akurasinya tidak sama dengan jaringan saraf super besar.

    Implikasi pelatihan model AI

    Implikasi yang lebih luas dari pelatihan model AI dapat mencakup: 

    • Peningkatan penelitian dalam berbagai metode pelatihan jaringan saraf; namun, kemajuan mungkin diperlambat karena kurangnya dana.
    • Teknologi besar terus mendanai laboratorium penelitian AI mereka, mengakibatkan lebih banyak konflik kepentingan.
    • Biaya pengembangan AI menciptakan kondisi untuk membentuk monopoli, membatasi kemampuan startup AI baru untuk bersaing secara independen dengan perusahaan teknologi yang sudah mapan. Skenario bisnis yang muncul mungkin melihat segelintir perusahaan teknologi besar mengembangkan model AI milik raksasa dan menyewakannya ke perusahaan AI yang lebih kecil sebagai layanan/utilitas.
    • Institusi penelitian, organisasi nirlaba, dan universitas didanai oleh teknologi besar untuk melakukan beberapa eksperimen AI atas nama mereka. Tren ini dapat menyebabkan lebih banyak brain drain dari akademisi ke perusahaan.
    • Meningkatnya tekanan bagi teknologi besar untuk menerbitkan dan secara teratur memperbarui pedoman etika AI mereka agar mereka bertanggung jawab atas proyek penelitian dan pengembangan mereka.
    • Melatih model AI menjadi lebih mahal karena daya komputasi yang lebih tinggi semakin dibutuhkan, yang menyebabkan lebih banyak emisi karbon.
    • Beberapa lembaga pemerintah berupaya mengatur data yang digunakan dalam pelatihan model AI raksasa ini. Selain itu, lembaga persaingan dapat membuat undang-undang yang memaksa model AI dengan ukuran tertentu agar dapat diakses oleh perusahaan domestik yang lebih kecil dalam upaya memacu inovasi UKM.

    Pertanyaan untuk dipertimbangkan

    • Jika Anda bekerja di sektor AI, bagaimana organisasi Anda mengembangkan model AI yang lebih ramah lingkungan?
    • Apa potensi konsekuensi jangka panjang dari model AI yang mahal?

    Referensi wawasan

    Tautan populer dan institusional berikut dirujuk untuk wawasan ini: