학습 AI 모델 검색 저비용 AI 개발

이미지 크레딧:

iStock

AI 모델 교육: 저비용 AI 개발 검색

인공 지능 모델은 구축하고 훈련하는 데 비용이 많이 드는 것으로 악명 높기 때문에 대부분의 연구자와 사용자가 접근할 수 없습니다.

저자:
저자 이름
퀀텀런 예측
2023 년 3 월 21 일

딥 러닝(DL)은 인공 지능(AI) 개발의 여러 과제에 대한 유능한 솔루션임이 입증되었습니다. 그러나 DL도 점점 더 비싸지고 있습니다. 심층 신경망을 작동하려면 특히 사전 훈련에서 높은 처리 리소스가 필요합니다. 설상가상으로 이 에너지 집약적 프로세스는 이러한 요구 사항으로 인해 큰 탄소 발자국이 발생하여 AI 연구 상업화의 ESG 등급이 손상된다는 것을 의미합니다.

AI 모델 컨텍스트 교육

사전 훈련은 이제 대규모 신경망을 구축하는 데 가장 널리 사용되는 접근 방식이며 컴퓨터 비전(CV) 및 자연어 처리(NLP)에서 큰 성공을 거두었습니다. 그러나 거대한 DL 모델을 개발하는 데 너무 많은 비용이 듭니다. 예를 들어, 3억 개의 매개변수가 있고 최고 수준의 그래픽 카드로 거대한 서버 클러스터에 액세스해야 하는 OpenAI의 GPT-3(Generative Pre-trained Transformer 175) 교육에는 미화 12만 달러의 추정 비용이 들었습니다. 모델을 실행하려면 강력한 서버와 수백 기가바이트의 VRAM(Video Random Access Memory)도 필요합니다.

주요 기술 회사는 그러한 교육 비용을 감당할 수 있지만 소규모 신생 기업 및 연구 조직에는 금지됩니다. 세 가지 요인이 이 비용을 발생시킵니다.

1. 수천 개의 그래픽 처리 장치(GPU)로 몇 주가 소요되는 광범위한 계산 비용.

2. 미세 조정된 모델에는 일반적으로 수백 기가바이트(GB)를 차지하는 대용량 스토리지가 필요합니다. 또한 다양한 작업을 위한 여러 모델을 저장해야 합니다.

3. 대형 모델을 교육하려면 정확한 계산 능력과 하드웨어가 필요합니다. 그렇지 않으면 결과가 이상적이지 않을 수 있습니다.

막대한 비용으로 인해 AI 연구는 점차 상업화되었으며 Big Tech 회사가 해당 분야의 연구를 주도하고 있습니다. 이 회사들은 또한 그들의 연구 결과로부터 가장 많은 이익을 얻을 것입니다. 한편, 연구 기관과 비영리 단체는 해당 분야에서 탐색을 수행하려는 경우 이러한 기업과 협력해야 하는 경우가 많습니다.

파괴적 영향

신경망이 "가지치기"될 수 있다는 증거가 있습니다. 이는 초대형 신경망 내에서 더 작은 그룹이 기능에 큰 영향을 주지 않고 원래 AI 모델과 동일한 수준의 정확도를 달성할 수 있음을 의미합니다. 예를 들어, 2020년에 Swarthmore College와 Los Alamos National Laboratory의 AI 연구원은 복잡한 DL 모델이 수학자 John Conway의 Game of Life에서 미래 단계를 예측하는 방법을 학습할 수 있지만 항상 가르칠 수 있는 더 작은 신경망이 있음을 설명했습니다. 같은 일을 할 수 있습니다.

연구원들은 전체 교육 절차를 완료한 후 DL 모델의 수많은 매개변수를 폐기하면 원래 크기의 10%로 축소해도 동일한 결과를 얻을 수 있음을 발견했습니다. 여러 기술 회사는 이미 AI 모델을 압축하여 랩톱 및 스마트폰과 같은 장치의 공간을 절약하고 있습니다. 이 방법은 비용을 절약할 뿐만 아니라 인터넷 연결 없이 소프트웨어를 실행하고 실시간으로 결과를 얻을 수 있습니다.

작은 신경망 덕분에 태양 전지 또는 버튼 셀로 구동되는 장치에서 DL이 가능한 경우도 있었습니다. 그러나 가지치기 방법의 한계는 모형을 축소하기 전에 완전히 훈련해야 한다는 것입니다. 자체적으로 훈련할 수 있는 신경 하위 집합에 대한 몇 가지 초기 연구가 있었습니다. 그러나 그 정확도는 초대형 신경망의 정확도와 같지 않습니다.

AI 모델 교육의 의미

AI 모델 훈련의 더 넓은 의미는 다음과 같습니다.

다양한 신경망 훈련 방법에 대한 연구 증가 그러나 자금 부족으로 진행이 느려질 수 있습니다.
Big Tech는 계속해서 AI 연구실에 자금을 지원하여 더 많은 이해 상충을 초래합니다.
독점이 형성될 수 있는 조건을 만드는 AI 개발 비용은 새로운 AI 스타트업이 기존 기술 회사와 독립적으로 경쟁할 수 있는 능력을 제한합니다. 새로운 비즈니스 시나리오에서는 거대한 독점 AI 모델을 개발하고 소규모 AI 회사에 서비스/유틸리티로 임대하는 소수의 대규모 기술 회사를 볼 수 있습니다.
연구 기관, 비영리 단체 및 대학은 대기업을 대신하여 일부 AI 실험을 수행하기 위해 거대 기술 자금을 지원받습니다. 이러한 추세는 학계에서 기업으로 더 많은 두뇌 유출로 이어질 수 있습니다.
빅 테크 기업이 연구 개발 프로젝트에 대한 책임을 지도록 AI 윤리 지침을 게시하고 정기적으로 업데이트해야 한다는 압박이 증가했습니다.
더 높은 컴퓨팅 성능이 점점 더 많이 요구됨에 따라 AI 모델을 교육하는 데 비용이 더 많이 들고 더 많은 탄소 배출량이 발생합니다.
일부 정부 기관은 이러한 거대한 AI 모델의 교육에 사용되는 데이터를 규제하려고 합니다. 또한 경쟁 기관은 중소기업 혁신을 촉진하기 위해 국내 중소기업이 특정 크기의 AI 모델에 액세스할 수 있도록 하는 법안을 만들 수 있습니다.