Adestramento de modelos de IA: a busca de desenvolvemento de IA de baixo custo

• autor:
• nome do autor

  Previsión de Quantumrun
• Marzo 21, 2023

A aprendizaxe profunda (DL) demostrou ser unha solución competente para varios desafíos no desenvolvemento da intelixencia artificial (IA). Non obstante, o DL tamén se está facendo máis caro. O funcionamento de redes neuronais profundas require recursos de procesamento elevados, especialmente no adestramento previo. Peor aínda, este proceso de uso intensivo de enerxía significa que estes requisitos dan lugar a grandes pegadas de carbono, que danan as clasificacións ESG da comercialización da investigación da IA.

Contexto de modelos de IA de formación

O adestramento previo é agora o enfoque máis popular para construír redes neuronais a gran escala e mostrou un gran éxito en visión por ordenador (CV) e procesamento da linguaxe natural (PNL). Non obstante, o desenvolvemento de modelos DL enormes volveuse demasiado custoso. Por exemplo, o adestramento do Generative Pre-Trained Transformer 3 (GPT-3) de OpenAI, que ten 175 millóns de parámetros e necesita acceso a enormes clústeres de servidores con tarxetas gráficas de primeira calidade, tivo un custo estimado de 12 millóns de dólares. Tamén son necesarios un servidor potente e centos de gigabytes de memoria de acceso aleatorio de vídeo (VRAM) para executar o modelo.

Aínda que as grandes empresas tecnolóxicas poden pagar tales custos de formación, tórnase prohibitivo para as pequenas empresas e organizacións de investigación. Tres factores impulsan este gasto. 

1. Custos de cálculo extensos, que necesitarían varias semanas con miles de unidades de procesamento gráfico (GPU).

2. Os modelos afinados requiren un almacenamento masivo, que normalmente ocupan centos de gigabytes (GB). Ademais, hai que almacenar varios modelos para diferentes tarefas.

3. O adestramento de modelos grandes require unha potencia computacional e un hardware precisos; se non, os resultados poden non ser ideais.

Debido aos custos prohibitivos, a investigación da intelixencia artificial comercializouse cada vez máis, onde as empresas de grandes tecnoloxías lideran os estudos no campo. Estas empresas tamén están a gañar o máximo dos seus descubrimentos. Mentres tanto, as institucións de investigación e as organizacións sen ánimo de lucro adoitan ter que colaborar con estas empresas se queren realizar a súa exploración no campo. 

Impacto perturbador

Hai evidencias que suxiren que as redes neuronais poden ser "podadas". Isto significa que dentro de redes neuronais de gran tamaño, un grupo máis pequeno pode acadar o mesmo nivel de precisión que o modelo orixinal de IA sen grandes impactos na súa funcionalidade. Por exemplo, en 2020, os investigadores de IA do Swarthmore College e do Los Alamos National Laboratory demostraron que, aínda que un modelo complexo de DL pode aprender a predecir pasos futuros no Game of Life do matemático John Conway, sempre hai unha rede neuronal máis pequena que se pode ensinar. facer o mesmo.

Os investigadores descubriron que se descartan numerosos parámetros dun modelo DL despois de completar todo o procedemento de adestramento, poden reducilo ao 10 por cento do seu tamaño orixinal e aínda así conseguir o mesmo resultado. Varias empresas tecnolóxicas xa están comprimindo os seus modelos de IA para aforrar espazo en dispositivos como portátiles e teléfonos intelixentes. Este método non só aforra diñeiro, senón que tamén permite que o software funcione sen conexión a Internet e obteña resultados en tempo real. 

Tamén houbo casos nos que DL era posible en dispositivos alimentados con baterías solares ou pilas botón, grazas a pequenas redes neuronais. Non obstante, unha limitación do método de poda é que aínda hai que adestrar completamente o modelo antes de que se poida reducir. Houbo algúns estudos iniciais sobre subconxuntos neuronais que se poden adestrar por si mesmos. Non obstante, a súa precisión non é a mesma que as das redes neuronais superdimensionadas.

Implicacións do adestramento de modelos de IA

As implicacións máis amplas do adestramento de modelos de IA poden incluír: 

• Aumento da investigación en diferentes métodos de adestramento de redes neuronais; con todo, o progreso pode verse retardado pola falta de financiamento.
• A gran tecnoloxía segue financiando os seus laboratorios de investigación de IA, o que provoca máis conflitos de intereses.
• Os custos do desenvolvemento da IA ​​crean as condicións para que se formen monopolios, limitando a capacidade das novas empresas de IA para competir de forma independente coas empresas tecnolóxicas establecidas. Un escenario empresarial emerxente pode ver un puñado de grandes empresas tecnolóxicas desenvolvendo modelos de IA propietarios xigantes e alugándoos a empresas de IA máis pequenas como servizo/utilidade.
• Institucións de investigación, organizacións sen ánimo de lucro e universidades financiadas pola gran tecnoloxía para realizar algúns experimentos de IA no seu nome. Esta tendencia pode levar a unha maior fuga de cerebros do mundo académico ás corporacións.
• Aumento da presión para que as grandes tecnoloxías publiquen e actualicen regularmente as súas directrices de ética da IA ​​para que sexan responsables dos seus proxectos de investigación e desenvolvemento.
• Os modelos de IA de adestramento son cada vez máis caros a medida que se require unha maior potencia de cálculo, o que leva a máis emisións de carbono.
• Algunhas axencias gobernamentais que intentan regular os datos utilizados no adestramento destes modelos xigantes de IA. Así mesmo, as axencias de competencia poden crear lexislacións que obriguen a que os modelos de IA de certo tamaño sexan accesibles ás empresas nacionais máis pequenas nun esforzo por estimular a innovación das pemes.

Preguntas a ter en conta

• Se traballas no sector da IA, como está a desenvolver a túa organización modelos de IA máis sostibles para o medio ambiente?
• Cales son as posibles consecuencias a longo prazo dos caros modelos de IA?