Modelos de IA de treinamento: a busca pelo desenvolvimento de IA de baixo custo

• Autor:
• Nome do autor

  Previsão Quantumrun
• 21 de março de 2023

O deep learning (DL) provou ser uma solução competente para diversos desafios no desenvolvimento da inteligência artificial (IA). No entanto, o DL também está se tornando mais caro. A operação de redes neurais profundas requer altos recursos de processamento, principalmente no pré-treinamento. Pior ainda, este processo que consome muita energia significa que estes requisitos resultam em grandes pegadas de carbono, prejudicando as classificações ESG da comercialização da investigação em IA.

Contexto de modelos de IA de treinamento

O pré-treinamento é agora a abordagem mais popular para a construção de redes neurais em grande escala e tem demonstrado grande sucesso em visão computacional (CV) e processamento de linguagem natural (PNL). No entanto, o desenvolvimento de grandes modelos DL tornou-se muito caro. Por exemplo, o treinamento do Generative Pre-trained Transformer 3 (GPT-3) da OpenAI, que possui 175 bilhões de parâmetros e precisa de acesso a enormes clusters de servidores com placas gráficas de primeira linha, teve um custo estimado de US$ 12 milhões. Um servidor poderoso e centenas de gigabytes de memória de acesso aleatório de vídeo (VRAM) também são necessários para executar o modelo.

Embora as grandes empresas de tecnologia possam arcar com esses custos de treinamento, isso se torna proibitivo para pequenas startups e organizações de pesquisa. Três fatores impulsionam essa despesa. 

1. Extensos custos de computação, que exigiriam várias semanas com milhares de unidades de processamento gráfico (GPUs).

2. Modelos ajustados exigem armazenamento massivo, geralmente ocupando centenas de gigabytes (GBs). Além disso, vários modelos para diferentes tarefas precisam ser armazenados.

3. O treinamento de grandes modelos requer poder computacional e hardware precisos; caso contrário, os resultados podem não ser ideais.

Devido aos custos proibitivos, a pesquisa em IA tornou-se cada vez mais comercializada, e as grandes empresas de tecnologia lideram os estudos na área. Essas empresas também têm a ganhar ao máximo com suas descobertas. Entretanto, as instituições de investigação e as organizações sem fins lucrativos têm muitas vezes de colaborar com estas empresas se quiserem conduzir a sua exploração no terreno. 

Impacto disruptivo

Há evidências que sugerem que as redes neurais podem ser “podadas”. Isso significa que em redes neurais superdimensionadas, um grupo menor pode atingir o mesmo nível de precisão que o modelo original de IA sem grandes impactos em sua funcionalidade. Por exemplo, em 2020, pesquisadores de IA do Swarthmore College e do Laboratório Nacional de Los Alamos ilustraram que, embora um modelo DL complexo possa aprender a prever etapas futuras no Jogo da Vida do matemático John Conway, sempre há uma rede neural menor que pode ser ensinada fazer a mesma coisa.

Os pesquisadores descobriram que, se descartarem vários parâmetros de um modelo DL após a conclusão de todo o procedimento de treinamento, poderão reduzi-lo para 10% de seu tamanho original e ainda assim obter o mesmo resultado. Várias empresas de tecnologia já estão comprimindo seus modelos de IA para economizar espaço em dispositivos como laptops e smartphones. Este método não só economiza dinheiro, mas também permite que o software seja executado sem conexão com a Internet e obtenha resultados em tempo real. 

Houve também casos em que a DL foi possível em dispositivos alimentados por baterias solares ou células-botão, graças a pequenas redes neurais. No entanto, uma limitação do método de poda é que o modelo ainda precisa ser completamente treinado antes de poder ser reduzido. Houve alguns estudos iniciais sobre subconjuntos neurais que podem ser treinados por conta própria. No entanto, sua precisão não é a mesma das redes neurais superdimensionadas.

Implicações do treinamento de modelos de IA

Implicações mais amplas dos modelos de IA de treinamento podem incluir: 

• Aumento da pesquisa em diferentes métodos de treinamento de redes neurais; no entanto, o progresso pode ser retardado pela falta de financiamento.
• As grandes tecnologias continuam a financiar os seus laboratórios de investigação em IA, resultando em mais conflitos de interesses.
• Os custos do desenvolvimento da IA ​​criam as condições para a formação de monopólios, limitando a capacidade das novas startups de IA competirem de forma independente com empresas tecnológicas estabelecidas. Um cenário de negócios emergente poderá ver um punhado de grandes empresas de tecnologia desenvolvendo gigantescos modelos proprietários de IA e alugando-os para empresas menores de IA como um serviço/utilitário.
• Instituições de pesquisa, organizações sem fins lucrativos e universidades financiadas por grandes tecnologias para conduzir alguns experimentos de IA em seu nome. Esta tendência pode levar a uma maior fuga de cérebros do meio académico para as empresas.
• Aumento da pressão para que as grandes empresas de tecnologia publiquem e atualizem regularmente as suas diretrizes de ética em IA para torná-las responsáveis ​​pelos seus projetos de investigação e desenvolvimento.
• O treinamento de modelos de IA está se tornando mais caro à medida que maior poder de computação é cada vez mais necessário, levando a mais emissões de carbono.
• Algumas agências governamentais tentam regular os dados usados ​​no treinamento desses modelos gigantes de IA. Além disso, as agências de concorrência podem criar legislação que obrigue os modelos de IA de uma determinada dimensão a serem acessíveis às pequenas empresas nacionais, num esforço para estimular a inovação das PME.

Questões a considerar

• Se você trabalha no setor de IA, como sua organização está desenvolvendo modelos de IA mais sustentáveis ​​do ponto de vista ambiental?
• Quais são as potenciais consequências a longo prazo de modelos de IA dispendiosos?