Models d'IA de formació: la recerca de desenvolupament d'IA de baix cost

• autor:
• nom de l'autor

  Previsió de Quantumrun
• Març 21, 2023

L'aprenentatge profund (DL) ha demostrat ser una solució competent per a diversos reptes en el desenvolupament de la intel·ligència artificial (IA). Tanmateix, DL també s'està tornant més car. El funcionament de xarxes neuronals profundes requereix recursos de processament elevats, especialment en la formació prèvia. Pitjor encara, aquest procés intensiu energètic significa que aquests requisits donen lloc a grans petjades de carboni, danyant les qualificacions ESG de la comercialització de la investigació d'IA.

Context de models d'IA de formació

La formació prèvia és ara l'enfocament més popular per construir xarxes neuronals a gran escala, i ha mostrat un gran èxit en visió per ordinador (CV) i processament del llenguatge natural (NLP). Tanmateix, el desenvolupament de grans models de DL s'ha tornat massa costós. Per exemple, l'entrenament del Generative Pre-Trained Transformer 3 (GPT-3) d'OpenAI, que té 175 milions de paràmetres i necessita accés a enormes clústers de servidors amb targetes gràfiques de primer nivell, va tenir un cost estimat de 12 milions de dòlars. També es necessita un servidor potent i centenars de gigabytes de memòria d'accés aleatori de vídeo (VRAM) per executar el model.

Tot i que les grans empreses tecnològiques poden pagar aquests costos de formació, esdevé prohibitiu per a empreses emergents i organitzacions de recerca més petites. Tres factors determinen aquesta despesa. 

1. Costos de càlcul extensos, que necessitarien diverses setmanes amb milers d'unitats de processament gràfic (GPU).

2. Els models ajustats requereixen un emmagatzematge massiu, que normalment ocupen centenars de gigabytes (GB). A més, cal emmagatzemar diversos models per a diferents tasques.

3. L'entrenament de grans models requereix una potència computacional precisa i un maquinari; en cas contrari, els resultats podrien no ser ideals.

A causa dels costos prohibitius, la investigació en IA s'ha comercialitzat cada cop més, on les empreses de Big Tech lideren els estudis en aquest camp. Aquestes empreses també poden obtenir el màxim benefici dels seus descobriments. Mentrestant, les institucions de recerca i les organitzacions sense ànim de lucre sovint han de col·laborar amb aquestes empreses si volen dur a terme la seva exploració en el camp. 

Impacte disruptiu

Hi ha proves que suggereixen que les xarxes neuronals es poden "podar". Això vol dir que dins de xarxes neuronals de grans dimensions, un grup més petit pot assolir el mateix nivell de precisió que el model d'IA original sense grans impactes en la seva funcionalitat. Per exemple, el 2020, els investigadors d'IA del Swarthmore College i del Laboratori Nacional de Los Alamos van il·lustrar que tot i que un model complex de DL pot aprendre a predir passos futurs en el joc de la vida del matemàtic John Conway, sempre hi ha una xarxa neuronal més petita que es pot ensenyar. per fer el mateix.

Els investigadors van descobrir que si descarten nombrosos paràmetres d'un model DL després d'haver completat tot el procediment d'entrenament, poden reduir-lo al 10 per cent de la seva mida original i encara aconseguir el mateix resultat. Diverses empreses tecnològiques ja estan comprimint els seus models d'IA per estalviar espai en dispositius com portàtils i telèfons intel·ligents. Aquest mètode no només estalvia diners, sinó que també permet que el programari funcioni sense connexió a Internet i obtingui resultats en temps real. 

També hi va haver casos en què DL era possible en dispositius alimentats amb bateries solars o piles de botó, gràcies a petites xarxes neuronals. Tanmateix, una limitació del mètode de poda és que el model encara s'ha d'entrenar completament abans que es pugui reduir. Hi va haver alguns estudis inicials sobre subconjunts neuronals que es poden entrenar per si mateixos. Tanmateix, la seva precisió no és la mateixa que la de les xarxes neuronals de grans dimensions.

Implicacions de la formació de models d'IA

Les implicacions més àmplies de la formació de models d'IA poden incloure: 

• Augment de la recerca en diferents mètodes d'entrenament de xarxes neuronals; tanmateix, el progrés podria veure's alentit per la manca de finançament.
• Les grans tecnologies continuen finançant els seus laboratoris de recerca d'IA, donant lloc a més conflictes d'interessos.
• Els costos del desenvolupament de la IA creen les condicions perquè es creïn monopolis, limitant la capacitat de les noves empreses d'IA per competir de manera independent amb les empreses tecnològiques establertes. Un escenari empresarial emergent pot veure un grapat de grans empreses tecnològiques que desenvolupin models d'IA patentats gegants i els lloguin a empreses d'IA més petites com a servei/utilitat.
• Institucions de recerca, organitzacions sense ànim de lucre i universitats finançades per grans tecnologies per dur a terme alguns experiments d'IA en nom seu. Aquesta tendència pot provocar una major fuga de cervells de l'àmbit acadèmic a les corporacions.
• Augment de la pressió perquè les grans tecnologies publiquin i actualitzin regularment les seves directrius ètiques d'IA per fer-los responsables dels seus projectes de recerca i desenvolupament.
• Els models d'IA d'entrenament són cada cop més cars a mesura que cada cop es requereix més potència de càlcul, la qual cosa comporta més emissions de carboni.
• Algunes agències governamentals intenten regular les dades utilitzades en la formació d'aquests models gegants d'IA. A més, les agències de competència poden crear una legislació que obligui els models d'IA d'una certa mida a ser accessibles a les empreses nacionals més petites en un esforç per estimular la innovació de les pimes.

Preguntes a tenir en compte

• Si treballes al sector de la IA, com està la teva organització desenvolupant models d'IA més sostenibles amb el medi ambient?
• Quines són les conseqüències potencials a llarg termini dels costosos models d'IA?