Fòmasyon AI modèl: Rechèch pou devlopman AI a pri ki ba

• otè:
• non otè

  Pwovizyon Quantumrun
• 21ye mas 2023

Aprantisaj pwofon (DL) pwouve yo dwe yon solisyon konpetan pou plizyè defi nan devlopman entèlijans atifisyèl (AI). Sepandan, DL tou ap vin pi chè. Opere rezo neral gwo twou san fon mande pou resous pwosesis segondè, patikilyèman nan pre-fòmasyon. Pi mal, pwosesis enèji entansif sa a vle di ke kondisyon sa yo lakòz gwo anprint kabòn, domaje evalyasyon ESG nan komèsyalizasyon rechèch AI.

Fòmasyon AI modèl kontèks

Pre-fòmasyon se kounye a apwòch ki pi popilè nan bati gwo-echèl rezo neral, epi li te montre anpil siksè nan vizyon òdinatè (CV) ak pwosesis lang natirèl (NLP). Sepandan, devlope gwo modèl DL te vin twò koute chè. Pou egzanp, fòmasyon OpenAI a Jeneratif Pre-antrene Transformer 3 (GPT-3), ki gen 175 milya paramèt epi ki bezwen aksè nan grap sèvè menmen ak kat grafik pi gwo, te gen yon pri estime nan USD $ 12 milyon dola. Yon sèvè pwisan ak dè santèn de gigaocte nan videyo memwa aksè o aza (VRAM) yo bezwen tou pou kouri modèl la.

Pandan ke gwo konpayi teknoloji yo ta ka kapab peye depans fòmasyon sa yo, li vin entèdi pou pi piti demaraj ak òganizasyon rechèch. Twa faktè kondwi depans sa a. 

1. Depans kalkil anpil, ki ta bezwen plizyè semèn ak dè milye de inite pwosesis grafik (GPU).

2. Modèl ki byen branche mande pou depo masiv, anjeneral, pran dè santèn de gigaocte (GB). Anplis de sa, plizyè modèl pou travay diferan bezwen estoke.

3. Fòmasyon gwo modèl mande pou egzak pouvwa enfòmatik ak pyès ki nan konpitè; otreman, rezilta yo ta ka pa ideyal.

Akòz depans entèdi, rechèch AI te vin de pli zan pli komèsyalize, kote konpayi Big Tech yo ap dirije etid yo nan domèn nan. Konpayi sa yo tou ap jwenn plis nan rezilta yo. Pandan se tan, enstitisyon rechèch ak òganizasyon san bi likratif yo souvan oblije kolabore ak biznis sa yo si yo vle fè eksplorasyon yo nan jaden an. 

Enpak deranje

Gen prèv ki sijere rezo neral yo ka "taye." Sa vle di ke nan rezo neral gwo, yon gwoup ki pi piti ka reyalize menm nivo presizyon ak modèl orijinal AI san gwo enpak sou fonksyonalite li yo. Pa egzanp, an 2020, chèchè AI nan Swarthmore College ak Los Alamos National Laboratory te montre ke menmsi yon modèl DL konplèks ka aprann predi etap nan lavni nan jwèt matematisyen John Conway nan jwèt lavi a, toujou gen yon pi piti rezo neral ki ka anseye. pou fè menm bagay la.

Chèchè yo te dekouvri ke si yo jete anpil paramèt nan yon modèl DL apre li fin ranpli pwosedi fòmasyon an antye, yo ka diminye li a 10 pousan nan gwosè orijinal li epi yo toujou reyalize menm rezilta a. Plizyè konpayi teknoloji yo deja konprese modèl AI yo pou ekonomize espas sou aparèy tankou laptops ak smartphones. Metòd sa a pa sèlman ekonomize lajan, men tou pèmèt lojisyèl an kouri san yon koneksyon entènèt epi jwenn rezilta an tan reyèl. 

Te gen tou ka kote DL te posib sou aparèy ki mache ak pil solè oswa selil bouton, gras a ti rezo neral. Sepandan, yon limit nan metòd la koupe se ke modèl la toujou bezwen yo dwe konplètman antrene anvan li ka redwi. Te gen kèk etid inisyal sou subsets neral ki ka resevwa fòmasyon poukont yo. Sepandan, presizyon yo pa menm ak sa yo ki nan rezo neral supersized.

Enplikasyon nan fòmasyon AI modèl

Enplikasyon pi laj nan fòmasyon AI modèl yo ka enkli: 

• Ogmantasyon rechèch nan diferan metòd fòmasyon rezo neral; sepandan, pwogrè ka ralanti pa mank de finansman.
• Gwo teknoloji kontinye finanse laboratwa rechèch AI yo, sa ki lakòz plis konfli enterè yo.
• Depans yo nan devlopman AI kreye kondisyon yo pou monopòl yo fòme, limite kapasite nan nouvo demaraj AI fè konpetisyon poukont yo ak konpayi teknoloji etabli yo. Yon senaryo biznis émergentes ka wè yon ti ponyen gwo konpayi teknoloji devlope modèl AI pwopriyetè jeyan ak lwe yo bay pi piti konpayi AI kòm yon sèvis / sèvis piblik.
• Enstitisyon rechèch, òganizasyon san bi likratif, ak inivèsite ke gwo teknoloji ap finanse pou fè kèk eksperyans AI sou non yo. Tandans sa a ka mennen nan plis sèvèl soti nan inivèsite nan kòporasyon yo.
• Ogmantasyon presyon pou gwo teknoloji pibliye epi mete ajou regilyèman direktiv etik AI yo pou rann yo responsab pou pwojè rechèch ak devlopman yo.
• Fòmasyon AI modèl vin pi chè kòm pi gwo pouvwa enfòmatik de pli zan pli mande, ki mennen nan plis emisyon kabòn.
• Gen kèk ajans gouvènman k ap eseye kontwole done yo itilize nan fòmasyon modèl AI jeyan sa yo. Epitou, ajans konpetisyon yo ka kreye lejislasyon ki fòse modèl AI nan yon sèten gwosè yo dwe aksesib a pi piti konpayi domestik nan yon efò pou ankouraje inovasyon SME.

Kesyon yo konsidere

• Si w ap travay nan sektè AI, ki jan òganizasyon w ap devlope modèl AI ki pi dirab pou anviwònman an?
• Ki konsekans potansyèl alontèm modèl AI chè yo?