Ẹkọ imudara pẹlu awọn esi eniyan: Atunse AI

• Nipa Author:
• Orukọ onkọwe

  Quantumrun Iwoju
• March 7, 2024

Akopọ oye

Ẹkọ imudara lati awọn esi eniyan (RLHF) jẹ ọna ikẹkọ itetisi atọwọda (AI) ti o ṣe atunṣe awọn awoṣe ti o dara ni lilo igbewọle eniyan lati ṣe deede wọn dara julọ pẹlu awọn ero eniyan. Ọna yii jẹ pẹlu ṣiṣẹda awoṣe ere lati awọn esi eniyan lati mu ilọsiwaju iṣẹ ti awọn awoṣe ti a ti kọkọ tẹlẹ. Lakoko ti o ṣe ileri fun AI ti o ni iduro, RLHF dojukọ awọn aiṣedeede ti o pọju ati iwulo fun awọn itọsọna iṣe.

Ẹkọ imudara pẹlu ọrọ asọye eniyan

Ẹkọ imudara lati awọn esi eniyan (RLHF) jẹ ọna fun ikẹkọ awọn awoṣe AI ti o ni ero lati ṣe deede wọn ni pẹkipẹki pẹlu awọn ero ati awọn ayanfẹ eniyan. RLHF daapọ ẹkọ imuduro pẹlu titẹ sii eniyan si awọn awoṣe ikẹkọ ẹrọ daradara-tune (ML). Ọna yii yatọ si ikẹkọ abojuto ati abojuto ati pe o n gba akiyesi pataki, ni pataki lẹhin OpenAI lo lati ṣe ikẹkọ awọn awoṣe bii InstructGPT ati ChatGPT.

Ero pataki lẹhin RLHF pẹlu awọn ipele bọtini mẹta. Ni akọkọ, awoṣe ti a ti kọ tẹlẹ ni a yan bi awoṣe akọkọ, eyiti o ṣe pataki fun awọn awoṣe ede nitori data nla ti o nilo fun ikẹkọ. Ẹlẹẹkeji, awoṣe ẹsan ti o yatọ ni a ṣẹda, eyiti o jẹ ikẹkọ nipa lilo awọn igbewọle eniyan (awọn eniyan ni a gbekalẹ pẹlu awọn abajade ti ipilẹṣẹ awoṣe ati beere lati ṣe ipo wọn da lori didara). Alaye ipo yii ti yipada si eto igbelewọn, eyiti awoṣe ere nlo lati ṣe iṣiro iṣẹ ṣiṣe ti awoṣe akọkọ. Ni ipele kẹta, awoṣe ere ṣe ayẹwo awọn abajade ti awoṣe akọkọ ati pese Dimegilio didara kan. Awoṣe akọkọ lẹhinna lo esi yii lati jẹki iṣẹ ṣiṣe iwaju rẹ.

Lakoko ti RLHF ṣe adehun ni imudara titete AI pẹlu ero inu eniyan, awọn idahun awoṣe tun le jẹ aiṣedeede tabi majele paapaa lẹhin titọ-itanran. Ni afikun, ilowosi eniyan jẹ o lọra ati gbowolori ni akawe si ẹkọ ti ko ni abojuto. Awọn ijiyan laarin awọn oluyẹwo eniyan ati awọn aibikita ti o pọju ninu awọn awoṣe ere tun jẹ awọn ifiyesi pataki. Bibẹẹkọ, laibikita awọn idiwọn wọnyi, iwadii siwaju ati idagbasoke ni aaye yii yoo jẹ ki awọn awoṣe AI jẹ ailewu, igbẹkẹle diẹ sii, ati anfani diẹ sii fun awọn olumulo. 

Ipa idalọwọduro

Itumọ pataki kan ti RLFH ni agbara rẹ lati ṣe agbero iduro diẹ sii ati awọn eto AI ihuwasi. Bi RLHF ṣe ngbanilaaye awọn awoṣe lati ni ibamu dara julọ pẹlu awọn iye eniyan ati idi, o le dinku awọn eewu ti o nii ṣe pẹlu akoonu ti ipilẹṣẹ AI ti o le jẹ ipalara, abosi, tabi aiṣedeede. Awọn ijọba ati awọn ara ilana le nilo lati fi idi awọn itọsọna ati awọn iṣedede mu RLHF ṣiṣẹ ni awọn eto AI lati rii daju lilo iwa wọn.

Fun awọn iṣowo, RLHF ṣafihan aye ti o niyelori lati jẹki awọn iriri alabara ati mu awọn iṣẹ ṣiṣe dara si. Awọn ile-iṣẹ le lo RLHF lati ṣe agbekalẹ awọn ọja ati iṣẹ ti AI-ṣiṣẹ ti o loye to dara julọ ati ṣaajo si awọn ayanfẹ alabara. Fun apẹẹrẹ, awọn iṣeduro ọja ti ara ẹni ati awọn ipolongo titaja ti a ṣe deede le di deede diẹ sii, nikẹhin ti o yori si itẹlọrun alabara ti o pọ si ati awọn oṣuwọn iyipada ti o ga julọ. Pẹlupẹlu, RLHF tun le ṣatunṣe awọn ilana inu, gẹgẹbi iṣakoso pq ipese ati ipinfunni awọn oluşewadi, nipa ṣiṣe ipinnu ipinnu ti o da lori data akoko gidi ati esi olumulo.

Ni itọju ilera, iwadii aisan ti AI-agbara ati awọn iṣeduro itọju le di igbẹkẹle diẹ sii ati aarin-alaisan. Ni afikun, awọn iriri ikẹkọ ti ara ẹni le jẹ imudara siwaju ni eto-ẹkọ, ni idaniloju pe awọn ọmọ ile-iwe gba atilẹyin ti a ṣe lati mu agbara eto-ẹkọ wọn pọ si. Awọn ijọba le nilo lati ṣe idoko-owo ni eto ẹkọ AI ati awọn eto ikẹkọ lati pese agbara oṣiṣẹ pẹlu awọn ọgbọn ti o nilo lati lo awọn anfani ti RLHF. 

Awọn ilolu ti ẹkọ imuduro pẹlu esi eniyan

Awọn ilolu to gbooro ti RLHF le pẹlu: 

• Alekun iṣootọ alabara ati ifaramọ, bi awọn ọja ati iṣẹ ti AI-ṣiṣẹ di diẹ sii ni ibamu si awọn ayanfẹ ẹni kọọkan.
• Ṣiṣẹda awọn iriri ẹkọ ti adani diẹ sii, ṣe iranlọwọ fun awọn ọmọ ile-iwe lati de agbara wọn ni kikun ati idinku awọn ela aṣeyọri ẹkọ.
• Ọja laala ti n ṣe iyipada bi adaṣe adaṣe ti RLHF ṣe n ṣatunṣe awọn iṣẹ ṣiṣe deede, ni agbara ṣiṣẹda awọn aye fun awọn oṣiṣẹ lati dojukọ awọn ipa iṣẹda diẹ sii ati idiju.
• Imudara sisẹ ede adayeba nipasẹ RLHF ti o yori si awọn ẹya iraye si imudara, ni anfani awọn ẹni-kọọkan pẹlu awọn alaabo ati igbega isọdi nla ni ibaraẹnisọrọ oni-nọmba.
• Ifilọlẹ ti RLHF ni abojuto ayika ati iṣakoso awọn oluşewadi ti n mu awọn akitiyan itọju to munadoko diẹ sii, idinku egbin ati atilẹyin awọn ibi-afẹde agbero.
• RLHF ni awọn ọna ṣiṣe iṣeduro ati ẹda akoonu ti o mu abajade ala-ilẹ media ti ara ẹni diẹ sii, fifun akoonu awọn olumulo ti o ni ibamu pẹlu awọn iwulo ati awọn iye wọn.
• Tiwantiwa ti AI nipasẹ RLHF nfi agbara fun awọn ile-iṣẹ kekere ati awọn ibẹrẹ lati lo awọn anfani ti imọ-ẹrọ AI, imudara imotuntun ati idije ni ile-iṣẹ imọ-ẹrọ.

Awọn ibeere lati ronu

• Bawo ni RLHF ṣe le ni ipa lori ọna ti a nlo pẹlu imọ-ẹrọ ni awọn igbesi aye ojoojumọ wa?
• Bawo ni RLHF ṣe le yi awọn ile-iṣẹ miiran pada?