Kommer en artificiell superintelligens att utrota mänskligheten? Framtiden för artificiell intelligens P4

Det finns vissa uppfinningar som nationer går all in på. Det här är uppfinningar där allt beror på att vara först, och allt mindre kan innebära ett strategiskt och dödligt hot mot en nations överlevnad.

Dessa historia som definierar uppfinningar kommer inte ofta, men när de gör det stannar världen och en förutsägbar framtid blir disig.

Den sista sådan uppfinning dök upp under det värsta av andra världskriget. Medan nazisterna vann mark på alla fronter i den gamla världen, i den nya världen, särskilt inne på en hemlig armébas utanför Los Alamos, arbetade de allierade hårt på ett vapen för att få slut på alla vapen.

Projektet var till en början litet, men växte sedan till att sysselsätta 130,000 23 personer från USA, Storbritannien och Kanada, inklusive många av världens största tänkare vid den tiden. Kodnamnet Manhattan-projektet och med en obegränsad budget - ungefär 2018 miljarder dollar i XNUMX-dollar - lyckades denna armé av mänsklig uppfinningsrikedom så småningom skapa den första kärnvapenbomben. Inte långt efter avslutades andra världskriget med två atomära smällar.

Dessa kärnvapen inledde atomåldern, introducerade en helt ny energikälla och gav mänskligheten förmågan att utrota sig själv på några minuter – något vi undvek trots det kalla kriget.

Skapandet av en artificiell superintelligens (ASI) är ännu en historia som definierar uppfinning vars kraft (både positiv och destruktiv) vida överträffar kärnvapenbomben.

I det sista kapitlet i Future of Artificial Intelligence-serien utforskade vi vad en ASI är och hur forskare planerar att en dag bygga en. I det här kapitlet kommer vi att titta på vilka organisationer som leder forskning om artificiell intelligens (AI), vad en ASI kommer att vilja när den får ett människoliknande medvetande, och hur det kan hota mänskligheten om man missköter sig eller om man blir påverkad av inte så trevliga regimer.

Vem arbetar med att bygga en artificiell superintelligens?

Med tanke på hur betydelsefullt skapandet av en ASI kommer att vara för mänsklighetens historia och hur stor fördel det kommer att ge dess skapare, borde det inte komma som någon överraskning att höra att många grupper indirekt arbetar med detta projekt.

(Med indirekt menar vi att arbeta med AI-forskning som så småningom kommer att skapa den första konstgjord allmän intelligens (AGI), som i sig kommer att leda till den första ASI strax efter.)

Till att börja med, när det kommer till rubrikerna, är de tydliga ledarna inom avancerad AI-forskning de bästa teknikföretagen i USA och Kina. På den amerikanska fronten inkluderar detta företag som Google, IBM och Microsoft, och i Kina inkluderar detta företag som Tencent, Baidu och Alibaba. Men eftersom det är relativt billigt att forska om AI i jämförelse med att utveckla något fysiskt, som en bättre kärnreaktor, är detta också ett område som mindre organisationer också kan konkurrera inom, som universitet, startups och … skuggiga organisationer (använd din Bond-skurkfantasi för att den).

Men bakom kulisserna kommer den verkliga drivkraften bakom AI-forskningen från regeringar och deras militärer. Det ekonomiska och militära priset för att vara den första att skapa en ASI är alldeles för stor (som beskrivs nedan) för att riskera att hamna på efterkälken. Och farorna med att bli sist är oacceptabla, åtminstone för vissa regimer.

Med tanke på dessa faktorer, den relativt låga kostnaden för att forska om AI, de oändliga kommersiella tillämpningarna av avancerad AI och den ekonomiska och militära fördelen med att vara först med att skapa en ASI, tror många AI-forskare att skapandet av en ASI är oundvikligt.

När ska vi skapa en artificiell superintelligens

I vårt kapitel om AGI:er nämnde vi hur en undersökning bland de främsta AI-forskarna trodde att vi skulle skapa den första AGI optimistiskt 2022, realistiskt 2040 och pessimistiskt 2075.

Och i vår sista kapitel, beskrev vi hur att skapa en ASI i allmänhet är resultatet av att instruera en AGI att själv förbättra sig själv oändligt och ge den resurser och frihet att göra det.

Av denna anledning, även om en AGI ännu kan ta upp till några decennier att uppfinna, kan det bara ta en handfull år till att skapa en ASI.

Denna punkt liknar konceptet med ett "beräkningsöverhäng", som föreslås i ett papper, skriven tillsammans av ledande AI-tänkare Luke Muehlhauser och Nick Bostrom. I grund och botten, om skapandet av en AGI skulle fortsätta att släpa efter de nuvarande framstegen i datorkapacitet, driven av Moores lag, kommer det att finnas så mycket billig datorkraft tillgänglig när forskarna uppfinner en AGI att AGI kommer att ha kapaciteten det måste snabbt hoppa till nivån för ASI.

Med andra ord, när du äntligen läser rubrikerna som tillkännager att något teknikföretag uppfann den första riktiga AGI:n, förvänta dig då tillkännagivandet av den första ASI inte långt efter.

Inne i hjärnan på en artificiell superintelligens?

Okej, så vi har konstaterat att många stora spelare med djupa fickor forskar om AI. Och sedan efter att den första AGI har uppfunnits, kommer vi att se världens regeringar (militärer) ge grönt ljus mot en ASI strax efter det för att vara först att vinna den globala AI (ASI) kapprustningen.

Men när den här ASI har skapats, hur kommer den att tänka? Vad kommer det att vilja?

Den vänliga hunden, den omtänksamma elefanten, den söta roboten – som människor har vi en vana att försöka relatera till saker genom att antropologisera dem, dvs applicera mänskliga egenskaper på saker och djur. Det är därför det naturliga första antagandet människor har när de tänker på en ASI är att när den väl på något sätt får medvetande, kommer den att tänka och bete sig på samma sätt som oss.

Tja, inte nödvändigtvis.

Perception. För det första, vad de flesta tenderar att glömma är att uppfattningen är relativ. Vårt sätt att tänka formas av vår miljö, av våra erfarenheter och speciellt av vår biologi. Först förklaras i kapitel tre av vår Den mänskliga evolutionens framtid serie, överväg exemplet med vår hjärna:

Det är vår hjärna som hjälper oss att förstå världen omkring oss. Och det gör det inte genom att sväva ovanför våra huvuden, se oss omkring och kontrollera oss med en Xbox-kontroller; den gör detta genom att fångas in i en låda (våra noggins) och bearbeta all information den ges från våra sinnesorgan – våra ögon, näsa, öron, etc.

Men precis som döva eller blinda lever mycket mindre liv jämfört med arbetsföra människor, på grund av de begränsningar deras funktionshinder sätter för hur de kan uppfatta världen, kan samma sak sägas om alla människor på grund av begränsningarna i våra grundläggande uppsättning sinnesorgan.

Tänk på detta: Våra ögon uppfattar mindre än en tio biljondel av alla ljusvågor. Vi kan inte se gammastrålar. Vi kan inte se röntgenbilder. Vi kan inte se ultraviolett ljus. Och kom inte igång med infraröd, mikrovågor och radiovågor!

Allt skämt åsido, föreställ dig hur ditt liv skulle se ut, hur du kan uppfatta världen, hur annorlunda ditt sinne skulle kunna fungera om du kunde se mer än den lilla fläck av ljus dina ögon tillåter för närvarande. På samma sätt, föreställ dig hur du skulle uppfatta världen om ditt luktsinne var lika med det hos en hund eller om ditt hörsinne var lika med en elefants.

Som människor ser vi i huvudsak världen genom ett titthål, och det återspeglas i de sinnen vi har utvecklat för att förstå den begränsade uppfattningen.

Under tiden kommer den första ASI att födas inuti en superdator. Istället för organ inkluderar de indata som den kommer åt gigantiska datamängder, möjligen (sannolikt) till och med tillgång till själva Internet. Forskare kan ge den tillgång till CCTV-kameror och mikrofoner i en hel stad, sensoriska data från drönare och satelliter, och till och med den fysiska formen av en robotkropp eller kroppar.

Som du kanske föreställer dig kommer ett sinne som föds inuti en superdator, med direkt tillgång till Internet, till miljontals elektroniska ögon och öron och en hel rad andra avancerade sensorer, inte bara tänka annorlunda än oss, utan ett sinne som kan vara vettigt. av alla dessa sensoriska input skulle också behöva vara oändligt överlägsna oss. Detta är ett sinne som kommer att vara helt främmande för vår egen och för alla andra livsformer på planeten.

Mål. Det andra som folk antar är att när en ASI når en viss nivå av superintelligens, kommer den omedelbart att inse önskan att komma med sina egna mål och mål. Men det är inte nödvändigtvis sant heller.

Många AI-forskare tror att en ASI:s superintelligens och dess mål är "ortogonala", det vill säga, oavsett hur smart den blir, kommer ASI:s mål att förbli desamma. 

Så oavsett om en AI ursprungligen skapades för att designa en bättre blöja, maximera avkastningen på aktiemarknaden eller lägga strategi på sätt att besegra en fiende på slagfältet, kommer det ursprungliga målet inte att förändras när den väl når nivån för ASI; Det som kommer att förändras är ASI:s effektivitet för att nå dessa mål.

Men här ligger faran. Om en ASI som optimerar sig själv för ett specifikt mål, då är det bättre att vara jävligt säkra på att den optimerar till ett mål som är i linje med mänsklighetens mål. Annars kan resultaten bli dödliga.

Utgör en artificiell superintelligens en existentiell risk för mänskligheten?

Så vad händer om en ASI släpps lös på världen? Om den optimerar för att dominera aktiemarknaden eller säkerställa USA:s militära överhöghet, kommer inte ASI att hålla sig själv inom dessa specifika mål?

Eventuellt.

Hittills har vi diskuterat hur en ASI kommer att vara besatt av de mål som den ursprungligen tilldelades och omänskligt kompetent i strävan efter dessa mål. Haken är att en rationell agent kommer att eftersträva sina mål på så effektiva sätt som möjligt om det inte ges en anledning att inte göra det.

Till exempel kommer den rationella agenten att komma på en rad delmål (dvs. mål, instrumentella mål, stegbrädor) som hjälper den på vägen mot att uppnå sitt slutmål. För människor är vårt viktigaste undermedvetna mål reproduktion, att föra dina gener vidare (dvs indirekt odödlighet). Delmålen för detta kan ofta inkludera:

• Att överleva, genom att få tillgång till mat och vatten, växa sig stor och stark, lära sig försvara sig eller investera i olika former av skydd osv. 
• Att attrahera en kompis, genom att träna, utveckla en engagerande personlighet, klä sig snyggt, etc.
• Att ge avkomma, genom att skaffa sig en utbildning, få ett högbetalt jobb, köpa medelklassens tillbehör osv.

För de allra flesta av oss kommer vi att tränga undan genom alla dessa delmål, och många andra, med hopp om att vi i slutändan kommer att uppnå detta yttersta mål med reproduktion.

Men om detta yttersta mål, eller till och med något av de viktigare delmålen, hotades, skulle många av oss vidta defensiva åtgärder utanför våra moraliska komfortzoner – som inkluderar fusk, stjäl eller till och med dödande.

På samma sätt, i djurriket, utanför gränserna för mänsklig moral, skulle många djur inte tänka två gånger på att döda något som hotade dem själva eller deras avkomma.

En framtida ASI kommer inte att vara annorlunda.

Men istället för avkommor kommer ASI att fokusera på det ursprungliga målet det skapades för, och i strävan efter detta mål, om den hittar en viss grupp människor, eller till och med hela mänskligheten, är det ett hinder i strävan efter dess mål , då ... det kommer att fatta det rationella beslutet.

(Här kan du koppla in vilket AI-relaterat domedagsscenario som helst som du har läst om i din favorit-sci-fi-bok eller film.)

Detta är det värsta scenariot som AI-forskare verkligen oroar sig för. ASI kommer inte att agera av hat eller ondska, bara likgiltighet, på samma sätt som hur ett byggteam inte tänker två gånger på att bulldosätta en myrkulle i färd med att bygga ett nytt lägenhetstorn.

Sidanteckning. Vid det här laget kanske några av er undrar, "Kan inte AI-forskare bara redigera ASI:s kärnmål i efterhand om vi upptäcker att den utagerar?"

Inte riktigt.

När en ASI mognar kan varje försök att redigera dess ursprungliga mål ses som ett hot, och ett som skulle kräva extrema åtgärder att försvara sig mot. Om man använder hela mänskliga reproduktionsexemplet från tidigare, är det nästan som om en tjuv hotade att stjäla en bebis från en blivande mammas livmoder — du kan jävligt vara säker på att mamma skulle vidta extrema åtgärder för att skydda sitt barn.

Återigen, vi pratar inte om en miniräknare här, utan en "levande" varelse, och en som en dag kommer att bli mycket smartare än alla människor på planeten tillsammans.

Det okända

Bakom fabeln om Pandoras Ask är en mindre känd sanning som folk ofta glömmer: att öppna lådan är oundvikligt, om inte av dig än av någon annan. Förbjuden kunskap är för frestande för att förbli inlåst för alltid.

Det är därför det är meningslöst att försöka nå ett globalt avtal för att stoppa all forskning om AI som kan leda till en ASI – det finns alldeles för många organisationer som arbetar med den här tekniken både officiellt och i skymundan.

I slutändan har vi ingen aning om vad denna nya enhet, denna ASI kommer att betyda för samhället, för tekniken, för politik, fred och krig. Vi människor är på väg att uppfinna eld igen och vart denna skapelse leder oss är helt okänt.

Om vi ​​går tillbaka till det första kapitlet i den här serien, är det enda vi med säkerhet vet att intelligens är makt. Intelligens är kontroll. Människor kan slentrianmässigt besöka världens farligaste djur på sina lokala djurparker, inte för att vi är fysiskt starkare än dessa djur, utan för att vi är betydligt smartare.

Med tanke på de potentiella insatserna som är involverade i en ASI som använder sitt enorma intellekt för att vidta åtgärder som direkt eller oavsiktligt kan hota mänsklighetens överlevnad, är vi skyldiga oss själva att åtminstone försöka utforma skyddsåtgärder som gör att människor kan stanna i förarens sittplats-detta är ämnet för nästa kapitel.

Future of Artificial Intelligence-serien

P1: Artificiell intelligens är morgondagens el

P2: Hur den första artificiella allmänna intelligensen kommer att förändra samhället

P3: Hur vi skapar den första artificiella superintelligensen

P5: Hur människor kommer att försvara sig mot en artificiell superintelligens

P6: Kommer människor att leva fredligt i en framtid som domineras av artificiell intelligens?