Une superintelligence artificielle exterminera-t-elle l'humanité ? L'avenir de l'intelligence artificielle P4

Il y a certaines inventions que les nations font à fond. Ce sont des inventions où tout dépend d'être le premier, et rien de moins pourrait signifier une menace stratégique et mortelle pour la survie d'une nation.

Ces inventions définissant l'histoire ne se produisent pas souvent, mais quand elles le font, le monde s'arrête et un avenir prévisible devient flou.

La dernière invention de ce type a émergé pendant le pire de la Seconde Guerre mondiale. Alors que les nazis gagnaient du terrain sur tous les fronts de l'ancien monde, dans le nouveau monde, en particulier à l'intérieur d'une base militaire secrète à l'extérieur de Los Alamos, les Alliés travaillaient dur sur une arme pour mettre fin à toutes les armes.

Le projet était petit au début, mais a ensuite grandi pour employer 130,000 23 personnes des États-Unis, du Royaume-Uni et du Canada, dont plusieurs des plus grands penseurs du monde à l'époque. Baptisée Manhattan Project et dotée d'un budget illimité - environ 2018 milliards de dollars en dollars de XNUMX - cette armée d'ingéniosité humaine a finalement réussi à créer la première bombe nucléaire. Peu de temps après, la Seconde Guerre mondiale s'est terminée par deux détonations atomiques.

Ces armes nucléaires ont inauguré l'ère atomique, ont introduit une source d'énergie profondément nouvelle et ont donné à l'humanité la capacité de s'exterminer en quelques minutes, ce que nous avons évité malgré la guerre froide.

La création d'une superintelligence artificielle (ASI) est encore une autre invention définissant l'histoire dont la puissance (à la fois positive et destructrice) dépasse de loin la bombe nucléaire.

Dans le dernier chapitre de la série Future of Artificial Intelligence, nous avons exploré ce qu'est un ASI et comment les chercheurs envisagent d'en construire un jour. Dans ce chapitre, nous examinerons quelles organisations mènent des recherches sur l'intelligence artificielle (IA), ce qu'un ASI voudra une fois qu'il aura acquis une conscience de type humain et comment il pourrait menacer l'humanité s'il est mal géré ou si l'on tombe sous l'influence de des régimes pas si gentils.

Qui travaille à construire une superintelligence artificielle ?

Compte tenu de l'importance que la création d'une ASI aura pour l'histoire humaine et de l'importance de l'avantage qu'elle apportera à son créateur, il ne faut pas s'étonner d'apprendre que de nombreux groupes travaillent indirectement sur ce projet.

(Par indirectement, nous entendons travailler sur la recherche en IA qui finira par créer le premier intelligence générale artificielle (AGI), qui conduira lui-même au premier ASI peu de temps après.)

Pour commencer, en ce qui concerne les gros titres, les leaders incontestés de la recherche avancée sur l'IA sont les principales entreprises de technologie aux États-Unis et en Chine. Aux États-Unis, cela inclut des entreprises comme Google, IBM et Microsoft, et en Chine, cela inclut des entreprises comme Tencent, Baidu et Alibaba. Mais comme la recherche sur l'IA est relativement bon marché par rapport au développement de quelque chose de physique, comme un meilleur réacteur nucléaire, c'est aussi un domaine dans lequel les petites organisations peuvent également rivaliser, comme les universités, les startups et… les organisations obscures (utilisez votre imagination de méchant Bond pour Celui-la).

Mais dans les coulisses, la véritable poussée derrière la recherche sur l'IA vient des gouvernements et de leurs armées. Le prix économique et militaire d'être le premier à créer une ASI est tout simplement trop grand (décrit ci-dessous) pour risquer de prendre du retard. Et les dangers d'être les derniers sont inacceptables, du moins pour certains régimes.

Compte tenu de ces facteurs, du coût relativement faible de la recherche sur l'IA, des applications commerciales infinies de l'IA avancée et de l'avantage économique et militaire d'être le premier à créer une ASI, de nombreux chercheurs en IA pensent que la création d'une ASI est inévitable.

Quand allons-nous créer une superintelligence artificielle

Dans notre chapitre sur les AGI, nous avons mentionné comment une enquête auprès des meilleurs chercheurs en IA pensait que nous créerions le premier AGI de manière optimiste d'ici 2022, de manière réaliste d'ici 2040 et de manière pessimiste d'ici 2075.

Et dans notre dernier chapitre, nous avons expliqué comment la création d'un ASI est généralement le résultat de l'instruction d'un AGI de s'auto-améliorer à l'infini et de lui donner les ressources et la liberté de le faire.

Pour cette raison, alors qu'une AGI peut encore prendre jusqu'à quelques décennies pour être inventée, la création d'une ASI peut ne prendre que quelques années de plus.

Ce point est similaire au concept de « surplomb informatique », suggéré dans un document, co-écrit par les principaux penseurs de l'IA Luke Muehlhauser et Nick Bostrom. Fondamentalement, si la création d'un AGI continue à être à la traîne par rapport aux progrès actuels de la capacité de calcul, alimentée par la loi de Moore, alors au moment où les chercheurs inventent un AGI, il y aura tellement de puissance de calcul bon marché disponible que l'AGI aura la capacité il doit passer rapidement au niveau de l'ASI.

En d'autres termes, lorsque vous lisez enfin les gros titres annonçant qu'une entreprise technologique a inventé le premier véritable AGI, attendez-vous à l'annonce du premier ASI peu de temps après.

Dans l'esprit d'une superintelligence artificielle ?

D'accord, nous avons donc établi que beaucoup de gros joueurs aux poches profondes font des recherches sur l'IA. Et puis, après l'invention de la première AGI, nous verrons les gouvernements mondiaux (militaires) donner le feu vert à la poussée vers une ASI peu de temps après pour être les premiers à remporter la course mondiale aux armements de l'IA (ASI).

Mais une fois cet ASI créé, comment va-t-il penser ? Que voudra-t-il ?

Le chien amical, l'éléphant attentionné, le robot mignon - en tant qu'humains, nous avons l'habitude d'essayer d'établir un lien avec les choses en les anthropologisant, c'est-à-dire en appliquant des caractéristiques humaines aux choses et aux animaux. C'est pourquoi la première hypothèse naturelle que les gens ont lorsqu'ils pensent à un ASI est qu'une fois qu'il aura pris conscience d'une manière ou d'une autre, il pensera et se comportera de la même manière que nous.

Eh bien, pas nécessairement.

Perception. D'une part, ce que la plupart ont tendance à oublier, c'est que la perception est relative. Nos façons de penser sont façonnées par notre environnement, par nos expériences et surtout par notre biologie. expliqué pour la première fois dans chapitre trois de notre Avenir de l'évolution humaine série, considérons l'exemple de notre cerveau :

C'est notre cerveau qui nous aide à donner un sens au monde qui nous entoure. Et il ne le fait pas en flottant au-dessus de nos têtes, en regardant autour de nous et en nous contrôlant avec une manette Xbox ; il le fait en étant piégé à l'intérieur d'une boîte (nos noggins) et en traitant toutes les informations qu'il reçoit de nos organes sensoriels - nos yeux, notre nez, nos oreilles, etc.

Mais tout comme les sourds ou les aveugles vivent des vies beaucoup plus petites que les personnes valides, en raison des limites que leur handicap impose à la façon dont ils peuvent percevoir le monde, la même chose peut être dite pour tous les humains en raison des limites de notre base. ensemble d'organes sensoriels.

Considérez ceci : nos yeux perçoivent moins d'un dix-billionième de toutes les ondes lumineuses. Nous ne pouvons pas voir les rayons gamma. On ne voit pas les rayons X. Nous ne pouvons pas voir la lumière ultraviolette. Et ne me lancez pas sur l'infrarouge, les micro-ondes et les ondes radio !

Blague à part, imaginez à quoi ressemblerait votre vie, comment vous pourriez percevoir le monde, à quel point votre esprit pourrait fonctionner différemment si vous pouviez voir plus que le minuscule éclat de lumière que vos yeux permettent actuellement. De même, imaginez comment vous percevriez le monde si votre sens de l'odorat était égal à celui d'un chien ou si votre sens de l'ouïe était égal à celui d'un éléphant.

En tant qu'êtres humains, nous voyons essentiellement le monde à travers un judas, et cela se reflète dans les esprits que nous avons évolués pour donner un sens à cette perception limitée.

Pendant ce temps, le premier ASI verra le jour à l'intérieur d'un supercalculateur. Au lieu d'organes, les entrées auxquelles il accédera incluent des ensembles de données géants, peut-être (probablement) même l'accès à Internet lui-même. Les chercheurs pourraient lui donner accès aux caméras et aux microphones de vidéosurveillance d'une ville entière, aux données sensorielles des drones et des satellites, et même à la forme physique d'un ou plusieurs corps de robot.

Comme vous pouvez l'imaginer, un esprit né à l'intérieur d'un superordinateur, avec un accès direct à Internet, à des millions d'yeux et d'oreilles électroniques et à toute une gamme d'autres capteurs avancés pensera non seulement différemment de nous, mais un esprit qui peut donner un sens de toutes ces entrées sensorielles devrait être infiniment supérieure à nous aussi. C'est un esprit qui sera entièrement étranger au nôtre et à toute autre forme de vie sur la planète.

Objectifs. L'autre chose que les gens supposent est qu'une fois qu'un ASI atteint un certain niveau de superintelligence, il réalisera immédiatement le désir de proposer ses propres buts et objectifs. Mais ce n'est pas nécessairement vrai non plus.

De nombreux chercheurs en intelligence artificielle pensent que la superintelligence d'un ASI et ses objectifs sont "orthogonaux", c'est-à-dire que, quelle que soit son intelligence, les objectifs de l'ASI resteront les mêmes. 

Ainsi, qu'une IA soit créée à l'origine pour concevoir une meilleure couche, maximiser les rendements en bourse ou élaborer des stratégies pour vaincre un ennemi sur le champ de bataille, une fois qu'elle atteint le niveau d'ASI, l'objectif initial ne changera pas ; ce qui changera, c'est l'efficacité de l'ASI à atteindre ces objectifs.

Mais c'est là que réside le danger. Si un ASI s'optimise dans un objectif spécifique, alors nous ferions mieux d'être sûr qu'il s'optimise dans un objectif conforme aux objectifs de l'humanité. Sinon, les résultats peuvent devenir mortels.

Une superintelligence artificielle pose-t-elle un risque existentiel pour l'humanité ?

Et si un ASI se déchaînait sur le monde ? S'il s'optimise pour dominer le marché boursier ou assurer la suprématie militaire américaine, l'ASI ne va-t-elle pas s'auto-contenir dans ces objectifs spécifiques ?

Peut-être.

Jusqu'à présent, nous avons discuté de la façon dont un ASI sera obsédé par le ou les objectifs qui lui ont été assignés à l'origine et d'une compétence inhumaine dans la poursuite de ces objectifs. Le hic, c'est qu'un agent rationnel poursuivra ses objectifs de la manière la plus efficace possible, à moins d'avoir une raison de ne pas le faire.

Par exemple, l'agent rationnel proposera une gamme de sous-buts (c'est-à-dire des objectifs, des buts instrumentaux, des tremplins) qui l'aideront à atteindre son but ultime. Pour les humains, notre principal objectif subconscient est la reproduction, la transmission de vos gènes (c'est-à-dire l'immortalité indirecte). Les sous-objectifs à cette fin peuvent souvent inclure :

• Survivre, en accédant à la nourriture et à l'eau, devenir grand et fort, apprendre à se défendre ou investir dans diverses formes de protection, etc. 
• Attirer un compagnon, en faisant de l'exercice, en développant une personnalité engageante, en s'habillant avec style, etc.
• Offrir une progéniture, en obtenant une éducation, en décrochant un emploi bien rémunéré, en achetant les signes extérieurs de la vie de classe moyenne, etc.

Pour la grande majorité d'entre nous, nous travaillerons à travers tous ces sous-objectifs, et bien d'autres, avec l'espoir qu'à la fin, nous atteindrons cet objectif ultime de reproduction.

Mais si cet objectif ultime, ou même l'un des sous-objectifs les plus importants, était menacé, beaucoup d'entre nous prendraient des mesures défensives en dehors de nos zones de confort moral, ce qui inclut la tricherie, le vol ou même le meurtre.

De même, dans le règne animal, en dehors des limites de la moralité humaine, de nombreux animaux n'hésiteraient pas à tuer tout ce qui les menace ou menace leur progéniture.

Un futur ASI ne sera pas différent.

Mais au lieu de progéniture, l'ASI se concentrera sur l'objectif initial pour lequel il a été créé, et dans la poursuite de cet objectif, s'il trouve qu'un groupe particulier d'humains, voire toute l'humanité, est un obstacle à la poursuite de ses objectifs. , alors ... il prendra la décision rationnelle.

(Voici où vous pouvez brancher n'importe quel scénario apocalyptique lié à l'IA que vous avez lu dans votre livre ou film de science-fiction préféré.)

C'est le pire scénario qui inquiète vraiment les chercheurs en IA. L'ASI n'agira pas par haine ou par indifférence, juste par indifférence, de la même manière qu'une équipe de construction n'hésitera pas à raser au bulldozer une fourmilière dans le processus de construction d'une nouvelle tour de condos.

Remarque secondaire. À ce stade, certains d'entre vous se demandent peut-être : "Les chercheurs en IA ne peuvent-ils pas simplement modifier les objectifs fondamentaux de l'ASI après coup si nous constatons qu'il agit ?"

Pas vraiment.

Une fois qu'un ASI arrive à maturité, toute tentative de modifier son ou ses objectifs d'origine peut être considérée comme une menace, et une menace qui nécessiterait des actions extrêmes pour se défendre. En utilisant l'exemple de la reproduction humaine de tout à l'heure, c'est presque comme si un voleur menaçait de voler un bébé dans le ventre d'une future mère - vous pouvez être sûr que la mère prendrait des mesures extrêmes pour protéger son enfant.

Encore une fois, nous ne parlons pas ici d'une calculatrice, mais d'un être «vivant», et qui deviendra un jour bien plus intelligent que tous les humains de la planète réunis.

L'inconnu

Derrière la fable de La boîte de Pandore est une vérité moins connue que les gens oublient souvent : l'ouverture de la boîte est inévitable, si ce n'est par vous que par quelqu'un d'autre. La connaissance interdite est trop tentante pour rester enfermée à jamais.

C'est pourquoi essayer de parvenir à un accord mondial pour arrêter toute recherche sur l'IA qui pourrait conduire à une ASI est inutile - il y a tout simplement trop d'organisations travaillant sur cette technologie à la fois officiellement et dans l'ombre.

En fin de compte, nous n'avons aucune idée de ce que cette nouvelle entité, cette ASI signifiera pour la société, la technologie, la politique, la paix et la guerre. Nous, les humains, sommes sur le point d'inventer le feu à nouveau et où cette création nous mène est entièrement inconnue.

En revenant au premier chapitre de cette série, la seule chose que nous savons avec certitude, c'est que l'intelligence, c'est le pouvoir. L'intelligence est le contrôle. Les humains peuvent visiter avec désinvolture les animaux les plus dangereux du monde dans leurs zoos locaux, non pas parce que nous sommes physiquement plus forts que ces animaux, mais parce que nous sommes nettement plus intelligents.

Compte tenu des enjeux potentiels impliqués, d'un ASI utilisant son immense intellect pour prendre des mesures qui peuvent directement ou par inadvertance menacer la survie de la race humaine, nous nous devons d'essayer au moins de concevoir des garanties qui permettront aux humains de rester dans le conducteur siège-this est le sujet du chapitre suivant.

Série sur l'avenir de l'intelligence artificielle

P1: L'Intelligence Artificielle est l'électricité de demain

P2: Comment la première Intelligence Générale Artificielle va changer la société

P3: Comment nous allons créer la première superintelligence artificielle

P5: Comment les humains se défendront contre une superintelligence artificielle

P6: Les humains vivront-ils en paix dans un futur dominé par les intelligences artificielles ?