超级人工智能会消灭人类吗？ 人工智能的未来 P4

某些国家的发明全力以赴。 在这些发明中，一切都取决于第一，任何不重要的事情都可能意味着对国家生存的战略和致命威胁。

这些定义历史的发明并不经常出现，但当它们出现时，世界就停止了，可预见的未来变得朦胧。

最后一个这样的发明出现在二战最糟糕的时期。 当纳粹在旧世界的所有战线上取得进展时，在新世界，特别是在洛斯阿拉莫斯以外的一个秘密军队基地内，盟军正在努力研制一种武器来终结所有武器。

该项目起初规模很小，但后来发展为雇佣了来自美国、英国和加拿大的 130,000 名员工，其中包括当时世界上许多最伟大的思想家。 代号为曼哈顿计划并给予无限预算（23 年约为 2018 亿美元），这支人类聪明才智的军队最终成功制造了第一颗核弹。 不久之后，二战以两次原子弹爆炸结束。

这些核武器开创了原子时代，引入了一种全新的能源，并赋予了人类在几分钟内自灭的能力——尽管冷战时期我们还是避免了这种情况。

人工超级智能 (ASI) 的创建是另一个定义其威力（积极和破坏性）远远超过核弹的发明的历史。

在“人工智能的未来”系列的最后一章中，我们探讨了 ASI 是什么以及研究人员计划有一天如何构建 ASI。 在本章中，我们将了解哪些组织正在领导人工智能 (AI) 研究，一旦 ASI 获得类似人类的意识，它会想要什么，以及如果管理不善或受到人工智能的影响，它将如何威胁人类。不太好的制度。

谁在努力建立人工超级智能？

鉴于 ASI 的创建对人类历史的重要性以及它将为其创建者带来的巨大优势，听到许多团体间接致力于该项目也就不足为奇了。

（间接地，我们的意思是从事人工智能研究，最终将创造第一个 人工智能 （AGI），这本身很快就会导致第一个 ASI。）

首先，当谈到头条新闻时，高级人工智能研究的明显领导者是美国和中国的顶级科技公司。 在美国，这包括谷歌、IBM和微软等公司，在中国，包括腾讯、百度和阿里巴巴等公司。 但由于研究人工智能与开发物理东西相比相对便宜，比如更好的核反应堆，这也是一个小型组织也可以竞争的领域，比如大学、初创公司和……阴暗的组织（用你的邦德反派想象那个）。

但在幕后，人工智能研究背后的真正推动力来自政府及其军队。 作为第一个创建 ASI 的经济和军事奖励太高了（如下所述），不能冒落后的风险。 最后的危险是不可接受的，至少对某些政权来说是这样。

鉴于这些因素，人工智能研究成本相对较低，先进人工智能的无限商业应用，以及率先创建 ASI 的经济和军事优势，许多人工智能研究人员认为创建 ASI 是不可避免的。

我们什么时候会创造出人工超级智能

在我们关于 AGI 的章节中，我们提到了一项针对顶级 AI 研究人员的调查如何相信我们将在 2022 年乐观地创建第一个 AGI，到 2040 年现实地在 2075 年悲观地创造第一个 AGI。

而在我们 最后一章，我们概述了创建 ASI 通常是如何指示 AGI 无限自我改进并为其提供资源和自由这样做的结果。

出于这个原因，虽然 AGI 可能需要几十年才能发明出来，但创建 ASI 可能只需要几年时间。

这一点类似于“计算悬垂”的概念，在 一篇论文，由领先的 AI 思想家 Luke Muehlhauser 和 Nick Bostrom 合着。 基本上，如果 AGI 的创建继续落后于由摩尔定律驱动的当前计算能力的进步，那么当研究人员确实发明 AGI 时，将有如此多的廉价计算能力可用，以至于 AGI 将有能力它需要快速跨越到ASI的水平。

换句话说，当你终于读到头条新闻宣布某家科技公司发明了第一个真正的 AGI 时，期待不久之后第一个 ASI 的宣布。

在人工超级智能的头脑中？

好的，所以我们已经确定，很多财大气粗的大公司都在研究人工智能。 然后在发明第一个 AGI 之后，我们将看到世界各国政府（军队）在不久之后为 ASI 的推进开绿灯，以率先赢得全球 AI (ASI) 军备竞赛。

但是一旦创建了这个 ASI，它会怎么想？ 它会想要什么？

友善的狗、有爱心的大象、可爱的机器人——作为人类，我们有一个习惯，就是通过人类学来尝试与事物建立联系，即将人类特征应用于事物和动物。 这就是为什么人们在考虑 ASI 时的第一个自然假设是，一旦它以某种方式获得意识，它的思维和行为就会与我们相似。

嗯，不一定。

知觉. 一方面，大多数人往往忘记的是感知是相对的。 我们的思维方式是由我们的环境、我们的经验，尤其是我们的生物学所塑造的。 首先解释在 第三章 我们 人类进化的未来 系列，考虑我们大脑的例子：

是我们的大脑帮助我们理解周围的世界。 它不是通过漂浮在我们的头顶、环顾四周并用 Xbox 控制器控制我们来做到这一点的； 它通过被困在一个盒子（我们的脑袋）中并处理它从我们的感觉器官（我们的眼睛、鼻子、耳朵等）提供的任何信息来做到这一点。

但是就像聋人或盲人的寿命比健全的人要小得多，由于他们的残疾对他们如何感知世界的限制，同样的事情可以说对所有人类来说，由于我们基本的限制一组感觉器官。

考虑一下：我们的眼睛感知不到所有光波的万亿分之一。 我们看不到伽马射线。 我们看不到 X 射线。 我们看不到紫外线。 不要让我开始研究红外线、微波和无线电波！

除了开玩笑，想象一下你的生活会是什么样子，你会如何看待这个世界，如果你能看到比你眼睛目前允许的微小光线更多的东西，你的思维会有多么不同。 同样，想象一下，如果你的嗅觉与狗的嗅觉相当，或者如果你的听觉与大象的嗅觉相当，你会如何看待这个世界。

作为人类，我们本质上是通过窥视孔看世界的，这反映在我们为了理解这种有限感知而进化的头脑中。

同时，第一个 ASI 将在超级计算机内部诞生。 它将访问的输入不是器官，而是包括巨大的数据集，甚至可能（可能）访问互联网本身。 研究人员可以让它访问整个城市的闭路电视摄像机和麦克风、无人机和卫星的感官数据，甚至是机器人身体的物理形式。

正如你可能想象的那样，一个出生在超级计算机内部的头脑，可以直接访问互联网，拥有数百万个电子眼睛和耳朵以及一系列其他先进传感器，不仅会与我们的思维方式不同，而且思维会变得有意义在所有这些感官输入中，也必须无限优于我们。 这是一种与我们自己以及地球上任何其他生命形式完全陌生的思想。

理想中. 人们假设的另一件事是，一旦 ASI 达到某种程度的超级智能，它就会立即实现提出自己的目标和目的的愿望。 但这也不一定是真的。

许多人工智能研究人员认为，ASI 的超级智能及其目标是“正交的”，也就是说，无论它变得多么聪明，ASI 的目标都将保持不变。 

因此，无论最初创建AI是为了设计更好的尿布，最大化股市回报，还是在战场上制定策略击败敌人，一旦达到ASI的水平，最初的目标就不会改变； 将改变的是 ASI 实现这些目标的有效性。

但危险就在这里。 如果一个 ASI 将自身优化到一个特定的目标，那么我们最好确保它优化到一个符合人类目标的目标。 否则，结果可能会变得致命。

人工超级智能是否会对人类构成生存风险？

那么，如果 ASI 被释放到世界上怎么办？ 如果它优化以主导股票市场或确保美国的军事霸权，ASI 不会在这些特定目标内自给自足吗？

有可能。

到目前为止，我们已经讨论了 ASI 将如何痴迷于它最初分配的目标，并且在追求这些目标时不人道。 问题是，除非有理由不这样做，否则理性的代理人将以最有效的方式追求其目标。

例如，理性主体会提出一系列子目标（即目标、工具性目标、垫脚石），以帮助其实现最终目标。 对于人类来说，我们的关键潜意识目标是繁殖，传递你的基因（即间接永生）。 为此目的的子目标通常包括：

• 通过获取食物和水、变得强壮、学习保护自己或投资于各种形式的保护等来生存。 
• 通过锻炼、培养迷人的个性、穿着时尚等方式吸引伴侣。
• 通过接受教育、获得高薪工作、购买中产阶级生活的服饰等来养育后代。

对于我们绝大多数人来说，我们将努力完成所有这些子目标，以及许多其他目标，希望最终我们能够实现繁殖的最终目标。

但如果这个最终目标，甚至任何更重要的子目标受到威胁，我们中的许多人都会在我们的道德舒适区之外采取防御行动——包括作弊、偷窃，甚至杀戮。

同样，在动物王国中，在人类道德范围之外，许多动物不会三思而后行地杀死任何威胁自己或后代的东西。

未来的 ASI 也不例外。

但是，ASI 不会专注于后代，而是专注于最初的目标，而在追求这一目标的过程中，如果发现某个特定的人类群体，甚至全人类，是其追求目标的障碍， 然后 ...它将做出理性的决定.

（在这里，您可以插入您在最喜欢的科幻书籍或电影中读到的任何与 AI 相关的世界末日场景。）

这是人工智能研究人员真正担心的最坏情况。 ASI不会出于仇恨或邪恶而行动，只是冷漠，就像施工人员在建造新公寓塔的过程中不会三思而后行推土机一样。

边注。 在这一点上，你们中的一些人可能会想，“如果我们发现 ASI 正在发挥作用，AI 研究人员就不能在事后编辑 ASI 的核心目标吗？”

不是真的。

一旦 ASI 成熟，任何编辑其原始目标的尝试都可能被视为一种威胁，并且需要采取极端行动来保护自己。 使用前面的整个人类生殖的例子，这几乎就像一个小偷威胁要从一个准妈妈的子宫里偷走一个婴儿——你可以肯定母亲会采取极端措施来保护她的孩子。

再说一次，我们在这里谈论的不是计算器，而是一种“活的”生物，它有朝一日会变得比地球上所有人类的总和还要聪明得多。

未知

传说的背后 潘多拉魔盒 这是一个鲜为人知的事实，人们经常忘记：打开盒子是不可避免的，如果不是由你打开，也不是由别人打开。 被禁的知识太诱人了，不能永远被锁起来。

这就是为什么试图达成一项全球协议以停止所有可能导致 ASI 的人工智能研究毫无意义——有太多的组织在正式和暗中从事这项技术工作。

最终，我们不知道这个新实体，这个 ASI 对社会、技术、政治、和平与战争意味着什么。 我们人类即将再次发明火，而这种创造将我们引向何方则完全未知。

回到本系列的第一章，我们确实知道的一件事是智慧就是力量。 智能就是控制。 人类可以在当地动物园随便参观世界上最危险的动物，不是因为我们的身体比这些动物更强壮，而是因为我们明显更聪明。

鉴于所涉及的潜在风险，ASI 利用其巨大的智慧采取可能直接或无意地威胁人类生存的行动，我们有责任至少尝试设计安全措施，让人类留在驾驶员的座位-Free Introduction 是下一章的主题。

人工智能系列的未来

P1： 人工智能是明天的电力

P2： 第一个通用人工智能将如何改变社会

P3： 我们将如何创建第一个人工超级智能

P5： 人类将如何防御人工超级智能

P6： 在人工智能主导的未来，人类会和平生活吗？