クォンタムラン

画像クレジット: クォンタムラン

人工超知能は人類を絶滅させるか？人工知能の未来 P4

David Tal、出版社、未来派
@DavidTalWrites
LinkedIn

月、11 / 30 / 2020 - 10：35

国家が全力で取り組む特定の発明があります。これらは、すべてが最初であることに依存する発明であり、それ以下のものは、国家の存続に対する戦略的かつ致命的な脅威を意味する可能性があります.

これらの歴史を定義する発明は頻繁に発生するわけではありませんが、発生すると、世界は停止し、予測可能な未来はぼやけます.

そのような最後の発明は、第二次世界大戦の最悪の時期に登場しました。ナチスが旧世界、新世界、特にロスアラモスの外にある秘密の軍基地内のすべての前線で勢力を拡大している間、連合国はすべての武器を終わらせるための武器に懸命に取り組んでいました.

このプロジェクトは最初は小規模でしたが、その後、当時の世界で最も偉大な思想家の多くを含む、米国、英国、カナダから 130,000 人を雇用するまでに成長しました。マンハッタン計画というコードネームが付けられ、無制限の予算 (23 ドルで約 2018 億ドル) が与えられたこの人類の創意工夫の軍隊は、最終的に最初の核爆弾の作成に成功しました。それから間もなく、第二次世界大戦は XNUMX つの原子爆弾で終わりました。

これらの核兵器は原子時代の到来を告げ、まったく新しいエネルギー源をもたらし、人類に数分で自滅する能力を与えました。冷戦にもかかわらず、私たちはそれを避けました。

人工超知能 (ASI) の作成は、核爆弾をはるかに凌駕する力 (肯定的および破壊的) を備えた発明を定義するさらに別の歴史です。

人工知能の未来シリーズの最後の章では、ASI とは何か、そして研究者がいつの日か ASI をどのように構築する計画を立てているかを探りました。この章では、どのような組織が人工知能 (AI) の研究をリードしているか、ASI が人間のような意識を獲得したときに何を求めているか、管理を誤った場合や AI の影響下に置かれた場合に人類をどのように脅かす可能性があるかを見ていきます。あまり良くない政権。

人工超知能の構築に取り組んでいるのは誰ですか?

ASI の作成が人類の歴史にとってどれほど重要であり、ASI の作成者がどれほど大きな利点をもたらすかを考えると、多くのグループがこのプロジェクトに間接的に取り組んでいると聞いても驚くことではありません。

(間接的には、最終的に最初の人工知能を生み出す AI 研究に取り組むことを意味します。人工総合知能（AGI）、それ自体がすぐに最初のASIにつながります。）

まず、見出しに関しては、高度な AI 研究の明確なリーダーは、米国と中国のトップテクノロジー企業です。米国では、これには Google、IBM、Microsoft などの企業が含まれ、中国では Tencent、Baidu、Alibaba などの企業が含まれます。しかし、AI の研究は、より優れた原子炉のような物理的なものを開発することに比べて比較的安価であるため、これは、大学、スタートアップ、および…影の組織などの小規模な組織が競争できる分野でもあります (ボンドの悪役の想像力を使用してください)。それです）。

しかし、舞台裏では、AI 研究の背後にある本当の推進力は、政府とその軍隊から来ています。 ASI を最初に作成したことの経済的および軍事的な賞は、後れをとるリスクを冒すには大きすぎます (以下に概要を示します)。そして、少なくとも特定の政権にとっては、最後になることの危険性は受け入れられません。

これらの要因、AI の研究コストが比較的低いこと、高度な AI の商用アプリケーションが無限にあること、ASI を最初に作成したことによる経済的および軍事的利点を考慮すると、多くの AI 研究者は ASI の作成は避けられないと考えています。

人工知能はいつ作られるのか

AGI に関する章で、一流の AI 研究者の調査で、楽観的には 2022 年までに、現実的には 2040 年までに、悲観的には 2075 年までに最初の AGI が作成されると信じていることを述べました。

そして、最終章で、ASI の作成が一般に、AGI に無限に自己改善するように指示し、そうするためのリソースと自由を与えた結果であると概説しました。

このため、AGI の発明にはまだ数十年かかるかもしれませんが、ASI の作成にはあと数年しかかからないかもしれません。

この点は、「コンピューティングオーバーハング」の概念に似ています。紙、主要な AI 思想家であるルーク・ミュールハウザーとニック・ボストロムの共著。基本的に、AGI の作成が、ムーアの法則に基づいた現在の計算能力の進歩に遅れをとっている場合、研究者が AGI を発明する頃には、非常に安価な計算能力が利用可能になり、AGI はASI のレベルに急速に飛躍する必要があります。

言い換えれば、あるテクノロジー企業が最初の真の AGI を発明したというニュースの見出しを最後に読んだら、すぐに最初の ASI が発表されることを期待してください。

人工超知能の心の中に？

さて、私たちは、豊富な資金を持つ多くの大企業が AI を研究していることを確認しました。そして、最初の AGI が発明された後、世界の政府 (軍) がその直後に ASI への推進にゴーサインを出して、グローバルな AI (ASI) 軍拡競争に最初に勝利するのを見るでしょう。

しかし、この ASI が作成されると、それはどのように考えるでしょうか? それは何を望んでいますか？

人懐っこい犬、世話好きなゾウ、かわいいロボットなど、人間として、私たちは物事を人類化すること、つまり、人間の特徴を物や動物に当てはめることを通じて、物事と関係を持とうとする習慣を持っています。そのため、ASI について考えるとき、人々が最初に自然に思い込むのは、ASI が何らかの形で意識を獲得すると、私たちと同じように考え、行動するということです。

まあ、必ずしもそうではない。

知覚. 一つには、最も忘れがちなことは、知覚は相対的だということです。私たちの考え方は、環境、経験、特に生物学によって形作られています。で最初に説明した第三章私たちの人類進化の未来シリーズでは、私たちの脳の例を考えてみましょう:

私たちの周りの世界を理解するのを助けているのは私たちの脳です。そして、これは、私たちの頭の上に浮かんで、周りを見回し、Xbox コントローラーで私たちを制御することによってではありません。これは、箱（私たちのノギン）の中に閉じ込められ、目、鼻、耳などの感覚器官から与えられた情報を処理することによって行われます.

しかし、聴覚障害者や視覚障害者が健常者に比べてはるかに小さな人生を送っているのと同じように、彼らの障害が世界の認識方法に制限を与えているため、同じことがすべての人間に言えます。感覚器官のセット。

考えてみてください: 私たちの目は、すべての光波の XNUMX 兆分の XNUMX 未満しか知覚しません。ガンマ線は見えません。 X線は見えません。私たちは紫外線を見ることができません。そして、赤外線、マイクロ波、電波について私を始めさせないでください!

冗談はさておき、あなたの人生がどのようなものになるか、世界をどのように知覚するか、あなたの目が現在許している小さな光の断片以上のものを見ることができたら、あなたの心はどのように機能するかを想像してみてください. 同様に、あなたの嗅覚が犬の感覚と同等である場合、または聴覚が象の感覚と同等である場合、世界をどのように知覚するか想像してみてください。

人間として、私たちは本質的にのぞき穴を通して世界を見ています。それは、その限られた認識を理解するために進化してきた心に反映されています。

一方、最初の ASI はスーパーコンピューターの内部で誕生します。臓器の代わりに、アクセスする入力には巨大なデータセットが含まれており、おそらく (おそらく) インターネット自体へのアクセスも含まれます。研究者は、都市全体の CCTV カメラとマイク、ドローンや衛星からのセンサーデータ、さらにはロボットの体の物理的形状にさえアクセスできるようにすることができます。

ご想像のとおり、スーパーコンピューターの内部で生まれ、インターネットに直接アクセスし、何百万もの電子の目や耳、その他のさまざまな高度なセンサーにアクセスできる精神は、私たちとは異なる考え方をするだけでなく、意味を理解できる精神になります。これらすべての感覚入力のうち、私たちよりも無限に優れている必要があります。これは、私たち自身や地球上の他の生命体にとって完全に異質な心です。

目標. 人々が思い込んでいるもう XNUMX つのことは、ASI がある程度の超知性に達すると、独自の目標と目的を思いつくという欲求をすぐに実現するということです。しかし、それも必ずしも真実ではありません。

多くの AI 研究者は、ASI の超知能とその目標は「直交」していると考えています。つまり、ASI がどれほど賢くなっても、ASI の目標は同じままです。

したがって、AI が元々、より良いおむつを設計するため、株式市場での収益を最大化するため、または戦場で敵を倒す方法を戦略化するために作成されたものであっても、ASI のレベルに到達すると、元の目標は変わりません。変化するのは、それらの目標を達成するための ASI の有効性です。

しかし、ここに危険があります。 ASI が特定の目標に合わせて最適化する場合、それが人類の目標に沿った目標に最適化されることを確認する必要があります。そうしないと、結果が致命的になる可能性があります。

人工超知能は人類の存亡にかかわるリスクをもたらすか?

では、ASI が世界に解き放たれたらどうなるでしょうか。株式市場を支配したり、米軍の優位性を確保したりするために最適化する場合、ASI はそれらの特定の目標内に自己完結するのではないでしょうか?

おそらく。

これまで、ASI が最初に割り当てられた目標に執着し、それらの目標を追求する上で非人道的な能力を発揮する方法について説明してきました。問題は、合理的なエージェントは、そうしない理由が与えられない限り、可能な限り最も効率的な手段で目標を追求するということです。

たとえば、合理的なエージェントは、最終的な目標を達成するための一連のサブ目標 (目的、手段の目標、足がかり) を考え出します。人間にとって、私たちの重要な潜在意識の目標は生殖であり、遺伝子を伝えます (つまり、間接的な不死)。そのためのサブゴールには、多くの場合、次のものが含まれます。

食料や水にアクセスし、大きく強く成長し、身を守ることを学び、さまざまな形の保護に投資するなどして、生き残ります。
エクササイズ、魅力的な性格の開発、スタイリッシュな服装などによって、配偶者を惹きつけます。
教育を受けたり、高給の仕事に就いたり、中産階級の生活の装いを買ったりすることなどによって、子孫にお金を与えます。

私たちの大多数は、最終的に生殖という究極の目標を達成することを期待して、これらすべてのサブゴールや他の多くのサブゴールを奴隷にします.

しかし、この究極の目標、またはより重要なサブ目標のいずれかが脅かされた場合、私たちの多くは、道徳的な快適ゾーンの外で防御行動を取るでしょう。

同様に、人間の道徳の範囲外にある動物界では、多くの動物は、自分自身や子孫を脅かすものを殺すことについてよく考えません。

将来の ASI も例外ではありません。

しかし、ASI は子孫の代わりに、それが作成された当初の目標に焦点を当て、この目標を追求する際に、特定の人間のグループ、または人類全体が目標の追求の障害であると判断した場合は、、それから ... 合理的な決定を下します.

(ここでは、お気に入りの SF 本や映画で読んだ AI 関連の終末シナリオをプラグインできます。)

これは、AI 研究者が本当に心配している最悪のシナリオです。 ASI は憎しみや悪意から行動するのではなく、ただの無関心から行動します。それは、建設作業員が新しいコンドミニアムタワーを建設する過程でアリ塚をブルドーザーで取り壊すことについてよく考えないのと同じです。

サイドノート。 この時点で、「AI 研究者は、ASI の主要な目標が実際に機能していることが判明した場合、事後に編集することはできないのではないか?」と疑問に思う人もいるかもしれません。

あんまり。

ASI が成熟すると、元の目標を編集しようとする試みは脅威と見なされる可能性があり、それを防御するには極端な行動が必要になります。前述の人間の生殖の例全体を使用すると、まるで泥棒が妊娠中の母親の子宮から赤ちゃんを盗むと脅したかのようです。母親が子供を守るために極端な手段を講じることは間違いありません。

繰り返しますが、ここでは計算機について話しているのではなく、「生きている」存在であり、いつか地球上のすべての人間を合わせたよりもはるかに賢くなるものです.