クォンタムラン

画像クレジット: クォンタムラン

マウスとキーボードに別れを告げ、人類を再定義する新しいユーザーインターフェイス: コンピューターの未来 P1

David Tal、出版社、未来派
@DavidTalWrites
LinkedIn

火、09 / 15 / 2020 - 10：46

まず、それはパンチカードでした。それは象徴的なマウスとキーボードでした。私たちがコンピューターを操作するために使用するツールやシステムは、私たちの先祖には想像もできなかった方法で、私たちの周りの世界を制御し、構築することを可能にします。確かに長い道のりを歩んできましたが、ユーザーインターフェイス (UI、コンピューターシステムと対話する手段) の分野に関しては、まだ何も見ていません。

コンピューターの未来シリーズを UI に関する章で始めるのは奇妙だと言う人もいるかもしれませんが、このシリーズの残りの部分で探求するイノベーションに意味を与えるのは、コンピューターの使い方です。

音声、文字、印刷機、電話、インターネットなど、人類が新しいコミュニケーションの形を発明するたびに、私たちの集団社会は新しいアイデア、新しい形のコミュニティ、そしてまったく新しい産業で開花しました。次の XNUMX 年間は、次の進化、通信と相互接続の次の飛躍的飛躍が見られるでしょう。それは、さまざまな将来のコンピューターインターフェースによって完全に仲介されます。

とにかく、「良い」ユーザーインターフェースとは何ですか?

コンピューターをつついたり、つまんだり、スワイプしたりして、私たちが望むことをコンピューターに実行させる時代は、XNUMX 年以上前に始まりました。多くの人にとって、それは iPod から始まりました。かつては頑丈なボタンをクリック、タイピング、押して意思を機械に伝えることに慣れていましたが、iPod は円を描くように左右にスワイプして聴きたい音楽を選択するという概念を広めました。

その後まもなく、タッチスクリーンスマートフォンが市場に登場し、ポケ (ボタンを押すことをシミュレートする)、ピンチ (ズームインおよびズームアウトする)、プレス、ホールド、ドラッグなどのさまざまな触覚コマンドプロンプトが導入されました。これらの触覚コマンドは、多くの理由で一般の人々の間で急速に注目を集めました。それらは新しいものでした。クールな（有名な）子供たちはみんなやっていた。タッチスクリーン技術は安価で主流になりました。しかし何よりも、動きが直感的で自然に感じられました。

それが、優れたコンピューター UI のすべてです。ソフトウェアやデバイスを操作するためのより自然な方法を構築することです。そして、それは、あなたが学ぼうとしている将来の UI デバイスを導く中核となる原則です。

空を突く、つまむ、スワイプする

2018 年現在、スマートフォンは先進国の多くで標準の携帯電話に取って代わりました。これは、世界の大部分が、上記のさまざまな触覚コマンドに精通していることを意味します。アプリやゲームを通じて、スマートフォンユーザーは、ポケットに収まっている関連するスーパーコンピューターを制御するための多種多様な抽象的なスキルを学びました。

これらのスキルによって、消費者は次の波のデバイス、つまりデジタル世界と現実世界の環境をより簡単に融合できるデバイスに備えることができます。それでは、未来の世界をナビゲートするために使用するいくつかのツールを見てみましょう。

オープンエアのジェスチャーコントロール。 2018 年現在、私たちはまだタッチコントロールのマイクロエイジにいます。私たちは今でも、モバイルライフを突き刺したり、つまんだり、スワイプしたりしています。しかし、そのタッチコントロールは、屋外でのジェスチャーコントロールの形に徐々に取って代わられています。ゲーマーにとって、これを最初に操作したのは、Nintendo Wii ゲームまたは Xbox Kinect ゲームでした。どちらのコンソールも高度なモーションキャプチャテクノロジを使用して、プレーヤーの動きをゲームアバターと一致させます。

この技術は、ビデオゲームやグリーンスクリーンの映画製作にとどまらず、より広範な家電市場に間もなく参入するでしょう。これがどのように見えるかを示す顕著な例の XNUMX つは、Project Soli という名前の Google ベンチャーです (その驚くべき短いデモビデオをご覧ください)。こちら）。このプロジェクトの開発者は、ミニチュアレーダーを使用して手と指の細かい動きを追跡し、画面ではなく屋外で突く、つまむ、スワイプする動作をシミュレートします。これは、ウェアラブルを使いやすくし、より多くの視聴者にとってより魅力的なものにするのに役立つ技術です。

三次元インターフェース. 2020 年代半ばまでに、この屋外でのジェスチャーコントロールを自然な流れに沿ってさらに進めると、従来のデスクトップインターフェース (信頼できるキーボードとマウス) が、映画「マイノリティ」で普及したのと同じスタイルのジェスチャーインターフェースにゆっくりと置き換えられる可能性があります。報告。実際、UI 研究者、科学顧問、およびマイノリティレポートのホログラフィックジェスチャーインターフェイスシーンの発明者である John Underkoffler は、現在、次の作業に取り組んでいます。実写版—彼がヒューマン・マシン・インターフェースの空間操作環境と呼んでいるテクノロジー。 (彼はおそらく、そのための便利な頭字語を考え出す必要があるでしょう。)

このテクノロジを使用すると、大きなディスプレイの前に座ったり立ったりして、さまざまな手のジェスチャーを使用してコンピューターに命令するようになります。とてもクールに見えますが (上記のリンクを参照)、テレビチャンネルをスキップしたり、リンクをポイント/クリックしたり、XNUMX 次元モデルをデザインしたりするのに手のジェスチャーが適しているかもしれませんが、長い文章を書くときはうまく機能しません。エッセイ。そのため、オープンエアジェスチャテクノロジが次第に多くの家電製品に組み込まれるにつれて、高度な音声コマンドや虹彩追跡テクノロジなどの補完的な UI 機能が追加される可能性があります。

はい、謙虚な物理キーボードは 2020 年代まで生き残る可能性があります。

触覚ホログラム. 私たちが実際に見たり映画で見たりしたホログラムは、2D または 3D の光の投影である傾向があり、物体や人が空中に浮かんでいる様子を示しています。これらのプロジェクションに共通しているのは、手を伸ばしてつかむと、ほんの一握りの空気しか得られないということです。 2020 年代半ばまではそうではありません。

新しいテクノロジー (例を参照: XNUMXつ & 2) は、触ることができる (または少なくとも触覚を模倣する) ホログラムを作成するために開発されています。超音波であれプラズマ投影であれ、使用される技術に応じて、触覚ホログラムは、現実の世界で使用できるデジタル製品のまったく新しい産業を切り開きます。

考えてみてください。物理的なキーボードの代わりに、部屋のどこにいてもタイピングの物理的な感覚を味わえるホログラフィックキーボードを使用できます。この技術は、マイノリティ・レポートの野外インターフェース従来のデスクトップの時代を終わらせる可能性があります。

これを想像してみてください: かさばるラップトップを持ち運ぶ代わりに、タッチ可能なディスプレイ画面とキーボードホログラムを投影する小さな正方形のウェーハ (おそらく薄い外付けハードドライブのサイズ) を持ち運ぶことができるようになる日が来るかもしれません。さらに一歩進んで、机と椅子だけのオフィスを想像してみてください。次に、簡単な音声コマンドで、ホログラフィックワークステーション、壁の装飾、植物など、オフィス全体があなたの周りに投影されます。将来、家具や装飾品を購入するイケアへの訪問とともにアプリストアへの訪問が含まれる場合があります。

仮想アシスタントに話しかける

私たちはゆっくりとタッチ UI を再考していますが、平均的な人にとってより直感的に感じるかもしれない、新しく補完的な UI の形、つまり音声が登場しています。

Amazon は、人工知能 (AI) のパーソナルアシスタントシステムである Alexa と、それに伴ってリリースされたさまざまな音声起動型ホームアシスタント製品のリリースにより、文化的な影響を与えました。 AI のリーダーと目されていた Google は、独自のホームアシスタント製品スイートを急いで追随しました。そして、これら XNUMX つの技術巨人の間の数十億規模の競争により、一般消費者市場の間で、音声起動型の AI 製品とアシスタントが急速に広く受け入れられるようになりました。この技術はまだ初期段階ですが、この初期の急成長は控えめに言っても過言ではありません。

Amazon の Alexa、Google の Assistant、iPhone の Siri、または Windows Cortana のいずれを好む場合でも、これらのサービスは、電話やスマートデバイスとやり取りし、単純な口頭コマンドで Web のナレッジバンクにアクセスできるように設計されており、これらの「仮想アシスタント」に何を伝えるかを伝えます。あなたがしたい。

これはエンジニアリングの驚くべき偉業です。完璧とは言えませんが、テクノロジーは急速に進歩しています。たとえば、Google 発表の 2015 年 2020 月に、同社の音声認識技術のエラー率は現在 XNUMX% に過ぎず、縮小していることが明らかになりました。このエラー率の低下を、マイクロチップとクラウドコンピューティングで起こっている大規模なイノベーション (今後のシリーズの章で概説) と組み合わせると、XNUMX 年までに仮想アシスタントが快適に正確になることが期待できます。

さらに良いことに、現在設計されている仮想アシスタントは、あなたのスピーチを完全に理解するだけでなく、あなたが尋ねる質問の背後にある文脈も理解します。彼らはあなたの声のトーンによって発せられる間接的な信号を認識します。彼らはあなたと長文の会話をすることさえあります。彼女-スタイル。

全体として、音声認識ベースの仮想アシスタントは、日々の情報ニーズのために Web にアクセスする主要な方法になります。一方、以前に調査した UI の物理的な形態は、余暇や仕事に焦点を当てたデジタル活動を支配する可能性があります。しかし、これで私たちの UI の旅は終わりではありません。

ウェアラブル

ウェアラブル (身の回りの世界とデジタルで対話するのに役立つ、着用したり、体内に挿入したりするデバイス) を抜きにして UI を語ることはできません。音声アシスタントと同様に、これらのデバイスは、デジタルスペースとの関わり方をサポートする役割を果たします。特定のコンテキストで特定の目的のためにそれらを使用します。ただし、ウェアラブルに関する章全体私たちの中でインターネットの未来シリーズなので、ここでは詳しく説明しません。

私たちの現実を拡張する

上記のすべてのテクノロジーを統合すると、仮想現実と拡張現実が実現します。

基本的なレベルでは、拡張現実 (AR) は、テクノロジーを使用して、現実世界に対する認識をデジタル的に変更または強化することです (Snapchat フィルターを考えてみてください)。これは、現実世界がシミュレートされた世界に置き換えられる仮想現実 (VR) と混同しないでください。 AR を使用すると、リアルタイムで世界をより適切にナビゲートし、(ほぼ間違いなく) 現実を豊かにするのに役立つコンテキスト情報が豊富なさまざまなフィルターとレイヤーを通して、私たちの周りの世界を見ることができます。 VR から始めて、両極端について簡単に見ていきましょう。

バーチャルリアリティ。基本的なレベルでは、バーチャルリアリティ (VR) はテクノロジーを使用して、現実の没入型で説得力のあるオーディオビジュアルイリュージョンをデジタルで作成することです。また、現在 (2018 年) に大衆市場に受け入れられるまでにさまざまな技術的および社会的ハードルに苦しんでいる AR とは異なり、VR は大衆文化の中で何十年も前から存在しています。私たちは、さまざまな未来志向の映画やテレビ番組でそれを見てきました. 私たちの多くは、古いアーケードや技術志向のカンファレンスや展示会で、VR の原始的なバージョンを試したことさえあります。

今回の違いは、今日の VR テクノロジーがこれまで以上にアクセスしやすくなったことです。さまざまな主要技術 (元々はスマートフォンの製造に使用されていました) の小型化のおかげで、VR ヘッドセットのコストは、Facebook、Sony、Google などの大手企業が手頃な価格の VR ヘッドセットを大衆向けに毎年リリースするところまで下がっています。

これは、何千人ものソフトウェアおよびハードウェア開発者を徐々に惹きつける、まったく新しいマスマーケットメディアの始まりを表しています。実際、2020 年代後半までに、VR アプリとゲームは、従来のモバイルアプリよりも多くのダウンロードを生成します。

教育、雇用訓練、ビジネスミーティング、バーチャルツーリズム、ゲーム、エンターテイメントなど、これらは安価でユーザーフレンドリーでリアルな VR が (完全に破壊的ではないにしても) 強化できる多くのアプリケーションのほんの一部にすぎません。ただし、SF 小説や映画で見たものとは異なり、人々が VR の世界で XNUMX 日を過ごす未来は数十年先のことです。とはいえ、私たちが一日中使うのはARです。

拡張現実。前述のように、AR の目標は、現実世界の認識に加えてデジタルフィルターとして機能することです。周囲を見ると、AR は環境に対する認識を強化または変更したり、環境をよりよく理解するのに役立つ有用で文脈に関連した情報を提供したりできます。これがどのように見えるかをよりよく理解するには、以下のビデオをご覧ください。

最初のビデオは、AR の新たなリーダーである Magic Leap によるものです。

次に、6 年代までに AR がどのようになるかについて、松田啓一によるショートフィルム (2030 分) をご覧ください。

上記のビデオから、AR 技術が XNUMX 日で可能にするほぼ無限の数のアプリケーションを想像することができます。でログイン, Apple, Facebook, Microsoft, Baiduの, インテルなど、すでに AR 研究に多額の投資を行っています。

前述のホログラフィックおよびオープンエアジェスチャインターフェースに基づいて構築された AR は、消費者がこれまでに育ってきた従来のコンピューターインターフェースのほとんどを最終的に廃止します。たとえば、AR メガネを装着すると、仮想デスクトップまたはラップトップが目の前に表示されるのに、デスクトップまたはラップトップコンピューターを所有する必要はありません。同様に、AR グラス (およびそれ以降) ARコンタクトレンズ）は、物理的なスマートフォンをなくします。ああ、テレビのことも忘れないでください。言い換えれば、今日の大型電子機器のほとんどはアプリの形にデジタル化されるでしょう。

将来の AR オペレーティングシステムやデジタル環境を制御するために早期に投資する企業は、今日のエレクトロニクスセクターの大部分を事実上混乱させ、支配権を握ることになります。一方で、AR には、ヘルスケア、設計/建築、ロジスティクス、製造、軍事などの分野におけるさまざまなビジネスアプリケーションもあります。これらのアプリケーションについては、インターネットの未来シリーズで詳しく説明します。

それでも、UI の未来が終わるわけではありません。

ブレインコンピューターインターフェースでマトリックスに入る

機械の制御に関して言えば、動作、音声、AR よりもさらに直感的で自然なコミュニケーションの別の形式があります。思考そのものです。

この科学は、Brain-Computer Interface (BCI) と呼ばれるバイオエレクトロニクス分野です。これには、脳スキャンデバイスまたはインプラントを使用して脳波を監視し、それらをコマンドに関連付けて、コンピューターによって実行されるあらゆるものを制御することが含まれます。

実際、気付いていないかもしれませんが、BCI の初期の時代はすでに始まっています。切断者は現在ロボットの手足のテスト着用者の切り株に取り付けられたセンサーではなく、心によって直接制御されます。同様に、重度の障害を持つ人 (四肢麻痺の人など) は現在、 BCI を使用して電動車いすを操縦するロボットアームを操作します。しかし、四肢切断者や障害者がより自立した生活を送るのを助けることは、BCI ができることの範囲ではありません。以下は、現在進行中の実験の短いリストです。

物事を制御する。 研究者は、BCI を使用してユーザーが家庭の機能 (照明、カーテン、温度) だけでなく、さまざまなデバイスや車両を制御できることを実証しました。時計デモンストレーションビデオ.

動物を制御します。 ラボは、人間が作ることができる BCI 実験のテストに成功しました。実験用ネズミはしっぽを動かす彼の考えだけを使って。

脳からテキストへ。 麻痺した男脳インプラントを使用した XNUMX 分間に XNUMX 単語を入力します。一方、 US & ドイツ脳波（思考）をテキストに解読するシステムを開発しています。初期の実験は成功したことが証明されており、この技術が平均的な人を支援するだけでなく、重度の障害を持つ人々 (有名な物理学者、スティーブン・ホーキングのような) が世界とより簡単にコミュニケーションできるようになることを期待しています。

脳から脳へ。 国際的な科学者チームは、テレパシーを模倣するインドの XNUMX 人に「こんにちは」という単語を考えてもらい、BCI を介してその単語を脳波からバイナリコードに変換し、フランスに電子メールで送信し、そこでバイナリコードを脳波に変換し、受信者が認識できるようにしました。 . 脳から脳へのコミュニケーション、人々！

夢と思い出の記録。カリフォルニア州バークレーの研究者は、信じられないほどの進歩を遂げました。脳波を画像に. 被験者は、BCI センサーに接続されている間、一連の画像を提示されました。次に、それらの同じ画像がコンピューター画面に再構成されました。再構築された画像は非常に粗いものでしたが、約 XNUMX 年の開発期間を考えると、この概念実証により、いつの日か GoPro カメラを捨てるか、夢を記録することさえできるようになるでしょう.

私たちは魔法使いになるつもりですか、あなたは言いますか？

最初は、ヘルメットやヘアバンドのような外付けデバイスを BCI に使用し (2030 年代)、最終的には脳インプラント (2040 年代後半) に道を譲ります。最終的に、これらの BCI デバイスは私たちの心をデジタルクラウドに接続し、後に私たちの心の XNUMX 番目の半球として機能します。そのため、左半球と右半球が創造性と論理能力を管理する一方で、この新しいクラウド供給デジタル半球は能力を促進します。人間は、スピード、繰り返し、正確さなど、AI の対応物に及ばないことがよくあります。

BCI は、私たちの心を機械と融合させて、両方の世界の強みを得ることを目的としたニューロテクノロジーの新しい分野の鍵となります。 2030 年代までに、そして 2040 年代後半までに主流化されると、人間は BCI を使用して脳をアップグレードし、相互や動物と通信し、コンピューターと電子機器を制御し、記憶と夢を共有し、Web をナビゲートします。

私はあなたが何を考えているか知っています：はい、それはすぐにエスカレートしました.

しかし、これらすべての UI の進歩は刺激的ですが、コンピューターソフトウェアとハードウェアの同様に刺激的な進歩がなければ、それらは決して可能ではありません。これらのブレークスルーは、このコンピューターの未来シリーズの残りの部分で探求されるものです。