퀀텀런

이미지 크레딧: 퀀텀런

마우스와 키보드는 이제 그만, 인류를 재정의하는 새로운 사용자 인터페이스: 컴퓨터의 미래 P1

David Tal, 발행인, 미래학자
@DavidTalWrites
링크드인

화, 09 / 15 / 2020 - 10 : 46

첫째, 펀치 카드였습니다. 그 다음은 상징적인 마우스와 키보드였습니다. 우리가 컴퓨터를 사용하는 데 사용하는 도구와 시스템을 통해 우리는 조상들이 상상할 수 없는 방식으로 우리 주변의 세상을 제어하고 건설할 수 있습니다. 우리는 확신하기 위해 먼 길을 왔지만 사용자 인터페이스(UI, 컴퓨터 시스템과 상호 작용하는 수단) 분야에 관해서는 아직 아무것도 보지 못했습니다.

어떤 사람들은 UI에 대한 장으로 컴퓨터의 미래 시리즈를 시작하는 것이 이상하다고 말할 수도 있지만, 이 시리즈의 나머지 부분에서 탐구하는 혁신에 의미를 부여할 컴퓨터 사용 방식입니다.

인류가 말, 문자, 인쇄기, 전화, 인터넷 등 새로운 형태의 커뮤니케이션을 발명할 때마다 우리의 집단 사회는 새로운 아이디어, 새로운 형태의 커뮤니티, 완전히 새로운 산업으로 꽃을 피웠습니다. 다가오는 XNUMX년은 미래의 컴퓨터 인터페이스의 범위에 의해 완전히 중재되는 통신 및 상호 연결의 다음 진화, 다음 비약적 도약을 보게 될 것입니다. 그리고 그것은 인간의 의미를 재편성할 수도 있습니다.

어쨌든 '좋은' 사용자 인터페이스란 무엇입니까?

우리가 원하는 것을 하기 위해 컴퓨터를 찌르고, 꼬집고, 스와이프하는 시대는 XNUMX년 전에 시작되었습니다. 많은 사람들에게 그것은 iPod에서 시작되었습니다. 클릭, 타이핑, 기계에 의지를 전달하기 위해 견고한 버튼을 누르는 데 익숙해졌던 반면, iPod은 원을 왼쪽이나 오른쪽으로 스와이프하여 듣고 싶은 음악을 선택하는 개념을 대중화했습니다.

터치스크린 스마트폰은 그 직후 시장에 진입하여 찌르기(버튼 누르기 시뮬레이션), 집기(확대 및 축소), 누르기, 길게 누르기 및 끌기와 같은 다양한 촉각 명령 프롬프트를 도입했습니다. 이러한 촉각 명령은 다음과 같은 여러 가지 이유로 대중들 사이에서 빠르게 주목을 받았습니다. 모든 멋진 (유명한) 아이들이 그것을 하고 있었습니다. 터치스크린 기술은 저렴하고 주류가 되었습니다. 하지만 무엇보다 움직임이 직관적이고 자연스럽게 느껴졌습니다.

이것이 바로 좋은 컴퓨터 UI의 핵심입니다. 소프트웨어 및 장치를 보다 자연스럽게 사용할 수 있는 방법을 구축하는 것입니다. 그리고 이것이 여러분이 배우려는 미래의 UI 장치를 안내할 핵심 원칙입니다.

공중에 찌르고, 꼬집고, 쓸어 넘기기

2018년 현재 많은 선진국에서 스마트폰이 표준 휴대전화를 대체했습니다. 이것은 세계의 많은 부분이 이제 위에서 언급한 다양한 촉각 명령에 익숙하다는 것을 의미합니다. 스마트폰 사용자는 앱과 게임을 통해 주머니에 있는 상대적인 슈퍼컴퓨터를 제어하는 다양한 추상 기술을 배웠습니다.

이러한 기술은 소비자가 디지털 세계를 실제 환경과 보다 쉽게 통합할 수 있도록 하는 차세대 장치 물결에 대비할 수 있도록 하는 것입니다. 이제 미래 세계를 탐색하는 데 사용할 몇 가지 도구를 살펴보겠습니다.

야외 제스처 제어. 2018년 현재, 우리는 여전히 터치 컨트롤의 마이크로 시대에 있습니다. 우리는 여전히 모바일 생활을 통해 찌르고, 꼬집고, 쓸어 넘깁니다. 그러나 그 터치 컨트롤은 서서히 개방형 제스처 컨트롤의 형태로 자리를 내주고 있습니다. 외부 게이머의 경우 이것에 대한 첫 번째 상호 작용은 과도한 Nintendo Wii 게임 또는 Xbox Kinect 게임을 하는 것일 수 있습니다. 두 콘솔 모두 고급 모션 캡처 기술을 사용하여 플레이어의 움직임을 게임 아바타와 일치시킵니다.

글쎄요, 이 기술은 비디오 게임과 그린 스크린 영화 제작에만 국한되지 않고 곧 더 광범위한 소비자 전자 제품 시장에 진입할 것입니다. 이것이 어떻게 생겼는지 보여주는 한 가지 놀라운 예는 Project Soli라는 Google 벤처입니다. 여기에서 지금 확인해 보세요.). 이 프로젝트의 개발자는 소형 레이더를 사용하여 손과 손가락의 미세한 움직임을 추적하여 화면이 아닌 야외에서 찌르고 꼬집고 쓸어넘기기를 시뮬레이션합니다. 이것은 웨어러블을 사용하기 쉽게 만들고 더 많은 청중에게 더 매력적으로 만드는 데 도움이 되는 기술입니다.

XNUMX차원 인터페이스. 이 야외 제스처 제어를 자연스럽게 진행하면서 2020년대 중반까지 전통적인 데스크탑 인터페이스(신뢰할 수 있는 키보드 및 마우스)가 영화 마이너리티(Minority)에서 대중화된 동일한 스타일로 제스처 인터페이스로 서서히 대체되는 것을 볼 수 있습니다. 보고서. 사실, UI 연구원이자 과학 고문이자 Minority Report의 홀로그램 제스처 인터페이스 장면의 발명가인 John Underkoffler는 현재 실제 버전—그가 인간-기계 인터페이스 공간 운영 환경이라고 부르는 기술. (그는 아마도 그것에 대한 편리한 약어를 만들어야 할 것입니다.)

이 기술을 사용하면 언젠가는 대형 디스플레이 앞에 앉거나 서서 다양한 손 제스처를 사용하여 컴퓨터에 명령을 내릴 수 있습니다. 정말 멋져 보이지만(위 링크 참조) 짐작할 수 있듯이 손 제스처는 TV 채널을 건너뛰거나 링크를 가리키거나 클릭하거나 XNUMX차원 모델을 디자인하는 데 유용할 수 있지만 긴 글을 쓸 때는 잘 작동하지 않습니다. 에세이. 그렇기 때문에 야외 제스처 기술이 점점 더 많은 소비자 가전에 포함됨에 따라 고급 음성 명령 및 홍채 추적 기술과 같은 보완적인 UI 기능과 결합될 가능성이 높습니다.

예, 겸손한 물리적 키보드가 2020년대까지 살아남을 수 있습니다.

햅틱 홀로그램. 우리 모두가 직접 또는 영화에서 본 홀로그램은 물체나 공중에 떠 있는 사람을 보여주는 빛의 2D 또는 3D 투영인 경향이 있습니다. 이 모든 예상의 공통점은 손을 뻗어 그것을 잡으려고 손을 뻗으면 한 줌의 공기만 얻을 수 있다는 것입니다. 2020년대 중반까지는 그렇지 않을 것입니다.

새로운 기술(예제 참조: 한 와 두)은 만질 수 있는(또는 최소한 촉각, 즉 햅틱을 모방한) 홀로그램을 만들기 위해 개발되고 있습니다. 사용된 기술에 따라 초음파 또는 플라즈마 투영이든지 햅틱 홀로그램은 우리가 실제 세계에서 사용할 수 있는 완전히 새로운 디지털 제품 산업을 열 것입니다.

생각해 보세요. 물리적 키보드 대신 홀로그램 키보드를 사용하여 방에 서 있는 모든 위치에서 물리적으로 타이핑하는 느낌을 줄 수 있습니다. 이 기술은 주류가 될 것입니다 마이너리티 리포트 공개 인터페이스 그리고 아마도 전통적인 데스크탑의 시대를 끝낼 것입니다.

상상해 보세요. 부피가 큰 노트북을 들고 다니는 대신 터치 가능한 디스플레이 화면과 키보드 홀로그램을 투영할 수 있는 작은 정사각형 웨이퍼(얇은 외장 하드 드라이브 크기일 수 있음)를 휴대할 수 있습니다. 한 걸음 더 나아가 책상과 의자만 있는 사무실을 상상해 보세요. 간단한 음성 명령으로 홀로그램 워크스테이션, 벽 장식, 식물 등 사무실 전체가 주변에 투영됩니다. 미래의 가구 또는 장식 쇼핑 이케아 방문과 함께 앱 스토어 방문이 포함될 수 있습니다.

가상 비서에게 말하기

터치 UI를 천천히 재구상하는 동안 일반 사용자에게 훨씬 더 직관적으로 느껴질 수 있는 새롭고 상호 보완적인 형태의 UI가 등장하고 있습니다. 바로 음성입니다.

Amazon은 인공 지능(AI) 개인 비서 시스템인 Alexa와 함께 출시한 다양한 음성 인식 홈 비서 제품을 출시하여 문화적 반향을 일으켰습니다. AI의 선두주자로 여겨지는 구글은 자체 홈 어시스턴트 제품군을 내놓으며 서둘러 뒤를 이었다. 그리고 이 두 기술 거물 간의 결합된 수십억 개의 경쟁으로 인해 일반 소비자 시장에서 음성 인식, AI 제품 및 비서가 빠르고 광범위하게 수용되었습니다. 이 기술은 아직 초기 단계이지만 이러한 초기 성장 속도를 과소 평가해서는 안 됩니다.

Amazon의 Alexa, Google의 Assistant, iPhone의 Siri 또는 Windows Cortana를 선호하는지 여부에 관계없이 이러한 서비스는 휴대전화나 스마트 장치와 인터페이스하고 간단한 언어 명령으로 웹의 지식 은행에 액세스하여 이러한 '가상 도우미'에게 무엇을 알려줄 수 있도록 설계되었습니다. 당신이 원하는.

엔지니어링의 놀라운 위업입니다. 그리고 비록 완벽하지는 않지만 기술은 빠르게 개선되고 있습니다. 예를 들어 구글 발표 2015년 2020월에는 음성 인식 기술의 오류율이 XNUMX%에 불과하며 줄어들고 있다고 밝혔습니다. 이 떨어지는 오류율과 마이크로칩 및 클라우드 컴퓨팅에서 발생하는 대규모 혁신(다음 시리즈 장에서 설명)을 결합하면 가상 비서가 XNUMX년까지 상당히 정확해질 것으로 기대할 수 있습니다.

더욱이 현재 엔지니어링되고 있는 가상 비서는 귀하의 연설을 완벽하게 이해할 뿐만 아니라 귀하가 묻는 질문의 배경도 이해할 것입니다. 그들은 당신의 목소리 톤에 의해 발산되는 간접적인 신호를 인식할 것입니다. 그들은 심지어 당신과 긴 형식의 대화에 참여할 것입니다. 그녀의-스타일.

전반적으로 음성 인식 기반 가상 비서는 일상적인 정보 요구를 위해 웹에 액세스하는 주요 방법이 될 것입니다. 한편, 앞서 살펴본 물리적 형태의 UI는 여가 및 업무 중심의 디지털 활동을 지배할 가능성이 높습니다. 그러나 이것이 UI 여정의 끝이 아닙니다.

웨어러블

주변 세계와 디지털 방식으로 상호 작용할 수 있도록 착용하거나 신체 내부에 삽입하는 장치인 웨어러블에 대해서도 언급하지 않고 UI에 대해 논의할 수 없습니다. 음성 비서와 마찬가지로 이러한 장치는 우리가 디지털 공간에 참여하는 방식을 지원하는 역할을 합니다. 특정 상황에서 특정 목적을 위해 사용할 것입니다. 그러나 우리가 쓴 이후 웨어러블에 대한 전체 장 우리의 인터넷의 미래 시리즈, 우리는 여기에서 더 자세히 설명하지 않습니다.

우리의 현실을 증강

앞으로 위에서 언급한 모든 기술을 통합하는 것은 가상 현실과 증강 현실입니다.

기본 수준에서 증강 현실(AR)은 기술을 사용하여 현실 세계에 대한 인식을 디지털 방식으로 수정하거나 향상시키는 것입니다(Snapchat 필터 생각). 이것은 현실 세계가 시뮬레이션된 세계로 대체되는 가상 현실(VR)과 혼동되어서는 안 됩니다. AR을 사용하면 실시간으로 세상을 더 잘 탐색하고 현실을 풍부하게 만드는 데 도움이 되는 컨텍스트 정보가 풍부한 다양한 필터와 레이어를 통해 주변 세상을 볼 수 있습니다. VR부터 시작하여 양 극단을 간략하게 살펴보겠습니다.

가상 현실. 기본 수준에서 가상 현실(VR)은 기술을 사용하여 현실에 대한 몰입감 있고 설득력 있는 시청각 환상을 디지털 방식으로 만드는 것입니다. 그리고 현재(2018) 대중 시장에서 수용되기 전에 다양한 기술 및 사회적 장애물을 겪고 있는 AR과 달리 VR은 대중 문화에서 수십 년 동안 존재해 왔습니다. 우리는 다양한 미래 지향적인 영화와 텔레비전 쇼에서 그것을 보았습니다. 우리 중 많은 사람들은 오래된 아케이드와 기술 지향적인 컨퍼런스 및 무역 박람회에서 VR의 원시 버전을 사용해 보기까지 했습니다.

이번에 달라진 점은 오늘날의 VR 기술이 그 어느 때보다 더 쉽게 접근할 수 있다는 점입니다. 다양한 핵심 기술(원래 스마트폰을 만드는 데 사용됨)의 소형화 덕분에 VR 헤드셋의 가격은 Facebook, Sony 및 Google과 같은 강국 회사가 이제 매년 대중에게 저렴한 VR 헤드셋을 출시하는 지점까지 분화했습니다.

이것은 완전히 새로운 대중 시장 매체의 시작을 나타내며 수천 명의 소프트웨어 및 하드웨어 개발자를 점차적으로 끌어들일 것입니다. 실제로 2020년대 후반까지 VR 앱과 게임은 기존 모바일 앱보다 더 많은 다운로드를 생성할 것입니다.

교육, 고용 교육, 비즈니스 회의, 가상 관광, 게임 및 엔터테인먼트 등은 저렴하고 사용자 친화적이며 사실적인 VR이 향상시킬 수 있고 향상시킬 수 있는 많은 응용 프로그램 중 일부일 뿐입니다(완전히 방해가 되지는 않더라도). 그러나 공상과학 소설과 영화에서 보던 것과 달리 사람들이 하루 종일 VR 세계에서 보내는 미래는 수십 년이 걸립니다. 즉, 우리가 하루 종일 사용하는 것은 AR입니다.

증강 현실. 앞서 언급했듯이 AR의 목표는 현실 세계에 대한 인식 위에 디지털 필터 역할을 하는 것입니다. AR은 주변을 볼 때 환경에 대한 인식을 향상 또는 변경하거나 환경을 더 잘 이해하는 데 도움이 될 수 있는 유용하고 상황에 맞는 정보를 제공할 수 있습니다. 이것이 어떻게 보이는지 더 잘 이해하려면 아래 비디오를 확인하십시오.

첫 번째 비디오는 AR의 신흥 리더인 Magic Leap의 동영상입니다.

다음은 6년대까지 AR이 어떻게 보일지에 대한 Keiichi Matsuda의 단편 영화(2030분)입니다.

위의 비디오에서 AR 기술이 언젠가는 거의 무한한 수의 응용 프로그램을 활성화할 수 있음을 상상할 수 있습니다. 바로 이러한 이유로 기술의 가장 큰 플레이어 대부분이—구글, Apple, 페이스북, Microsoft, 바이두, 인텔등이 이미 AR 연구에 막대한 투자를 하고 있습니다.

앞서 설명한 홀로그램 및 야외 제스처 인터페이스를 기반으로 하는 AR은 결국 소비자가 지금까지 성장해 온 대부분의 기존 컴퓨터 인터페이스를 없앨 것입니다. 예를 들어, AR 안경을 끼고 가상 데스크톱이나 노트북이 눈앞에 나타나는 것을 볼 수 있는데 왜 데스크톱이나 노트북 컴퓨터를 소유해야 할까요? 마찬가지로 AR 안경(및 이후 AR 콘택트 렌즈)은(는) 물리적 스마트폰을 없앨 것입니다. 아, 그리고 TV를 잊지 말자. 즉, 오늘날의 대부분의 대형 전자 제품은 앱 형태로 디지털화될 것입니다.

미래의 AR 운영 체제 또는 디지털 환경을 제어하기 위해 조기에 투자하는 회사는 오늘날 전자 부문의 많은 부분을 효과적으로 파괴하고 통제할 수 있습니다. 한편, AR은 헬스케어, 디자인/건축, 물류, 제조, 군사 등과 같은 분야에서 다양한 비즈니스 애플리케이션을 갖게 될 것이며, 우리는 인터넷의 미래 시리즈에서 더 자세히 논의할 애플리케이션을 갖게 될 것입니다.

그러나 이것이 UI의 미래가 끝나는 곳이 아닙니다.

두뇌-컴퓨터 인터페이스로 매트릭스에 들어가다

기계를 제어할 때 움직임, 말, AR보다 훨씬 더 직관적이고 자연스러운 또 다른 형태의 커뮤니케이션이 있습니다. 바로 생각 자체입니다.

이 과학은 BCI(Brain-Computer Interface)라는 생체 전자 분야입니다. 여기에는 뇌 스캔 장치나 임플란트를 사용하여 뇌파를 모니터링하고 컴퓨터에서 실행되는 모든 것을 제어하는 명령과 연결하는 작업이 포함됩니다.

사실 깨닫지 못했을 수도 있지만 BCI의 초창기는 이미 시작되었습니다. 절단 환자는 지금 로봇 팔다리 테스트 착용자의 그루터기에 부착된 센서 대신 마음에 의해 직접 제어됩니다. 마찬가지로, 중증 장애가 있는 사람들(예: 사지마비 환자)은 이제 BCI를 사용하여 전동 휠체어 조종 로봇 팔을 조작합니다. 그러나 절단 장애인과 장애인이 보다 독립적인 삶을 영위할 수 있도록 돕는 것은 BCI가 할 수 있는 범위가 아닙니다. 현재 진행 중인 실험의 간단한 목록은 다음과 같습니다.

통제하는 것. 연구원들은 BCI를 통해 사용자가 가정 기능(조명, 커튼, 온도)은 물론 다양한 기타 장치 및 차량을 제어할 수 있는 방법을 성공적으로 시연했습니다. 보다 데모 비디오.

동물을 제어합니다. 실험실은 인간이 만들 수 있는 BCI 실험을 성공적으로 테스트했습니다. 실험용 쥐가 꼬리를 움직인다 그의 생각만을 사용합니다.

두뇌 대 텍스트. 마비된 남자 뇌 임플란트를 사용 분당 여덟 단어를 입력합니다. 한편, 팀 US 와 독일 뇌파(생각)를 텍스트로 해독하는 시스템을 개발 중입니다. 초기 실험은 성공적인 것으로 입증되었으며 이 기술이 평범한 사람을 도울 뿐만 아니라 심각한 장애가 있는 사람들(예: 유명한 물리학자 스티븐 호킹)이 세상과 더 쉽게 소통할 수 있는 능력을 제공할 수 있기를 바랍니다.

두뇌 대 두뇌. 국제 과학자 팀은 텔레파시를 흉내내다 인도에서 온 한 사람이 "안녕하세요"라는 단어를 생각하게 하고 BCI를 통해 그 단어를 뇌파에서 이진 코드로 변환한 다음 프랑스로 이메일을 보냈습니다. . 두뇌 대 두뇌 커뮤니케이션, 여러분!

꿈과 추억을 기록합니다. 캘리포니아 버클리의 연구원들은 믿을 수 없는 발전을 이루었습니다. 뇌파를 이미지로. BCI 센서에 연결되어 있는 동안 테스트 대상에게 일련의 이미지가 제공되었습니다. 그런 다음 동일한 이미지를 컴퓨터 화면에 재구성했습니다. 재구성된 이미지는 매우 거칠었지만 약 XNUMX년의 개발 시간을 감안할 때 이 개념 증명을 통해 언젠가는 GoPro 카메라를 버리거나 꿈을 기록할 수 있을 것입니다.

우리는 마법사가 될 것입니다, 당신은 말?

처음에는 헬멧이나 헤어밴드(2030년대)처럼 보이는 BCI용 외부 장치를 사용하여 결국 뇌 이식(2040년대 후반)에 자리를 내줄 것입니다. 궁극적으로 이러한 BCI 장치는 우리의 마음을 디지털 클라우드에 연결하고 나중에 마음의 세 번째 반구 역할을 합니다. 따라서 왼쪽 및 오른쪽 반구가 창의력과 논리 능력을 관리하는 동안 이 새로운 클라우드 기반 디지털 반구는 능력을 촉진할 것입니다. 인간은 종종 속도, 반복 및 정확성과 같은 AI 대응물에 미치지 못합니다.

BCI는 우리의 마음을 기계와 병합하여 두 세계의 강점을 얻는 것을 목표로 하는 신경 기술의 신흥 분야의 핵심입니다. 2030년대까지 그리고 2040년대 후반까지 주류가 된 인간은 BCI를 사용하여 뇌를 업그레이드하고 서로 및 동물과 의사 소통하고 컴퓨터와 전자 제품을 제어하고 기억과 꿈을 공유하고 웹을 탐색할 것입니다.

당신이 무슨 생각을 하는지 알아요: 예, 빠르게 확대되었습니다..

그러나 이러한 모든 UI 발전이 흥미진진한 만큼 컴퓨터 소프트웨어 및 하드웨어의 흥미진진한 발전 없이는 결코 가능하지 않을 것입니다. 이러한 돌파구는 이 컴퓨터의 미래 시리즈의 나머지 부분에서 탐구할 것입니다.