Quantumrun

BILDEKREDITT: Quantumrun

Gester, hologrammer og tankeopplasting i matrisestil

David Tal, utgiver, fremtidsforsker
@DavidTalWrites
Linkedin

Onsdag 09 - 16:2020

Først var det hullkort, så var det den ikoniske musen og tastaturet. Verktøyene og systemene vi bruker for å kommunisere med datamaskiner er det som lar oss kontrollere og bygge verden rundt oss på måter som våre forfedre ikke kan forestille seg. Vi har kommet langt for å være sikre, men når det kommer til feltet brukergrensesnitt (UI, eller måten vi samhandler med datasystemer), har vi egentlig ikke sett noe ennå.

I løpet av de to siste delene av vår Future of Computers-serie har vi utforsket hvordan de kommende innovasjonene vil omforme ydmyke mikrobrikke og diskstasjon vil på sin side lansere globale revolusjoner i næringslivet og samfunnet. Men disse innovasjonene vil blekne i forhold til UI-gjennombruddene som nå blir testet i vitenskapslaboratorier og garasjer over hele verden.

Hver gang menneskeheten har funnet opp en ny form for kommunikasjon – det være seg tale, det skrevne ord, trykkpressen, telefonen, Internett – blomstret vårt kollektive samfunn med nye ideer, nye former for fellesskap og helt nye industrier. Det kommende tiåret vil se den neste evolusjonen, det neste kvantespranget i kommunikasjon og sammenkobling ... og det kan bare omforme hva det vil si å være menneske.

Hva er et godt brukergrensesnitt, forresten?

Tiden med å stikke, klype og sveipe på datamaskiner for å få dem til å gjøre det vi ønsket begynte for et tiår siden. For mange startet det med iPod. Der vi en gang var vant til å klikke, skrive og trykke ned mot solide knapper for å kommunisere våre testamenter til maskiner, populariserte iPod konseptet med å sveipe til venstre eller høyre på en sirkel for å velge musikk du ville høre på.

Smarttelefoner med berøringsskjerm begynte også å komme inn på markedet rundt den tiden, og introduserte en rekke andre taktile kommandoprompter som poke (for å simulere å trykke på en knapp), klype (for å zoome inn og ut), trykk, hold og dra (for å hoppe over mellom programmer, vanligvis). Disse taktile kommandoene fikk raskt gjennomslag blant publikum av en rekke årsaker: De var nye. Alle de kule (kjente) barna gjorde det. Berøringsskjermteknologi ble billig og mainstream. Men mest av alt føltes bevegelsene naturlige, intuitive.

Det er hva god datamaskin-UI handler om: Å bygge mer naturlige og intuitive måter å engasjere seg med programvare og enheter på. Og det er kjerneprinsippet som vil lede de fremtidige UI-enhetene du er i ferd med å lære om.

Pokker, klyper og sveiper i luften

Fra og med 2015 har smarttelefoner erstattet standard mobiltelefoner i store deler av den utviklede verden. Dette betyr at en stor del av verden nå er kjent med de forskjellige taktile kommandoene nevnt ovenfor. Gjennom apper og gjennom spill har smarttelefonbrukere lært et stort utvalg abstrakte ferdigheter for å kontrollere superdatamaskinene i lommen.

Det er disse ferdighetene som vil forberede forbrukerne for den neste bølgen av enheter – enheter som vil tillate oss å lettere slå sammen den digitale verden med våre virkelige miljøer. Så la oss ta en titt på noen av verktøyene vi skal bruke for å navigere i vår fremtidige verden.

Utendørs gestkontroll. Fra og med 2015 er vi fortsatt i mikroalderen for berøringskontroll. Vi pirker, klyper og sveiper oss fortsatt gjennom mobillivet vårt. Men den berøringskontrollen viker sakte for en form for friluftsbevegelseskontroll. For spillerne der ute, kan din første interaksjon med dette ha vært å spille overaktive Nintendo Wii-spill eller de nyeste Xbox Kinect-spillene – begge konsollene bruker avansert bevegelsesfangst-teknologi for å matche spillerbevegelser med spillavatarer.

Vel, denne teknologien holder seg ikke begrenset til videospill og filmskaping på grønn skjerm; Det vil snart gå inn på det bredere markedet for forbrukerelektronikk. Et slående eksempel på hvordan dette kan se ut er en Google-satsing ved navn Project Soli (se den fantastiske og korte demovideoen her.). Utviklere av dette prosjektet bruker miniatyrradar for å spore de fine bevegelsene til hånden og fingrene for å simulere stikk, klyping og sveip i friluft i stedet for mot en skjerm. Dette er den typen teknologi som vil bidra til å gjøre wearables enklere å bruke, og dermed mer attraktive for et bredere publikum.

Tredimensjonalt grensesnitt. Ved å ta denne friluftsbevegelseskontrollen videre langs sin naturlige progresjon, på midten av 2020-tallet, kan vi se det tradisjonelle skrivebordsgrensesnittet – det pålitelige tastaturet og musen – sakte erstattet av gestgrensesnittet, i samme stil popularisert av filmen Minority Rapportere. Faktisk jobber John Underkoffler, UI-forsker, vitenskapsrådgiver og oppfinner av de holografiske gestgrensesnittscenene fra Minority Report, med den virkelige versjonen— en teknologi han omtaler som et romlig driftsmiljø for menneske-maskin-grensesnitt.

Ved å bruke denne teknologien vil du en dag sitte eller stå foran en stor skjerm og bruke forskjellige håndbevegelser for å styre datamaskinen din. Det ser veldig kult ut (se lenken over), men som du kanskje gjetter, kan håndbevegelser være flotte for å hoppe over TV-kanaler, peke/klikke på lenker eller designe tredimensjonale modeller, men de vil ikke fungere så bra når du skriver lenge essays. Det er derfor, ettersom friluftsbevegelsesteknologi gradvis inkluderes i mer og mer forbrukerelektronikk, vil den sannsynligvis få selskap av komplementære brukergrensesnittfunksjoner som avansert stemmekommando og irissporingsteknologi.

Ja, det ydmyke, fysiske tastaturet kan fortsatt overleve inn i 2020-årene … i det minste til disse neste to innovasjonene digitaliserer det fullstendig innen slutten av dette tiåret.

Haptiske hologrammer. Hologrammene vi alle har sett personlig eller i filmene har en tendens til å være 2D- eller 3D-projeksjoner av lys som viser objekter eller mennesker som svever i luften. Felles for disse anslagene er at hvis du strakte deg for å gripe dem, ville du bare få en håndfull luft. Slik vil det ikke være lenge til.

Nye teknologier (se eksempler: en og to) utvikles for å lage hologrammer du kan berøre (eller i det minste etterligne følelsen av berøring, dvs. haptics). Avhengig av teknikken som brukes, det være seg ultralydbølger eller plasmaprojeksjon, vil haptiske hologrammer åpne opp for en helt ny industri av digitale produkter som kan brukes i den virkelige verden.

Tenk på det, i stedet for et fysisk tastatur, kan du ha et holografisk tastatur som kan gi deg den fysiske følelsen av å skrive, uansett hvor du står i et rom. Denne teknologien er det som vil mainstreame Minoritetsrapport utendørs grensesnitt og avslutte alderen til det tradisjonelle skrivebordet.

Tenk deg dette: I stedet for å bære rundt på en klumpete bærbar PC, kan du en dag bære en liten firkantet skive (kanskje på størrelse med et CD-deksel) som kan projisere en berørbar skjerm og et tastatur. Ta et skritt videre, forestill deg et kontor med bare et skrivebord og en stol, og med en enkel talekommando projiserer et helt kontor seg rundt deg – en holografisk arbeidsstasjon, veggdekorasjoner, planter osv. Handle møbler eller dekorasjon i fremtiden kan innebære et besøk i appbutikken sammen med et besøk på Ikea.

Virtual og augmented reality. I likhet med de haptiske hologrammene som er forklart ovenfor, vil virtuell og utvidet virkelighet spille en lignende rolle i brukergrensesnittet på 2020-tallet. Hver vil ha sine egne artikler for å forklare dem fullt ut, men for formålet med denne artikkelen er det nyttig å vite følgende: Virtuell virkelighet vil i stor grad være begrenset til avansert spilling, treningssimuleringer og abstrakt datavisualisering det neste tiåret.

I mellomtiden vil utvidet virkelighet ha langt bredere kommersiell appell ettersom den vil legge digital informasjon over den virkelige verden; hvis du noen gang har sett reklamevideoen for Google glass (video), så vil du forstå hvor nyttig denne teknologien en dag kan være når den modnes på midten av 2020-tallet.

Din virtuelle assistent

Vi har dekket berørings- og bevegelsesformene til brukergrensesnittet som er satt til å ta over våre fremtidige datamaskiner og elektronikk. Nå er det på tide å utforske en annen form for brukergrensesnitt som kan føles enda mer naturlig og intuitiv: tale.

De som eier de nyeste smarttelefonmodellene har mest sannsynlig allerede opplevd talegjenkjenning, enten det er i form av iPhones Siri, Androids Google Now eller Windows Cortana. Disse tjenestene er utviklet for å la deg bruke telefonen din og få tilgang til kunnskapsbanken på nettet ved å fortelle disse "virtuelle assistentene" verbalt hva du vil ha.

Det er en fantastisk ingeniørkunst, men den er heller ikke helt perfekt. Alle som har lekt med disse tjenestene vet at de ofte mistolker talen din (spesielt for de med tykke aksenter), og de gir deg av og til et svar du ikke var ute etter.

Heldigvis vil disse feilene ikke vare mye lenger. Google annonsert i mai 2015 at talegjenkjenningsteknologien nå bare har åtte prosent feilrate, og krymper. Når du kombinerer denne fallende feilraten med de enorme innovasjonene som skjer med mikrobrikker og cloud computing, kan vi forvente at virtuelle assistenter blir skremmende nøyaktige innen 2020.

Se denne videoen for et eksempel på hva som er mulig og hva som vil bli offentlig tilgjengelig om noen få år.

Det kan være sjokkerende å innse, men de virtuelle assistentene som for tiden utvikles vil ikke bare forstå talen din perfekt, men de vil også forstå konteksten bak spørsmålene du stiller; de vil gjenkjenne de indirekte signalene fra stemmen din; de vil til og med delta i lange samtaler med deg, Her-stil.

Totalt sett vil stemmegjenkjenningsbaserte virtuelle assistenter bli den primære måten vi får tilgang til nettet for våre daglige informasjonsbehov. I mellomtiden vil de fysiske formene for brukergrensesnitt som ble utforsket tidligere trolig dominere våre fritids- og arbeidsfokuserte digitale aktiviteter. Men dette er ikke slutten på vår UI-reise, langt ifra.

Gå inn i Matrix with Brain Computer Interface

Akkurat når du trodde vi hadde dekket alt, er det enda en annen form for kommunikasjon som er enda mer intuitiv og naturlig enn berøring, bevegelse og tale når det gjelder å kontrollere maskiner: selve tanken.

Denne vitenskapen er et bioelektronikkfelt kalt Brain-Computer Interface (BCI). Det innebærer å bruke et implantat eller en hjerneskanningsenhet for å overvåke hjernebølgene dine og assosiere dem med kommandoer for å kontrollere alt som drives av en datamaskin.

Faktisk har du kanskje ikke skjønt det, men de første dagene av BCI har allerede begynt. Amputerte er nå testing av robotlemmer kontrollert direkte av sinnet, i stedet for gjennom sensorer festet til brukerens stump. På samme måte er personer med alvorlige funksjonshemninger (som quadriplegics) nå bruker BCI til å styre sine motoriserte rullestoler og manipulere robotarmer. Men å hjelpe amputerte og personer med nedsatt funksjonsevne til å leve mer selvstendige liv er ikke omfanget av hva BCI vil være i stand til. Her er en kort liste over eksperimentene som nå er i gang:

Kontrollere ting. Forskere har med suksess demonstrert hvordan BCI kan tillate brukere å kontrollere husholdningsfunksjoner (belysning, gardiner, temperatur), så vel som en rekke andre enheter og kjøretøy. Se demonstrasjonsvideo.

Kontrollere dyr. Et laboratorium testet vellykket et BCI-eksperiment der et menneske var i stand til å lage en laboratorierotte beveger halen bruker bare tankene hans.

Hjerne-til-tekst. Lag i US og Tyskland utvikler et system som dekoder hjernebølger (tanker) til tekst. De første eksperimentene har vist seg vellykkede, og de håper denne teknologien ikke bare kan hjelpe den gjennomsnittlige personen, men også gi mennesker med alvorlige funksjonshemminger (som den anerkjente fysikeren Stephen Hawking) muligheten til å kommunisere med verden lettere.

Hjerne-til-hjerne. Et internasjonalt team av forskere var i stand til det etterligne telepati ved å la en person fra India tenke ordet «hei», og gjennom BCI, ble det ordet konvertert fra hjernebølger til binær kode, og deretter sendt til Frankrike, hvor den binære koden ble konvertert tilbake til hjernebølger, for å bli oppfattet av den mottakende personen . Hjerne-til-hjerne-kommunikasjon, folkens!

Registrere drømmer og minner. Forskere ved Berkeley, California, har gjort utrolige fremskritt med å konvertere hjernebølger inn i bilder. Testpersoner ble presentert med en serie bilder mens de var koblet til BCI-sensorer. De samme bildene ble deretter rekonstruert på en dataskjerm. De rekonstruerte bildene var veldig kornete, men gitt omtrent et tiår med utviklingstid, vil dette proof of concept en dag tillate oss å droppe GoPro-kameraet eller til og med ta opp drømmene våre.

Vi kommer til å bli trollmenn, sier du?

Det er riktig alle, innen 2030-tallet og mainstreamet på slutten av 2040-tallet, vil mennesker begynne å kommunisere med hverandre og med dyr, kontrollere datamaskiner og elektronikk, dele minner og drømmer og navigere på nettet, alt ved å bruke sinnet vårt.

Jeg vet hva du tenker: Ja, det eskalerte raskt. Men hva betyr alt dette? Hvordan vil disse UI-teknologiene omforme vårt delte samfunn? Vel, jeg antar at du bare må lese den siste delen av vår Future of Computers-serie for å finne det ut.