Quantumrun

BILDEKREDITT: Quantumrun

Si farvel til musen og tastaturet, nye brukergrensesnitt for å omdefinere menneskeheten: Fremtiden til datamaskiner P1

David Tal, utgiver, fremtidsforsker
@DavidTalWrites
Linkedin

tirsdag 09 - 15:2020

Først var det hullkort; så var det den ikoniske musen og tastaturet. Verktøyene og systemene vi bruker for å kommunisere med datamaskiner er det som lar oss kontrollere og bygge verden rundt oss på måter som våre forfedre ikke kan forestille seg. Vi har kommet langt for å være sikre, men når det kommer til feltet brukergrensesnitt (UI, måten vi samhandler med datasystemer), har vi ikke sett noe ennå.

Noen vil kanskje si det er rart å starte vår Future of Computers-serie med et kapittel om brukergrensesnitt, men det er hvordan vi bruker datamaskiner som vil gi mening til innovasjonene vi utforsker i resten av denne serien.

Hver gang menneskeheten fant opp en ny form for kommunikasjon – det være seg tale, det skrevne ord, trykkpressen, telefonen, Internett – blomstret vårt kollektive samfunn med nye ideer, nye former for fellesskap og helt nye industrier. Det kommende tiåret vil se den neste evolusjonen, det neste kvantespranget i kommunikasjon og sammenkobling, fullstendig formidlet av en rekke fremtidige datamaskingrensesnitt ... og det kan bare omforme hva det vil si å være menneske.

Hva er "godt" brukergrensesnitt, forresten?

Tiden med å stikke, klype og sveipe på datamaskiner for å få dem til å gjøre det vi ønsket begynte for over et tiår siden. For mange startet det med iPod. Der vi en gang var vant til å klikke, skrive og trykke ned mot solide knapper for å kommunisere våre testamenter til maskiner, populariserte iPod konseptet med å sveipe til venstre eller høyre på en sirkel for å velge musikken du ville høre på.

Berøringsskjerm-smarttelefoner kom inn på markedet kort tid etter det, og introduserte en rekke andre taktile kommandoprompter som poke (for å simulere å trykke på en knapp), klype (for å zoome inn og ut), trykk, hold og dra. Disse taktile kommandoene fikk raskt gjennomslag blant publikum av en rekke årsaker: De var nye. Alle de kule (kjente) barna gjorde det. Berøringsskjermteknologi ble billig og mainstream. Men mest av alt føltes bevegelsene intuitive, naturlige.

Det er det gode datamaskingrensesnitt handler om: Å bygge mer naturlige måter å engasjere seg med programvare og enheter på. Og det er kjerneprinsippet som vil lede de fremtidige UI-enhetene du er i ferd med å lære om.

Pokker, klyper og sveiper i luften

Fra og med 2018 har smarttelefoner erstattet standard mobiltelefoner i store deler av den utviklede verden. Dette betyr at en stor del av verden nå er kjent med de forskjellige taktile kommandoene nevnt ovenfor. Gjennom apper og spill har smarttelefonbrukere lært et stort utvalg abstrakte ferdigheter for å kontrollere de relative superdatamaskinene som sitter i lommen.

Det er disse ferdighetene som vil forberede forbrukerne for den neste bølgen av enheter – enheter som vil tillate oss å lettere slå sammen den digitale verden med våre virkelige miljøer. Så la oss ta en titt på noen av verktøyene vi skal bruke for å navigere i vår fremtidige verden.

Utendørs gestkontroll. Fra 2018 er vi fortsatt i mikroalderen for berøringskontroll. Vi pirker, klyper og sveiper oss fortsatt gjennom mobillivet vårt. Men den berøringskontrollen viker sakte for en form for friluftsbevegelseskontroll. For spillerne der ute, kan den første interaksjonen din med dette ha vært å spille overaktive Nintendo Wii-spill eller Xbox Kinect-spillene – begge konsollene bruker avansert motion-capture-teknologi for å matche spillerbevegelser med spillavatarer.

Vel, denne teknologien forblir ikke begrenset til videospill og filmskaping på grønn skjerm, den vil snart gå inn på det bredere markedet for forbrukerelektronikk. Et slående eksempel på hvordan dette kan se ut er en Google-satsing ved navn Project Soli (se den fantastiske og korte demovideoen her.). Utviklere av dette prosjektet bruker miniatyrradar for å spore de fine bevegelsene til hånden og fingrene for å simulere stikk, klyping og sveip i friluft i stedet for mot en skjerm. Dette er den typen teknologi som vil bidra til å gjøre wearables enklere å bruke, og dermed mer attraktive for et bredere publikum.

Tredimensjonalt grensesnitt. Ved å ta denne friluftsbevegelseskontrollen videre langs sin naturlige progresjon, på midten av 2020-tallet, kan vi se det tradisjonelle skrivebordsgrensesnittet – det pålitelige tastaturet og musen – sakte erstattet av gestgrensesnittet, i samme stil popularisert av filmen Minority Rapportere. Faktisk jobber John Underkoffler, UI-forsker, vitenskapsrådgiver og oppfinner av de holografiske gestgrensesnittscenene fra Minority Report, med den virkelige versjonen— en teknologi han omtaler som et romlig driftsmiljø for menneske-maskin-grensesnitt. (Han må nok komme opp et praktisk akronym for det.)

Ved å bruke denne teknologien vil du en dag sitte eller stå foran en stor skjerm og bruke forskjellige håndbevegelser for å styre datamaskinen din. Det ser veldig kult ut (se lenken over), men som du kanskje gjetter, kan håndbevegelser være flotte for å hoppe over TV-kanaler, peke/klikke på lenker eller designe tredimensjonale modeller, men de vil ikke fungere så bra når du skriver lenge essays. Det er derfor, ettersom friluftsbevegelsesteknologi gradvis inkluderes i mer og mer forbrukerelektronikk, vil den sannsynligvis få selskap av komplementære brukergrensesnittfunksjoner som avansert stemmekommando og irissporingsteknologi.

Ja, det ydmyke, fysiske tastaturet kan fortsatt overleve inn i 2020-årene.

Haptiske hologrammer. Hologrammene vi alle har sett personlig eller i filmene har en tendens til å være 2D- eller 3D-projeksjoner av lys som viser objekter eller mennesker som svever i luften. Felles for disse anslagene er at hvis du strakte deg for å gripe dem, ville du bare få en håndfull luft. Det vil ikke være tilfelle på midten av 2020-tallet.

Nye teknologier (se eksempler: en og to) utvikles for å lage hologrammer du kan berøre (eller i det minste etterligne følelsen av berøring, dvs. haptics). Avhengig av teknikken som brukes, enten det er ultralydbølger eller plasmaprojeksjon, vil haptiske hologrammer åpne opp for en helt ny industri av digitale produkter som vi kan bruke i den virkelige verden.

Tenk på det, i stedet for et fysisk tastatur, kan du ha et holografisk tastatur som kan gi deg den fysiske følelsen av å skrive, uansett hvor du står i et rom. Denne teknologien er det som vil mainstreame Minoritetsrapport utendørs grensesnitt og muligens avslutte alderen til det tradisjonelle skrivebordet.

Tenk deg dette: I stedet for å bære rundt på en klumpete bærbar PC, kan du en dag bære en liten firkantet skive (kanskje på størrelse med en tynn ekstern harddisk) som kan projisere en berørbar skjerm og et tastaturhologram. Ta et skritt videre, forestill deg et kontor med bare et skrivebord og en stol, og med en enkel talekommando projiserer et helt kontor seg rundt deg – en holografisk arbeidsstasjon, veggdekorasjoner, planter osv. Handle møbler eller dekorasjon i fremtiden kan innebære et besøk i appbutikken sammen med et besøk på Ikea.

Snakker med den virtuelle assistenten din

Mens vi sakte gjenskaper berøringsgrensesnittet, dukker det opp en ny og komplementær form for brukergrensesnitt som kan føles enda mer intuitivt for den gjennomsnittlige personen: tale.

Amazon gjorde en kulturell sprut med utgivelsen av sitt kunstig intelligente (AI) personlige assistentsystem, Alexa, og de forskjellige stemmeaktiverte hjemmeassistentproduktene den ga ut ved siden av. Google, den antatte lederen innen AI, skyndte seg å følge etter med sin egen pakke med hjemmeassistentprodukter. Og sammen har den kombinerte multi-milliardkonkurransen mellom disse to teknologigigantene ført til en rask, utbredt aksept av stemmeaktiverte AI-produkter og assistenter i det generelle forbrukermarkedet. Og selv om det fortsatt er tidlig for denne teknologien, bør denne tidlige vekstspurten ikke undervurderes.

Enten du foretrekker Amazons Alexa, Googles assistent, iPhones Siri eller Windows Cortana, er disse tjenestene utviklet for å la deg kommunisere med telefonen eller smartenheten din og få tilgang til kunnskapsbanken på nettet med enkle verbale kommandoer, og forteller disse 'virtuelle assistentene' hva du vil.

Det er en fantastisk ingeniørkunst. Og selv om det ikke er helt perfekt, forbedres teknologien raskt; for eksempel Google annonsert i mai 2015 at talegjenkjenningsteknologien nå bare har åtte prosent feilrate, og krymper. Når du kombinerer denne fallende feilraten med de enorme innovasjonene som skjer med mikrobrikker og cloud computing (skissert i de kommende seriekapitlene), kan vi forvente at virtuelle assistenter vil bli behagelig nøyaktige innen 2020.

Enda bedre, de virtuelle assistentene som for øyeblikket blir konstruert vil ikke bare forstå talen din perfekt, men de vil også forstå konteksten bak spørsmålene du stiller; de vil gjenkjenne de indirekte signalene fra stemmen din; de vil til og med delta i langvarige samtaler med deg, Her-stil.

Totalt sett vil stemmegjenkjenningsbaserte virtuelle assistenter bli den primære måten vi får tilgang til nettet for våre daglige informasjonsbehov. I mellomtiden vil de fysiske formene for brukergrensesnitt som ble utforsket tidligere trolig dominere våre fritids- og arbeidsfokuserte digitale aktiviteter. Men dette er ikke slutten på vår UI-reise, langt ifra.

wearables

Vi kan ikke diskutere brukergrensesnitt uten også å nevne wearables – enheter du har på deg eller til og med setter inn i kroppen din for å hjelpe deg med å samhandle digitalt med verden rundt deg. I likhet med stemmeassistenter vil disse enhetene spille en støttende rolle i hvordan vi engasjerer oss i det digitale rommet; vi vil bruke dem til spesifikke formål i spesifikke sammenhenger. Men siden vi skrev en hele kapittelet om wearables i vår Internetts fremtid serien, vil vi ikke gå i flere detaljer her.

Forsterker vår virkelighet

Når vi går fremover, integrerer alle teknologiene nevnt ovenfor, virtuell virkelighet og utvidet virkelighet.

På et grunnleggende nivå er utvidet virkelighet (AR) bruken av teknologi for å digitalt modifisere eller forbedre din oppfatning av den virkelige verden (tenk Snapchat-filtre). Dette må ikke forveksles med virtuell virkelighet (VR), hvor den virkelige verden er erstattet av en simulert verden. Med AR vil vi se verden rundt oss gjennom forskjellige filtre og lag rike på kontekstuell informasjon som vil hjelpe oss å bedre navigere i verden i sanntid og (uten tvil) berike virkeligheten vår. La oss kort utforske begge ytterpunktene, og starter med VR.

Virtuell virkelighet. På et grunnleggende nivå er virtuell virkelighet (VR) bruken av teknologi for å digitalt skape en oppslukende og overbevisende audiovisuell illusjon av virkeligheten. Og i motsetning til AR, som for tiden (2018) lider av et stort utvalg av teknologiske og sosiale hindringer før den får aksept i massemarkedet, har VR eksistert i flere tiår i populærkulturen. Vi har sett det i et stort utvalg av fremtidsorienterte filmer og TV-serier. Mange av oss har til og med prøvd primitive versjoner av VR på gamle arkader og teknologiorienterte konferanser og messer.

Det som er annerledes denne gangen er at dagens VR-teknologi er mer tilgjengelig enn noen gang. Takket være miniatyriseringen av ulike nøkkelteknologier (opprinnelig brukt til å lage smarttelefoner), har kostnadene for VR-headset krateret til et punkt hvor kraftselskaper som Facebook, Sony og Google nå årlig slipper rimelige VR-headset til massene.

Dette representerer starten på et helt nytt massemarkedsmedium, et som gradvis vil tiltrekke seg tusenvis av programvare- og maskinvareutviklere. Faktisk, på slutten av 2020-tallet, vil VR-apper og -spill generere flere nedlastinger enn tradisjonelle mobilapper.

Utdanning, arbeidsopplæring, forretningsmøter, virtuell turisme, spill og underholdning – dette er bare noen få av de mange applikasjonene som er billige, brukervennlige og realistiske VR kan og vil forbedre (om ikke helt forstyrre). Men i motsetning til det vi har sett i sci-fi-romaner og -filmer, er fremtiden der folk tilbringer hele dagen i VR-verdener flere tiår unna. Når det er sagt, det vi skal bruke hele dagen på er AR.

Utvidet virkelighet. Som nevnt tidligere, er målet med AR å fungere som et digitalt filter på toppen av din oppfatning av den virkelige verden. Når du ser på omgivelsene dine, kan AR forbedre eller endre din oppfatning av miljøet ditt eller gi nyttig og kontekstuelt relevant informasjon som kan hjelpe deg til å bedre forstå miljøet ditt. For å gi deg en bedre følelse av hvordan dette kan se ut, sjekk ut videoene nedenfor:

Den første videoen er fra den nye lederen i AR, Magic Leap:

Deretter er en kortfilm (6 min) fra Keiichi Matsuda om hvordan AR kan se ut på 2030-tallet:

Fra videoene ovenfor kan du forestille deg det nesten ubegrensede antallet applikasjoner AR-teknologi en dag vil muliggjøre, og det er av den grunn at de fleste av teknologiens største aktører—Google, eple, Facebook , Microsoft, Baidu, Intel, og flere – investerer allerede tungt i AR-forskning.

Ved å bygge på de holografiske og friluftsbevegelsesgrensesnittene beskrevet tidligere, vil AR til slutt gjøre unna de fleste tradisjonelle datamaskingrensesnittene forbrukere har vokst opp med så langt. For eksempel, hvorfor eie en stasjonær eller bærbar datamaskin når du kan ta på deg et par AR-briller og se en virtuell stasjonær eller bærbar datamaskin dukke opp rett foran deg. På samme måte vil AR-brillene dine (og senere AR kontaktlinser) vil gjøre unna din fysiske smarttelefon. Å, og la oss ikke glemme TV-ene dine. Det meste av dagens store elektronikk vil med andre ord bli digitalisert i form av en app.

Selskapene som investerer tidlig for å kontrollere fremtidige AR-operativsystemer eller digitale miljøer, vil effektivt forstyrre og ta kontroll over en stor prosentandel av dagens elektronikksektor. På siden vil AR også ha en rekke forretningsapplikasjoner innen sektorer som helsevesen, design/arkitektur, logistikk, produksjon, militær og mer, applikasjoner vi diskuterer videre i vår Future of the Internet-serie.

Og likevel er det fortsatt ikke her fremtiden til UI slutter.

Gå inn i matrisen med hjerne-datamaskingrensesnitt

Det er enda en form for kommunikasjon som er enda mer intuitiv og naturlig enn bevegelse, tale og AR når det gjelder å kontrollere maskiner: selve tanken.

Denne vitenskapen er et bioelektronikkfelt kalt Brain-Computer Interface (BCI). Det innebærer å bruke en hjerneskanningsenhet eller et implantat for å overvåke hjernebølgene dine og assosiere dem med kommandoer for å kontrollere alt som drives av en datamaskin.

Faktisk har du kanskje ikke innsett det, men de første dagene av BCI har allerede begynt. Amputerte er nå testing av robotlemmer kontrollert direkte av sinnet, i stedet for gjennom sensorer festet til brukerens stump. På samme måte er personer med alvorlige funksjonshemminger (som personer med quadriplegi) nå bruker BCI til å styre sine motoriserte rullestoler og manipulere robotarmer. Men å hjelpe amputerte og personer med nedsatt funksjonsevne til å leve mer selvstendige liv er ikke omfanget av hva BCI vil være i stand til. Her er en kort liste over eksperimentene som nå er i gang:

Kontrollere ting. Forskere har med suksess demonstrert hvordan BCI kan tillate brukere å kontrollere husholdningsfunksjoner (belysning, gardiner, temperatur), samt en rekke andre enheter og kjøretøy. Se demonstrasjonsvideoen.

Kontrollere dyr. Et laboratorium testet vellykket et BCI-eksperiment der et menneske var i stand til å lage en laboratorierotte beveger halen bruker bare tankene hans.

Hjerne-til-tekst. En lammet mann brukte et hjerneimplantat å skrive åtte ord per minutt. I mellomtiden har lag i US og Tyskland utvikler et system som dekoder hjernebølger (tanker) til tekst. De første eksperimentene har vist seg vellykkede, og de håper denne teknologien ikke bare kan hjelpe den gjennomsnittlige personen, men også gi mennesker med alvorlige funksjonshemminger (som den anerkjente fysikeren Stephen Hawking) muligheten til å kommunisere med verden lettere.

Hjerne-til-hjerne. Et internasjonalt team av forskere var i stand til det etterligne telepati ved å la en person fra India tenke ordet «hei», og gjennom BCI, ble det ordet konvertert fra hjernebølger til binær kode, og deretter sendt til Frankrike, hvor den binære koden ble konvertert tilbake til hjernebølger, for å bli oppfattet av den mottakende personen . Hjerne-til-hjerne-kommunikasjon, folkens!

Registrerer drømmer og minner. Forskere ved Berkeley, California, har gjort utrolige fremskritt med å konvertere hjernebølger til bilder. Testpersoner ble presentert med en serie bilder mens de var koblet til BCI-sensorer. De samme bildene ble deretter rekonstruert på en dataskjerm. De rekonstruerte bildene var veldig kornete, men gitt omtrent et tiår med utviklingstid, vil dette proof of concept en dag tillate oss å droppe GoPro-kameraet vårt eller til og med ta opp drømmene våre.

Vi kommer til å bli trollmenn, sier du?

Til å begynne med vil vi bruke eksterne enheter for BCI som ser ut som en hjelm eller hårbånd (2030-tallet) som til slutt vil gi plass til hjerneimplantater (sent-2040-tallet). Til syvende og sist vil disse BCI-enhetene koble sinnene våre til den digitale skyen og senere fungere som en tredje halvkule i tankene våre – så mens vår venstre og høyre hjernehalvdel administrerer kreativiteten og logiske evnene våre, vil denne nye, sky-matede digitale halvkulen lette evner hvor mennesker ofte kommer til kort med sine AI-kolleger, nemlig hastighet, repetisjon og nøyaktighet.

BCI er nøkkelen til det fremvoksende feltet av nevroteknologi som har som mål å fusjonere våre sinn med maskiner for å få styrkene til begge verdener. Det stemmer alle, innen 2030-tallet og mainstreamet på slutten av 2040-tallet, vil mennesker bruke BCI til å oppgradere hjernen vår, samt kommunisere med hverandre og med dyr, kontrollere datamaskiner og elektronikk, dele minner og drømmer og navigere på nettet.

Jeg vet hva du tenker: Ja, det eskalerte raskt.

Men så spennende som alle disse UI-fremskrittene er, vil de aldri være mulig uten like spennende fremskritt innen dataprogramvare og maskinvare. Disse gjennombruddene er hva resten av denne Future of Computers-serien vil utforske.