Gester, hologram och tankeuppladdning i matrisstil

Först var det hålkort, sedan var det den ikoniska musen och tangentbordet. Verktygen och systemen vi använder för att samarbeta med datorer är det som gör att vi kan kontrollera och bygga världen omkring oss på sätt som våra förfäder inte kan föreställa sig. Vi har kommit långt för att vara säkra, men när det kommer till området för användargränssnitt (UI, eller hur vi interagerar med datorsystem) har vi verkligen inte sett någonting ännu.

Under de två sista avsnitten av vår Future of Computers-serie utforskade vi hur de kommande innovationerna kommer att omforma ödmjukheten mikrochip och diskenhet kommer i sin tur att lansera globala revolutioner inom näringslivet och samhället. Men dessa innovationer kommer att blekna i jämförelse med de UI-genombrott som nu testas i vetenskapliga laboratorier och garage över hela världen.

Varje gång mänskligheten har uppfunnit en ny form av kommunikation – vare sig det är tal, det skrivna ordet, tryckpressen, telefonen, Internet – blomstrade vårt kollektiva samhälle av nya idéer, nya former av gemenskap och helt nya industrier. Det kommande decenniet kommer att se nästa evolution, nästa kvantsprång i kommunikation och sammankoppling ... och det kan bara omforma vad det innebär att vara människa.

Vad är bra användargränssnitt, egentligen?

Eran med att peta, nypa och svepa i datorer för att få dem att göra vad vi ville började för ett decennium sedan. För många började det med iPod. Där vi en gång var vana vid att klicka, skriva och trycka ner mot robusta knappar för att kommunicera våra vilja till maskiner, populariserade iPod konceptet att svepa åt vänster eller höger på en cirkel för att välja musik du ville lyssna på.

Pekskärmssmarttelefoner började komma in på marknaden runt den tiden också, och introducerade en rad andra taktila kommandoprompter som poke (för att simulera att trycka på en knapp), nypningen (för att zooma in och ut), trycka, hålla och dra (för att hoppa över mellan programmen, vanligtvis). Dessa taktila kommandon fick snabbt dragkraft bland allmänheten av ett antal anledningar: De var nya. Alla coola (berömda) barn gjorde det. Pekskärmsteknik blev billig och mainstream. Men framför allt kändes rörelserna naturliga, intuitiva.

Det är vad bra datorgränssnitt handlar om: Att bygga mer naturliga och intuitiva sätt att interagera med programvara och enheter. Och det är kärnprincipen som kommer att vägleda framtida UI-enheter du ska lära dig om.

Peta, nypa och svepa i luften

Från och med 2015 har smartphones ersatt standardmobiltelefoner i stora delar av den utvecklade världen. Detta innebär att en stor del av världen nu är bekant med de olika taktila kommandona som nämns ovan. Genom appar och genom spel har smartphoneanvändare lärt sig en mängd olika abstrakta färdigheter för att styra superdatorerna i sina fickor.

Det är dessa färdigheter som kommer att förbereda konsumenterna för nästa våg av enheter – enheter som gör att vi lättare kan smälta samman den digitala världen med våra verkliga miljöer. Så låt oss ta en titt på några av verktygen vi kommer att använda för att navigera i vår framtida värld.

Gesterkontroll utomhus. Från och med 2015 är vi fortfarande i mikroåldern för touchkontroll. Vi petar, nyper och sveper oss fortfarande igenom våra mobila liv. Men den där beröringskontrollen håller sakta på att ge vika för en form av geststyrning utomhus. För spelarna där ute kan din första interaktion med detta ha varit att spela överaktiva Nintendo Wii-spel eller de senaste Xbox Kinect-spelen – båda konsolerna använder avancerad motion-capture-teknik för att matcha spelarrörelser med spelavatarer.

Tja, den här tekniken förblir inte begränsad till videospel och filmskapande på grön skärm; Det kommer snart att gå in på den bredare marknaden för konsumentelektronik. Ett slående exempel på hur detta kan se ut är ett Google-företag som heter Project Soli (se dess fantastiska och korta demovideo här.). Utvecklare av detta projekt använder miniatyrradar för att spåra de fina rörelserna av din hand och fingrar för att simulera peta, nypa och svepa utomhus istället för mot en skärm. Det här är den typ av teknik som kommer att bidra till att göra wearables enklare att använda och därmed mer attraktiva för en bredare publik.

Tredimensionellt gränssnitt. Om vi ​​tar denna friluftsstyrning av gester vidare längs sin naturliga utveckling, i mitten av 2020-talet, kan vi se det traditionella skrivbordsgränssnittet – det pålitliga tangentbordet och musen – långsamt ersatt av gestgränssnittet, i samma stil som populärt i filmen Minority Rapportera. Faktum är att John Underkoffler, UI-forskare, vetenskapsrådgivare och uppfinnare av scenerna för holografiska gester från Minority Report, arbetar för närvarande med verkliga versionen— en teknik som han refererar till som en rumslig operativ miljö för gränssnitt mellan människa och maskin.

Med denna teknik kommer du en dag att sitta eller stå framför en stor skärm och använda olika handgester för att styra din dator. Det ser riktigt coolt ut (se länken ovan), men som du kanske gissar kan handgester vara bra för att hoppa över tv-kanaler, peka/klicka på länkar eller designa tredimensionella modeller, men de fungerar inte så bra när du skriver långt uppsatser. Det är därför som friluftsteknik för gester gradvis inkluderas i mer och mer konsumentelektronik, kommer den sannolikt att få sällskap av kompletterande användargränssnittsfunktioner som avancerad röstkommando och irisspårningsteknik.

Ja, det ödmjuka, fysiska tangentbordet kan fortfarande överleva in på 2020-talet ... åtminstone tills dessa två kommande innovationer helt digitaliserar det i slutet av det decenniet.

Haptiska hologram. De hologram som vi alla har sett personligen eller i filmer tenderar att vara 2D- eller 3D-projektioner av ljus som visar objekt eller människor som svävar i luften. Vad dessa projektioner alla har gemensamt är att om du sträckte ut handen för att ta dem, skulle du bara få en handfull luft. Så kommer det inte att vara så länge till.

Ny teknik (se exempel: ett och två) utvecklas för att skapa hologram som du kan röra vid (eller åtminstone efterlikna beröringskänslan, dvs haptik). Beroende på vilken teknik som används, vare sig det är ultraljudsvågor eller plasmaprojektion, kommer haptiska hologram att öppna upp en helt ny industri av digitala produkter som kan användas i den verkliga världen.

Tänk på det, istället för ett fysiskt tangentbord kan du ha ett holografiskt som kan ge dig den fysiska känslan av att skriva, var du än står i ett rum. Denna teknik är vad som kommer att mainstreama Minoritetsrapport utomhusgränssnitt och avsluta det traditionella skrivbordets ålder.

Föreställ dig det här: Istället för att bära runt på en skrymmande bärbar dator kan du en dag bära en liten fyrkantig oblat (kanske storleken på ett CD-fodral) som skulle projicera en touchbar skärm och tangentbord. Ett steg längre, föreställ dig ett kontor med bara ett skrivbord och en stol, och sedan med ett enkelt röstkommando projicerar ett helt kontor sig runt dig – en holografisk arbetsstation, väggdekorationer, växter, etc. Handla möbler eller dekoration i framtiden kan innebära ett besök i appbutiken tillsammans med ett besök på Ikea.

Virtuell och förstärkt verklighet. I likhet med de haptiska hologrammen som förklaras ovan kommer virtuell och förstärkt verklighet att spela en liknande roll i 2020-talets användargränssnitt. Var och en kommer att ha sina egna artiklar för att förklara dem fullständigt, men för syftet med den här artikeln är det användbart att veta följande: Virtuell verklighet kommer till stor del att vara begränsad till avancerade spel, träningssimuleringar och abstrakt datavisualisering under det kommande decenniet.

Samtidigt kommer förstärkt verklighet att ha en mycket bredare kommersiell dragningskraft eftersom den kommer att lägga digital information över den verkliga världen; om du någonsin har sett promovideon för Google glass (video-), då kommer du att förstå hur användbar den här tekniken en dag kan bli när den mognar i mitten av 2020-talet.

Din virtuella assistent

Vi har täckt berörings- och rörelseformerna för användargränssnittet för att ta över våra framtida datorer och elektronik. Nu är det dags att utforska en annan form av användargränssnitt som kanske känns ännu mer naturligt och intuitivt: tal.

De som äger de senaste smartphonemodellerna har med största sannolikhet redan upplevt taligenkänning, oavsett om det är i form av iPhones Siri, Androids Google Now eller Windows Cortana. Dessa tjänster är utformade för att du ska kunna kommunicera med din telefon och komma åt webbens kunskapsbank genom att helt enkelt tala om för dessa "virtuella assistenter" vad du vill ha.

Det är en fantastisk teknikprestation, men den är inte heller helt perfekt. Alla som har lekt med dessa tjänster vet att de ofta misstolkar ditt tal (särskilt för de personer med tjocka accenter) och de ger dig då och då ett svar du inte letade efter.

Lyckligtvis kommer dessa brister inte att pågå mycket längre. Google meddelade i maj 2015 att dess taligenkänningsteknik nu bara har åtta procents felfrekvens och krymper. När du kombinerar denna fallande felfrekvens med de enorma innovationer som sker med mikrochips och molnberäkningar, kan vi förvänta oss att virtuella assistenter kommer att bli skrämmande exakta till 2020.

Titta på den här videon för ett exempel på vad som är möjligt och vad som kommer att bli allmänt tillgängligt inom några korta år.

Det kan vara chockerande att inse, men de virtuella assistenterna som för närvarande konstrueras kommer inte bara att förstå ditt tal perfekt, utan de kommer också att förstå sammanhanget bakom de frågor du ställer; de kommer att känna igen de indirekta signalerna från ditt tonfall; de kommer till och med att delta i långa konversationer med dig, Här-stil.

Sammantaget kommer röstigenkänningsbaserade virtuella assistenter att bli det primära sättet vi kommer åt webben för våra dagliga informationsbehov. Samtidigt kommer de fysiska formerna av användargränssnitt som utforskats tidigare sannolikt att dominera våra fritids- och arbetsfokuserade digitala aktiviteter. Men det här är inte slutet på vår UI-resa, långt därifrån.

Gå in i matrisen med hjärnans datorgränssnitt

Precis när du trodde att vi hade täckt allt, finns det ännu en form av kommunikation som är ännu mer intuitiv och naturlig än beröring, rörelse och tal när det gäller att kontrollera maskiner: själva tanken.

Denna vetenskap är ett bioelektronikfält som kallas Brain-Computer Interface (BCI). Det innebär att du använder ett implantat eller en hjärnskanningsenhet för att övervaka dina hjärnvågor och associera dem med kommandon för att styra allt som drivs av en dator.

Faktum är att du kanske inte har insett det, men BCI:s tidiga dagar har redan börjat. Amputerade är nu testa robotiska lemmar styrs direkt av sinnet, istället för genom sensorer fästa på bärarens stubbe. Likaså personer med svåra funktionsnedsättningar (som quadriplegics) är nu använder BCI för att styra sina motoriserade rullstolar och manipulera robotarmar. Men att hjälpa amputerade och personer med funktionsnedsättning att leva mer självständiga liv är inte omfattningen av vad BCI kommer att kunna. Här är en kort lista över de experiment som nu pågår:

Att kontrollera saker. Forskare har framgångsrikt visat hur BCI kan tillåta användare att styra hushållsfunktioner (belysning, gardiner, temperatur), såväl som en rad andra enheter och fordon. Kolla på demonstration video.

Att kontrollera djur. Ett labb testade framgångsrikt ett BCI-experiment där en människa kunde göra en laboratorieråtta flyttar sin svans använder bara sina tankar.

Hjärna till text. Lag i US och Tyskland utvecklar ett system som avkodar hjärnvågor (tankar) till text. De första experimenten har visat sig vara framgångsrika, och de hoppas att denna teknik inte bara skulle kunna hjälpa den genomsnittliga personen, utan också ge människor med allvarliga funktionshinder (som den kända fysikern Stephen Hawking) möjligheten att lättare kommunicera med världen.

Hjärna-till-hjärna. Ett internationellt team av forskare kunde efterlikna telepati genom att låta en person från Indien tänka ordet "hej", och genom BCI omvandlades det ordet från hjärnvågor till binär kod, och skickades sedan till Frankrike, där den binära koden omvandlades tillbaka till hjärnvågor, för att uppfattas av den mottagande personen . Kommunikation hjärna till hjärna, människor!

Spela in drömmar och minnen. Forskare vid Berkeley, Kalifornien, har gjort otroliga framsteg med att konvertera hjärnan vinkar in i bilder. Testpersonerna presenterades för en serie bilder medan de var anslutna till BCI-sensorer. Samma bilder rekonstruerades sedan på en datorskärm. De rekonstruerade bilderna var superkorniga, men med tanke på ungefär ett decenniums utvecklingstid kommer detta proof of concept en dag att tillåta oss att släppa vår GoPro-kamera eller till och med spela in våra drömmar.

Vi kommer att bli trollkarlar, säger du?

Det är rätt alla, till 2030-talet och mainstreamat i slutet av 2040-talet kommer människor att börja kommunicera med varandra och med djur, styra datorer och elektronik, dela minnen och drömmar och navigera på nätet, allt genom att använda våra sinnen.

Jag vet vad du tänker: Ja, det eskalerade snabbt. Men vad betyder allt detta? Hur kommer dessa UI-tekniker att omforma vårt delade samhälle? Tja, jag antar att du bara måste läsa den sista delen av vår Future of Computers-serie för att ta reda på det.

FUTURE OF COMPUTERS SERIES LÄNKAR

Moores Laws långsamma aptit för bitar, byte och alnar: datorernas framtid P1

Digital Storage Revolution: The Future of Computers P2

Society and the Hybrid Generation: The Future of Computers P4