Sano hyvästit hiirelle ja näppäimistölle, uusille käyttöliittymille ihmiskunnan uudelleenmäärittelyyn: Tietokoneiden tulevaisuus P1

Ensinnäkin se oli reikäkortteja; sitten se oli ikoninen hiiri ja näppäimistö. Välineet ja järjestelmät, joita käytämme vuorovaikutuksessa tietokoneiden kanssa, antavat meille mahdollisuuden hallita ja rakentaa ympärillämme olevaa maailmaa tavoilla, joita esi-isämme eivät voi kuvitella. Olemme kulkeneet pitkän matkan ollaksemme varmoja, mutta mitä tulee käyttöliittymän (käyttöliittymä, keino, jolla olemme vuorovaikutuksessa tietokonejärjestelmien kanssa), emme ole vielä nähneet mitään.

Jotkut saattavat sanoa, että on outoa aloittaa Future of Computers -sarjamme käyttöliittymää käsittelevällä luvulla, mutta se, miten käytämme tietokoneita, antaa merkityksen tämän sarjan loppuosassa tutkimillemme innovaatioille.

Joka kerta kun ihmiskunta keksi uuden viestintämuodon – oli se sitten puhe, kirjoitettu sana, painokone, puhelin, Internet – kollektiivinen yhteiskuntamme kukoisti uusilla ideoilla, uusilla yhteisön muodoilla ja täysin uusilla toimialoilla. Tuleva vuosikymmen näkee seuraavan evoluution, seuraavan suuren harppauksen viestinnässä ja yhteenliitettävyydessä, kokonaan useiden tulevien tietokonerajapintojen välittämänä… ja se saattaa vain muuttaa sitä, mitä ihmisyys tarkoittaa.

Mikä sitten on "hyvä" käyttöliittymä?

Aikakausi, jolloin tietokoneita töksähdettiin, nipistettiin ja pyyhkäistiin saadakseen ne tekemään mitä halusimme, alkoi yli kymmenen vuotta sitten. Monille se alkoi iPodista. Kun kerran olimme tottuneet napsauttamaan, kirjoittamaan ja painamaan tukevia painikkeita välittääksemme tahtomme koneille, iPod teki suosituksi käsitteen pyyhkäistä ympyrää vasemmalle tai oikealle valitaksesi musiikin, jota haluat kuunnella.

Kosketusnäytölliset älypuhelimet tulivat markkinoille pian sen jälkeen, ja ne esittelivät joukon muita koskettelevia komentokehotteita, kuten poke (näppäimen painamisen simulointi), nipistys (lähennä ja loitontaa), paina, pidä ja vedä. Nämä kosketuskomennot saavuttivat nopeasti yleisön suosion useista syistä: Ne olivat uusia. Kaikki siistit (kuuluisat) lapset tekivät sitä. Kosketusnäyttöteknologiasta tuli halpaa ja valtavirtaista. Mutta ennen kaikkea liikkeet tuntuivat intuitiivisilta, luonnollisilta.

Tästä hyvässä tietokoneen käyttöliittymässä on kyse: luoda luonnollisempia tapoja käyttää ohjelmistoja ja laitteita. Ja tämä on ydinperiaate, joka ohjaa tulevia käyttöliittymälaitteita, joista olet oppimassa.

Pyökkää, nipistää ja pyyhkäisee ilmaa

Vuodesta 2018 lähtien älypuhelimet ovat korvanneet tavalliset matkapuhelimet suuressa osassa kehittynyttä maailmaa. Tämä tarkoittaa, että suuri osa maailmasta tuntee nyt edellä mainitut erilaiset kosketuskomennot. Sovellusten ja pelien kautta älypuhelinten käyttäjät ovat oppineet monenlaisia ​​abstrakteja taitoja hallita taskussaan istuvia suhteellisia supertietokoneita. 

Nämä taidot valmistavat kuluttajat seuraavaan laiteaaltoon – laitteisiin, joiden avulla voimme helpommin yhdistää digitaalisen maailman todellisiin ympäristöihimme. Joten katsotaanpa joitain työkaluja, joita käytämme navigoidaksemme tulevaisuuden maailmassamme.

Ulkoilma-eleohjaus. Vuodesta 2018 lähtien elämme edelleen kosketusohjauksen mikroaikaa. Tykistämme, nipistelemme ja pyyhkäisemme edelleen matkallamme mobiilielämässämme. Mutta tämä kosketusohjaus on vähitellen väistymässä eräänlaiselle ulkoilma-eleohjaukselle. Pelaajien ensimmäinen vuorovaikutus tämän kanssa saattoi olla yliaktiivisten Nintendo Wii -pelien tai Xbox Kinect -pelien pelaaminen – molemmat konsolit käyttävät kehittynyttä liikkeenkaappaustekniikkaa, joka yhdistää pelaajien liikkeet pelin avatareihin. 

No, tämä tekniikka ei rajoitu videopeleihin ja vihreän näytön elokuvien tekemiseen, vaan se tulee pian laajemmille kulutuselektroniikkamarkkinoille. Yksi silmiinpistävä esimerkki siitä, miltä tämä saattaa näyttää, on Googlen hanke nimeltä Project Soli (katso sen hämmästyttävä ja lyhyt esittelyvideo tätä). Tämän projektin kehittäjät käyttävät pienoistutkaa kätesi ja sormiesi hienojen liikkeiden jäljittämiseen ja simuloivat työntämistä, nipistämistä ja pyyhkäisyä ulkoilmassa näyttöä vasten. Tämä on sellainen tekniikka, joka helpottaa puettavien tuotteiden käyttöä ja tekee siten houkuttelevammaksi laajemmalle yleisölle.

Kolmiulotteinen käyttöliittymä. Kun tätä ulkoilma-eleohjausta viedään eteenpäin sen luonnollisessa etenemisessä, 2020-luvun puoliväliin mennessä saatamme nähdä perinteisen työpöydän käyttöliittymän – luotettavan näppäimistön ja hiiren – pikkuhiljaa korvan elekäyttöliittymällä, samaan tyyliin, jonka suosio elokuva, Minority. Raportoi. Itse asiassa John Underkoffler, käyttöliittymätutkija, tiedeneuvonantaja ja Minority Reportin holografisten eleiden käyttöliittymäkohtausten keksijä, työskentelee parhaillaan tosielämän versio-tekniikka, jota hän kutsuu ihmisen ja koneen välisenä tilallisena toimintaympäristönä. (Hänen on luultavasti keksittävä kätevä lyhenne sitä varten.)

Tämän tekniikan avulla voit jonakin päivänä istua tai seisoa suuren näytön edessä ja ohjata tietokonettasi erilaisilla käsieleillä. Se näyttää todella siistiltä (katso linkki yllä), mutta kuten arvata saattaa, käsieleet voivat olla hyviä tv-kanavien ohittamiseen, linkkien osoittamiseen/napsautukseen tai kolmiulotteisten mallien suunnitteluun, mutta ne eivät toimi niin hyvin pitkiä kirjoituksia kirjoitettaessa. esseitä. Tästä syystä kun ulkoilma-eleteknologiaa sisällytetään vähitellen yhä useampaan kulutuselektroniikkaan, siihen todennäköisesti liitetään täydentäviä käyttöliittymäominaisuuksia, kuten edistynyt äänikomento ja iiriksen seurantatekniikka. 

Kyllä, vaatimaton, fyysinen näppäimistö saattaa vielä selviytyä 2020-luvulla.

Haptiset hologrammit. Hologrammit, joita olemme kaikki nähneet henkilökohtaisesti tai elokuvissa, ovat yleensä 2D- tai 3D-valoprojektioita, jotka näyttävät esineitä tai ihmisiä leijumassa ilmassa. Kaikilla näillä ennusteilla on yhteistä se, että jos ojentaisit kätesi tarttumaan niihin, saisit vain kourallisen ilmaa. Näin ei tapahdu 2020-luvun puolivälissä.

Uudet tekniikat (katso esimerkkejä: yksi ja kaksi) kehitetään luomaan hologrammeja, joita voit koskettaa (tai ainakin jäljitellä kosketuksen tunnetta eli haptiikkaa). Riippuen käytetystä tekniikasta, olipa kyseessä ultraääniaallot tai plasmaprojektio, haptiset hologrammit avaavat täysin uuden digitaalisten tuotteiden teollisuuden, joita voimme käyttää todellisessa maailmassa.

Ajattele sitä, että fyysisen näppäimistön sijaan sinulla voi olla holografinen näppäimistö, joka voi antaa sinulle fyysisen kirjoittamisen tunteen missä tahansa huoneessa seisotkin. Tämä tekniikka on mitä valtavirtaistaa Minority Report -ulkoilmakäyttöliittymä ja mahdollisesti lopettaa perinteisen työpöydän aikakauden.

Kuvittele tämä: Sen sijaan, että kantaisit mukanasi isoa kannettavaa tietokonetta, voisit jonain päivänä kantaa mukanasi pienen neliömäisen kiekon (ehkä ohuen ulkoisen kiintolevyn kokoisen), joka projisoi kosketettavan näytön ja näppäimistön hologrammin. Askeleen pidemmälle otettuna kuvittele toimisto, jossa on vain työpöytä ja tuoli, ja sitten yksinkertaisella äänikomennolla koko toimisto heijastuu ympärillesi – holografinen työasema, seinäkoristeet, kasveja jne. Ostamassa huonekaluja tai koristeita tulevaisuudessa voi sisältää vierailun sovelluskaupassa sekä vierailun Ikeassa.

Puhu virtuaaliassistenttillesi

Samalla kun kehitämme pikkuhiljaa kosketuskäyttöliittymää uudelleen, uusi ja toisiaan täydentävä käyttöliittymämuoto on syntymässä, joka saattaa tuntua keskimääräiselle ihmiselle vieläkin intuitiivisemmalta: puhe.

Amazon teki kulttuurisen räjähdyksen julkistamalla keinotekoisesti älykkään (AI) henkilökohtaisen avustajajärjestelmänsä Alexan ja sen ohella julkaisemansa erilaiset ääniohjatut kotiavustajatuotteet. Google, oletettu tekoälyn johtaja, ryntäsi seuraamaan esimerkkiä oman kotiavustajan tuotesarjan kanssa. Ja yhdessä näiden kahden teknologiajätin välinen useiden miljardien kilpailu on johtanut ääniaktivoitujen tekoälytuotteiden ja avustajien nopeaan ja laajaan hyväksymiseen yleisillä kuluttajamarkkinoilla. Ja vaikka tämä tekniikka on vielä alkuvaiheessa, tätä varhaista kasvupyrähdystä ei pidä aliarvioida.

Halusitpa sitten Amazonin Alexaa, Google's Assistantia, iPhonen Siriä tai Windows Cortanaa, nämä palvelut on suunniteltu antamaan sinulle käyttöliittymä puhelimeesi tai älylaitteeseesi ja pääset verkon tietopankkiin yksinkertaisilla sanallisilla komennoilla, jotka kertovat näille "virtuaalisille avustajille" mitä haluat.

Se on hämmästyttävä insinöörityö. Ja vaikka se ei ole aivan täydellinen, tekniikka paranee nopeasti; esimerkiksi Google ilmoitti toukokuussa 2015, että sen puheentunnistusteknologialla on nyt vain kahdeksan prosentin virheprosentti ja se pienenee. Kun yhdistät tämän laskevan virhetason mikrosirujen ja pilvilaskentaan liittyviin massiivisiin innovaatioihin (jotka kuvataan sarjan tulevissa luvuissa), voimme odottaa virtuaaliassistenttien olevan miellyttävän tarkkoja vuoteen 2020 mennessä.

Vielä parempi, parhaillaan suunnitellut virtuaaliassistentit eivät vain ymmärrä puheesi täydellisesti, vaan he ymmärtävät myös esittämiesi kysymysten taustalla olevan kontekstin. he tunnistavat äänensävysi lähettämät epäsuorat signaalit; he jopa käyvät pitkiä keskusteluja kanssasi, Täällä-tyyli.

Kaiken kaikkiaan äänentunnistuspohjaisista virtuaaliassistenteista tulee ensisijainen tapa käyttää Internetiä päivittäisten tietotarpeiden täyttämiseksi. Samaan aikaan aiemmin tutkitut käyttöliittymän fyysiset muodot tulevat todennäköisesti hallitsemaan vapaa-ajan ja työhön keskittyvää digitaalista toimintaamme. Mutta tämä ei ole käyttöliittymämme matkan loppu, kaukana siitä.

wearables

Emme voi keskustella käyttöliittymästä mainitsematta myös puettavia laitteita – laitteita, joita käytät tai jopa asetat kehosi sisään, jotta voit olla digitaalisesti vuorovaikutuksessa ympäröivän maailman kanssa. Kuten puheavustajat, näillä laitteilla on tukeva rooli siinä, miten osallistumme digitaaliseen tilaan; käytämme niitä tiettyihin tarkoituksiin tietyissä yhteyksissä. Koska kirjoitimme kuitenkin koko luku puetettavista vaatteista meidän Internetin tulevaisuus sarjaa, emme mene tässä sen enempää yksityiskohtiin.

Lisää todellisuuttamme

Jatkossa kaikki edellä mainitut tekniikat ovat virtuaalitodellisuus ja lisätty todellisuus.

Perustasolla lisätty todellisuus (AR) on teknologian käyttöä todellisen maailman käsityksen digitaaliseen muokkaamiseen tai parantamiseen (ajatellen Snapchat-suodattimia). Tätä ei pidä sekoittaa virtuaalitodellisuuteen (VR), jossa todellinen maailma korvataan simuloidulla maailmalla. AR:n avulla näemme ympärillämme olevan maailman erilaisten suodattimien ja kerrosten kautta, jotka sisältävät runsaasti kontekstuaalista tietoa, joka auttaa meitä navigoimaan maailmassa paremmin reaaliajassa ja (väitetysti) rikastuttamaan todellisuuttamme. Tutkitaanpa lyhyesti molempia ääripäitä, alkaen VR:stä.

Virtuaalitodellisuus. Perustasolla virtuaalitodellisuus (VR) on teknologian käyttöä, jolla luodaan digitaalisesti mukaansatempaava ja vakuuttava audiovisuaalinen illuusio todellisuudesta. Ja toisin kuin AR, joka tällä hetkellä (2018) kärsii lukuisista teknologisista ja sosiaalisista esteistä ennen kuin se saa massahyväksynnän, VR on ollut olemassa vuosikymmeniä populaarikulttuurissa. Olemme nähneet sen monissa tulevaisuuteen suuntautuneissa elokuvissa ja televisio-ohjelmissa. Monet meistä ovat jopa kokeilleet primitiivisiä versioita VR:stä vanhoissa pelihalleissa ja teknologiakeskeisissä konferensseissa ja messuilla.

Tällä kertaa erilaista on se, että nykypäivän VR-tekniikka on helpommin saatavilla kuin koskaan. Erilaisten avainteknologioiden (alun perin älypuhelimien valmistukseen käytettyjen) miniatyrisoinnin ansiosta VR-kuulokkeiden hinnat ovat nousseet pisteeseen, jossa voimayhtiöt, kuten Facebook, Sony ja Google, julkaisevat nyt vuosittain edullisia VR-kuulokkeita massoille.

Tämä edustaa alkua kokonaan uudelle massamarkkinoiden välineelle, joka houkuttelee vähitellen tuhansia ohjelmisto- ja laitteistokehittäjiä. Itse asiassa 2020-luvun lopulla VR-sovellukset ja -pelit tuottavat enemmän latauksia kuin perinteiset mobiilisovellukset.

Koulutus, työllisyyskoulutus, liiketapaamiset, virtuaalimatkailu, pelaaminen ja viihde – nämä ovat vain muutamia niistä monista sovelluksista, jotka ovat halpoja, käyttäjäystävällisiä ja realistisia, ja ne voivat parantaa (ellei kokonaan häiritä) VR:ää. Toisin kuin olemme nähneet scifi-romaaneissa ja -elokuvissa, tulevaisuus, jossa ihmiset viettävät koko päivän VR-maailmoissa, on vuosikymmenien päässä. Käytämme kuitenkin koko päivän AR:ta.

Lisätty todellisuus. Kuten aiemmin todettiin, AR:n tavoitteena on toimia digitaalisena suodattimena todellisen maailman käsityksesi päällä. Kun tarkastelet ympäristöäsi, AR voi parantaa tai muuttaa käsitystäsi ympäristöstäsi tai tarjota hyödyllistä ja kontekstuaalista tietoa, joka voi auttaa sinua ymmärtämään ympäristöäsi paremmin. Jotta saat paremman käsityksen siitä, miltä tämä saattaa näyttää, katso alla olevat videot:

Ensimmäinen video on nousevalta AR:n johtajalta, Magic Leapilta:

Seuraavaksi Keiichi Matsudan lyhytelokuva (6 min) siitä, miltä AR voisi näyttää 2030-luvulla:

Yllä olevista videoista voit kuvitella miltei rajattoman määrän sovelluksia AR-tekniikka mahdollistaa jonain päivänä, ja tästä syystä useimmat tekniikan suurimmista toimijoistaGoogle, omena, Facebook, Microsoft, Baidu, Intelja paljon muuta – investoivat jo paljon AR-tutkimukseen.

Aiemmin kuvattujen holografisten ja ulkoilma-elerajapintojen pohjalta AR poistaa lopulta suurimman osan perinteisistä tietokoneliitännöistä, joiden kanssa kuluttajat ovat tähän asti kasvaneet. Miksi esimerkiksi omistaa pöytätietokone tai kannettava tietokone, kun voit pudottaa AR-lasit ja nähdä virtuaalisen pöytäkoneen tai kannettavan tietokoneen ilmestyvän suoraan eteen. Samoin AR-lasisi (ja myöhemmin AR-piilolinssit) poistaa fyysisen älypuhelimesi käytöstä. Älkäämme unohtako televisioitasi. Toisin sanoen suurin osa nykypäivän suuresta elektroniikasta digitoidaan sovelluksen muotoon.

Yritykset, jotka investoivat varhain hallitakseen tulevaisuuden AR-käyttöjärjestelmiä tai digitaalisia ympäristöjä, häiritsevät ja ottavat haltuunsa suuren osan nykyisestä elektroniikkasektorista. Toisaalta AR:llä on myös joukko liiketoimintasovelluksia sellaisilla aloilla kuin terveydenhuolto, suunnittelu/arkkitehtuuri, logistiikka, valmistus, sotilas ja muilla sovelluksilla, joista keskustelemme edelleen Future of the Internet -sarjassamme.

Ja silti, käyttöliittymän tulevaisuus ei vieläkään pääty tähän.

Siirry Matriisiin Brain-Computer Interface -liittymällä

On vielä toinen viestintämuoto, joka on vieläkin intuitiivisempi ja luonnollisempi kuin liike, puhe ja AR koneiden ohjaamisessa: ajatus itse.

Tämä tiede on bioelektroniikan ala nimeltä Brain-Computer Interface (BCI). Siinä käytetään aivoskannauslaitetta tai implanttia aivoaaltojen seuraamiseen ja niiden yhdistämiseen komentoihin, joilla ohjataan kaikkea, mitä tietokoneella ohjataan.

Itse asiassa et ehkä ymmärtänyt sitä, mutta BCI:n alkuajat ovat jo alkaneet. Amputoidut ovat nyt robottiraajojen testaus suoraan mielen ohjaamaa käyttäjän kantoon kiinnitettyjen antureiden sijaan. Samoin ihmiset, joilla on vakava vamma (kuten ihmiset, joilla on quadriplegia) ovat nyt käyttävät BCI:tä moottoroitujen pyörätuoliensa ohjaamiseen ja manipuloida robottikäsiä. Mutta amputoitujen ja vammaisten ihmisten auttaminen itsenäisempään elämään ei riitä siihen, mihin BCI pystyy. Tässä on lyhyt luettelo parhaillaan käynnissä olevista kokeista:

Asioiden hallitseminen. Tutkijat ovat onnistuneesti osoittaneet, kuinka BCI:n avulla käyttäjät voivat ohjata kodin toimintoja (valaistus, verhot, lämpötila) sekä monia muita laitteita ja ajoneuvoja. Katsella esittelyvideo.

Eläinten hallinta. Laboratorio testasi onnistuneesti BCI-kokeen, jossa ihminen pystyi tekemään a laboratoriorotta liikuttaa häntäänsä käyttää vain ajatuksiaan.

Aivoista tekstiksi. Halvautunut mies käytti aivoimplanttia kirjoittaa kahdeksan sanaa minuutissa. Samaan aikaan joukkueet US ja Saksa kehittävät järjestelmää, joka purkaa aivoaaltoja (ajatuksia) tekstiksi. Ensimmäiset kokeet ovat osoittautuneet onnistuneiksi, ja he toivovat, että tämä tekniikka ei vain auttaisi keskivertoihmistä, vaan myös tarjoaisi vakavasti vammaisille ihmisille (kuten tunnettu fyysikko Stephen Hawking) kyvyn kommunikoida maailman kanssa helpommin.

Aivoista aivoihin. Kansainvälinen tutkijaryhmä pystyi siihen matkia telepatiaa kun yksi intialainen ajatteli sanaa "hei" ja BCI:n kautta tämä sana muutettiin aivoaalloista binäärikoodiksi ja lähetettiin sitten sähköpostitse Ranskaan, jossa binäärikoodi muutettiin takaisin aivoaaltoiksi vastaanottavan henkilön havaittavaksi. . Aivoista aivoihin -viestintä, ihmiset!

Unelmien ja muistojen tallentaminen. Kalifornian Berkeleyn tutkijat ovat saavuttaneet uskomatonta edistystä kääntymisessä aivoaaltoja kuviksi. Koehenkilöille esitettiin sarja kuvia ollessaan kytkettynä BCI-sensoreihin. Samat kuvat rekonstruoitiin sitten tietokoneen näytölle. Rekonstruoidut kuvat olivat erittäin rakeisia, mutta kun otetaan huomioon noin vuosikymmenen kehitysaika, tämä konseptitodistus antaa meille mahdollisuuden jonakin päivänä luopua GoPro-kamerasta tai jopa tallentaa unelmamme.

Meistä tulee velhoja, sanotko?

Aluksi käytämme BCI:lle ulkoisia laitteita, jotka näyttävät kypärältä tai hiusnauhalta (2030-luku), jotka lopulta väistyvät aivoimplanteille (2040-luvun loppu). Viime kädessä nämä BCI-laitteet yhdistävät mielemme digitaaliseen pilveen ja toimivat myöhemmin mielemme kolmantena pallonpuoliskona – joten kun vasen ja oikea pallonpuoliskomme hallitsevat luovuuttamme ja logiikkakykyämme, tämä uusi, pilvipohjainen digitaalinen pallonpuolisko helpottaa kykyjämme. joissa ihmiset jäävät usein tekoälytovereihinsa, nimittäin nopeus, toisto ja tarkkuus.

BCI on avain nousevalle neuroteknologian alalle, joka pyrkii yhdistämään mielemme koneisiin saavuttaaksemme molempien maailmojen vahvuudet. Aivan oikein, 2030-luvulla ja valtavirtaistettuna 2040-luvun lopulla ihmiset käyttävät BCI:tä aivoidemme päivittämiseen sekä toistensa ja eläinten kanssa kommunikoimiseen, tietokoneiden ja elektroniikan ohjaamiseen, muistojen jakamiseen ja unelmien jakamiseen sekä verkossa liikkumiseen.

Tiedän mitä ajattelet: Kyllä, se eskaloitui nopeasti.

Mutta niin jännittäviä kuin nämä käyttöliittymän edistykset ovatkin, ne eivät koskaan ole mahdollisia ilman yhtä jännittäviä edistysaskeleita tietokoneohjelmistoissa ja -laitteistoissa. Näitä läpimurtoja tutkitaan muualla tässä Future of Computers -sarjassa.

Future of Computers -sarja

Ohjelmistokehityksen tulevaisuus: Tietokoneiden tulevaisuus P2

Digitaalisen tallennustilan vallankumous: Tietokoneiden tulevaisuus P3

Hiipuva Mooren laki herättää mikrosirujen perusteellisen uudelleenajattelun: Tietokoneiden tulevaisuus P4

Pilvipalveluista hajautetaan: Future of Computers P5

Miksi maat kilpailevat rakentaakseen suurimpia supertietokoneita? Tietokoneiden tulevaisuus P6

Kuinka kvanttitietokoneet muuttavat maailmaa: Tietokoneiden tulevaisuus P7