Gebaren, hologrammen en het uploaden van gedachten in matrixstijl

Eerst waren het ponskaarten, daarna de iconische muis en toetsenbord. De tools en systemen die we gebruiken om met computers om te gaan, stellen ons in staat om de wereld om ons heen te controleren en op te bouwen op manieren die onze voorouders ondenkbaar waren. We hebben een lange weg afgelegd om zeker te zijn, maar als het gaat om de gebruikersinterface (UI, of de manier waarop we communiceren met computersystemen), hebben we nog niets gezien.

Tijdens de laatste twee afleveringen van onze Future of Computers-serie hebben we onderzocht hoe de komende innovaties de bescheiden microchip en disk drive zal op zijn beurt wereldwijde revoluties in het bedrijfsleven en de samenleving teweegbrengen. Maar deze innovaties zullen verbleken in vergelijking met de UI-doorbraken die nu worden getest in wetenschappelijke laboratoria en garages over de hele wereld.

Elke keer dat de mensheid een nieuwe vorm van communicatie heeft uitgevonden - of het nu gaat om spraak, het geschreven woord, de drukpers, de telefoon, het internet - bloeide onze collectieve samenleving op met nieuwe ideeën, nieuwe vormen van gemeenschap en geheel nieuwe industrieën. Het komende decennium zal de volgende evolutie zien, de volgende kwantumsprong in communicatie en interconnectiviteit … en het kan gewoon een nieuwe vorm geven aan wat het betekent om mens te zijn.

Wat is eigenlijk een goede gebruikersinterface?

Het tijdperk van porren, knijpen en vegen op computers om ze te laten doen wat we wilden, begon tien jaar geleden. Voor velen begon het met de iPod. Waar we ooit gewend waren te klikken, typen en tegen stevige knoppen te drukken om onze wil aan machines te communiceren, maakte de iPod het concept populair van naar links of rechts vegen op een cirkel om muziek te selecteren waarnaar je wilde luisteren.

Touchscreen-smartphones kwamen rond die tijd ook op de markt en introduceerden een reeks andere tactiele opdrachtprompts zoals de por (om het indrukken van een knop te simuleren), het knijpen (om in en uit te zoomen), ingedrukt houden en slepen (om over te slaan tussen programma's, meestal). Deze tactiele commando's kregen om een ​​aantal redenen snel grip bij het publiek: ze waren nieuw. Alle coole (beroemde) kinderen deden het. Touchscreen-technologie werd goedkoop en mainstream. Maar bovenal voelden de bewegingen natuurlijk, intuïtief aan.

Dat is waar het bij een goede computer-UI om draait: het ontwikkelen van natuurlijkere en intuïtievere manieren om met software en apparaten om te gaan. En dat is het kernprincipe dat als leidraad zal dienen voor de toekomstige UI-apparaten waarover u gaat leren.

Prikken, knijpen en vegen in de lucht

Met ingang van 2015 hebben smartphones standaard mobiele telefoons vervangen in een groot deel van de ontwikkelde wereld. Dit betekent dat een groot deel van de wereld nu bekend is met de verschillende hierboven genoemde tactiele commando's. Via apps en games hebben smartphonegebruikers een grote verscheidenheid aan abstracte vaardigheden geleerd om de supercomputers in hun broekzak te besturen.

Het zijn deze vaardigheden die consumenten zullen voorbereiden op de volgende golf van apparaten - apparaten waarmee we de digitale wereld gemakkelijker kunnen samenvoegen met onze echte wereldomgevingen. Laten we dus eens kijken naar enkele van de tools die we zullen gebruiken om door onze toekomstige wereld te navigeren.

Bediening via gebaren in de open lucht. Anno 2015 bevinden we ons nog steeds in het microtijdperk van aanraakbediening. We porren, knijpen en vegen ons nog steeds een weg door ons mobiele leven. Maar die aanraakbediening maakt langzaam plaats voor een vorm van gebarenbediening in de open lucht. Voor de gamers die er zijn, was je eerste interactie hiermee misschien het spelen van overactieve Nintendo Wii-games of de nieuwste Xbox Kinect-games - beide consoles gebruiken geavanceerde motion-capture-technologie om spelersbewegingen te matchen met game-avatars.

Welnu, deze technologie blijft niet beperkt tot videogames en films op een groen scherm; Het zal binnenkort de bredere markt voor consumentenelektronica betreden. Een treffend voorbeeld van hoe dit eruit zou kunnen zien, is een Google-onderneming genaamd Project Soli (bekijk de verbazingwekkende en korte demovideo) hier). De ontwikkelaars van dit project gebruiken miniatuurradar om de fijne bewegingen van je hand en vingers te volgen om het porren, knijpen en vegen in de open lucht te simuleren in plaats van tegen een scherm. Dit is het soort technologie dat wearables gebruiksvriendelijker en dus aantrekkelijker maakt voor een breder publiek.

Driedimensionale interface. Door deze bewegingsbesturing in de open lucht verder te brengen in zijn natuurlijke ontwikkeling, zien we tegen het midden van de jaren 2020 de traditionele desktopinterface - het vertrouwde toetsenbord en de muis - langzaam worden vervangen door de gebareninterface, in dezelfde stijl die populair werd door de film, Minority Rapport. John Underkoffler, UI-onderzoeker, wetenschappelijk adviseur en uitvinder van de holografische gebareninterfacescènes uit Minority Report, werkt momenteel aan de echte versie-een technologie die hij een ruimtelijke werkomgeving tussen mens en machine noemt.

Met behulp van deze technologie zul je op een dag voor een groot scherm zitten of staan ​​en verschillende handgebaren gebruiken om je computer te bedienen. Het ziet er echt cool uit (zie link hierboven), maar zoals je zou kunnen raden, kunnen handgebaren geweldig zijn voor het overslaan van tv-kanalen, aanwijzen/klikken op links of het ontwerpen van driedimensionale modellen, maar ze zullen niet zo goed werken als je lang schrijft essays. Dat is de reden waarom, aangezien gebarentechnologie in de open lucht geleidelijk wordt opgenomen in steeds meer consumentenelektronica, deze waarschijnlijk zal worden vergezeld door aanvullende UI-functies zoals geavanceerde spraakopdracht en iris-trackingtechnologie.

Ja, het eenvoudige, fysieke toetsenbord kan nog tot in de jaren 2020 overleven … tenminste totdat deze volgende twee innovaties het tegen het einde van dat decennium volledig digitaliseren.

Haptische hologrammen. De hologrammen die we allemaal persoonlijk of in films hebben gezien, zijn meestal 2D- of 3D-projecties van licht die objecten of mensen in de lucht laten zien. Wat deze projecties allemaal gemeen hebben, is dat als je ze zou grijpen, je maar een handvol lucht zou krijgen. Dat zal niet lang meer het geval zijn.

Nieuwe technologieën (zie voorbeelden: een en twee) worden ontwikkeld om hologrammen te maken die u kunt aanraken (of op zijn minst het gevoel van aanraking nabootsen, dwz haptiek). Afhankelijk van de gebruikte techniek, of het nu ultrasone golven of plasmaprojectie is, zullen haptische hologrammen een geheel nieuwe industrie van digitale producten openen die in de echte wereld kunnen worden gebruikt.

Denk er eens over na, in plaats van een fysiek toetsenbord, kun je een holografisch toetsenbord hebben dat je het fysieke gevoel van typen kan geven, waar je ook staat in een kamer. Deze technologie is wat de mainstream zal maken Openluchtinterface van het minderheidsrapport en een einde maken aan het tijdperk van de traditionele desktop.

Stel je dit eens voor: in plaats van een omvangrijke laptop mee te slepen, zou je op een dag een kleine vierkante wafel (misschien zo groot als een cd-doosje) kunnen dragen die een aanraakbaar scherm en toetsenbord zou projecteren. Ga nog een stap verder, stel je een kantoor voor met alleen een bureau en een stoel, en met een simpele spraakopdracht projecteert een heel kantoor zich om je heen - een holografisch werkstation, wanddecoraties, planten, enz. Winkelen voor meubels of decoratie in de toekomst kan een bezoek aan de app store inhouden, samen met een bezoek aan Ikea.

Virtuele en augmented reality. Net als de haptische hologrammen die hierboven zijn uitgelegd, zullen virtual en augmented reality een vergelijkbare rol spelen in de gebruikersinterface van de jaren 2020. Elk heeft zijn eigen artikelen om ze volledig uit te leggen, maar voor het doel van dit artikel is het handig om het volgende te weten: Virtual reality zal het komende decennium grotendeels beperkt blijven tot geavanceerde gaming, trainingssimulaties en abstracte datavisualisatie.

Ondertussen zal augmented reality een veel bredere commerciële aantrekkingskracht hebben omdat het digitale informatie over de echte wereld zal leggen; als je ooit de promovideo voor Google Glass hebt gezien (video-), dan zult u begrijpen hoe nuttig deze technologie ooit kan zijn als deze halverwege de jaren 2020 volwassen is.

Uw virtuele assistent

We hebben de aanrakings- en bewegingsvormen van de gebruikersinterface besproken om onze toekomstige computers en elektronica over te nemen. Nu is het tijd om een ​​andere vorm van gebruikersinterface te verkennen die misschien nog natuurlijker en intuïtiever aanvoelt: spraak.

Degenen die de nieuwste smartphonemodellen bezitten, hebben waarschijnlijk al ervaring met spraakherkenning, of het nu in de vorm van Siri van de iPhone, Google Now van Android of Windows Cortana is. Deze services zijn ontworpen om u verbinding te laten maken met uw telefoon en toegang te krijgen tot de kennisbank van het web door deze 'virtuele assistenten' gewoon mondeling te vertellen wat u wilt.

Het is een geweldig technisch hoogstandje, maar het is ook niet helemaal perfect. Iedereen die met deze services heeft gespeeld, weet dat ze je spraak vaak verkeerd interpreteren (vooral voor die mensen met dikke accenten) en dat ze je af en toe een antwoord geven waar je niet naar op zoek was.

Gelukkig zullen deze tekortkomingen niet lang meer duren. Google aangekondigd in mei 2015 dat zijn spraakherkenningstechnologie nu slechts een foutenpercentage van acht procent heeft, en krimpt. Als je dit dalende foutenpercentage combineert met de enorme innovaties die plaatsvinden met microchips en cloud computing, kunnen we verwachten dat virtuele assistenten tegen 2020 angstaanjagend nauwkeurig zullen zijn.

Bekijk deze video voor een voorbeeld van wat er mogelijk is en wat over een paar jaar voor het publiek beschikbaar zal zijn.

Het is misschien schokkend om te beseffen, maar de virtuele assistenten die momenteel worden ontwikkeld, zullen niet alleen uw spraak perfect begrijpen, maar ze zullen ook de context begrijpen achter de vragen die u stelt; zij zullen de indirecte signalen herkennen die door uw stem worden afgegeven; ze zullen zelfs lange gesprekken met je aangaan, Haar-stijl.

Over het algemeen zullen op spraakherkenning gebaseerde virtuele assistenten de belangrijkste manier worden waarop we toegang krijgen tot internet voor onze dagelijkse informatiebehoeften. Ondertussen zullen de eerder onderzochte fysieke vormen van UI waarschijnlijk onze vrijetijds- en werkgerichte digitale activiteiten domineren. Maar dit is niet het einde van onze UI-reis, verre van dat.

Betreed de Matrix met Brain Computer Interface

Net toen je dacht dat we het allemaal hadden behandeld, is er nog een andere vorm van communicatie die nog intuïtiever en natuurlijker is dan aanraking, beweging en spraak als het gaat om het besturen van machines: het denken zelf.

Deze wetenschap is een bio-elektronicagebied genaamd Brain-Computer Interface (BCI). Het gaat om het gebruik van een implantaat of een hersenscanapparaat om je hersengolven te volgen en ze te associëren met opdrachten om alles te besturen dat door een computer wordt uitgevoerd.

In feite heeft u het zich misschien niet gerealiseerd, maar de begindagen van BCI zijn al begonnen. Geamputeerden zijn nu robot ledematen testen direct gecontroleerd door de geest, in plaats van via sensoren die aan de stomp van de drager zijn bevestigd. Evenzo zijn mensen met ernstige handicaps (zoals quadriplegie) nu BCI gebruiken om hun gemotoriseerde rolstoelen te besturen en robotarmen manipuleren. Maar geamputeerden en personen met een handicap helpen een onafhankelijker leven te leiden, is niet de mate van waartoe BCI in staat zal zijn. Hier is een korte lijst van de experimenten die nu aan de gang zijn:

Dingen controleren. Onderzoekers hebben met succes aangetoond hoe gebruikers met BCI huishoudelijke functies (verlichting, gordijnen, temperatuur) en een reeks andere apparaten en voertuigen kunnen bedienen. Horloge demonstratievideo.

Dieren controleren. Een laboratorium heeft met succes een BCI-experiment getest waarbij een mens een laboratoriumrat beweegt zijn staart alleen zijn gedachten gebruiken.

Hersenen-naar-tekst. Teams in de US en Duitsland ontwikkelen een systeem dat hersengolven (gedachten) decodeert in tekst. De eerste experimenten zijn succesvol gebleken en ze hopen dat deze technologie niet alleen de gemiddelde persoon kan helpen, maar ook mensen met ernstige handicaps (zoals de beroemde natuurkundige Stephen Hawking) de mogelijkheid biedt om gemakkelijker met de wereld te communiceren.

Hersenen tot hersenen. Een internationaal team van wetenschappers was in staat om telepathie nabootsen door één persoon uit India het woord 'hallo' te laten denken, en via BCI werd dat woord omgezet van hersengolven in binaire code en vervolgens gemaild naar Frankrijk, waar die binaire code weer werd omgezet in hersengolven, om door de ontvangende persoon te worden waargenomen . Brain-to-brain communicatie, mensen!

Dromen en herinneringen vastleggen. Onderzoekers in Berkeley, Californië, hebben ongelooflijke vooruitgang geboekt bij het omzetten hersengolven in afbeeldingen. Proefpersonen kregen een reeks afbeeldingen te zien terwijl ze verbonden waren met BCI-sensoren. Diezelfde beelden werden vervolgens gereconstrueerd op een computerscherm. De gereconstrueerde beelden waren superkorrelig, maar gezien de ontwikkelingstijd van ongeveer tien jaar, zal dit proof-of-concept ons op een dag in staat stellen onze GoPro-camera te dumpen of zelfs onze dromen vast te leggen.

We gaan tovenaars worden, zegt u?

Dat klopt iedereen, tegen de jaren 2030 en gemainstreamd tegen het einde van de jaren 2040, zullen mensen beginnen te communiceren met elkaar en met dieren, computers en elektronica te besturen, herinneringen en dromen te delen en op het web te navigeren, allemaal met behulp van onze geest.

Ik weet wat je denkt: Ja, dat escaleerde wel snel. Maar wat betekent dit allemaal? Hoe zullen deze UI-technologieën onze gedeelde samenleving hervormen? Nou, ik denk dat je gewoon de laatste aflevering van onze Future of Computers-serie moet lezen om erachter te komen.

LINKS VAN DE TOEKOMST VAN COMPUTERS-SERIE

De vertragende eetlust van Moores Law voor bits, bytes en el: de toekomst van computers P1

De digitale opslagrevolutie: de toekomst van computers P2

De samenleving en de hybride generatie: de toekomst van computers P4