Haptisk teknik: Nästa gräns i videospel, wearables, virtuell verklighet och mobilelektronik

Anonim

Haptisk teknik: Nästa gräns i videospel, wearables, virtuell verklighet och mobilelektronik

VRFeature

Richard Moss

16 januari 2015

15 bilder

Nästa gräns i interaktion mellan människor och datorer kommer att handla om att du känner den virtuella, digitala världen som om den var riktig och konkret (Foto: David Brohede)

Taktil feedback är inget nytt. Det har använts i telekommunikation och under underhållning i årtionden, och det blev en vanlig funktion i slutet av 1990-talet i mobiltelefoner och videospel - där vibrationer varnar dig för nya meddelanden eller hjälper dig att "känna" de krafter som utövas på din avatar Haptisk teknik har varit väldigt mycket spelare i de fält som det infiltreras, och bara nu ser vi att den börjar ta plats tillsammans med visuell och ljudteknik som ett centralt element i interaktion mellan människor och datorer.

Smartwatches som den kommande Apple Watchen omfattar haptics för att ge dig vägbeskrivning. Forskare experimenterar med haptiska signaler inbyggda i bilens ratt för ökad säkerhet, och med taktil återkoppling inbyggd i pekskärmar och offentliga kartor för mer naturlig känsla.

Haptics gör det möjligt för dövblindade personer att surfa på webben (tack vare Morse Code) eller till och med spela videospel. I spelutrymmet är haptics ett snabbt växande fält tack vare uppkomsten av virtuell verklighet och spelarnas önskan att känna sig lika visceralt som de ser och hör deras virtuella miljöer. Haptisk teknik hjälper också till att träna nästa generation kirurger och förbättra simuleringar inom industrisektorn för piloter och stora maskinoperatörer.

Det grundläggande

Innan vi kommer in i något av det, låt oss gå tillbaka ett ögonblick och titta på vad haptisk teknik är. I de flesta fall använder den en slags motor som kallas ett manöverdon för att omvandla elektrisk, hydraulisk eller pneumatisk energi till vibrationer, som kan hanteras och styras av programvara som bestämmer varaktighet, frekvens och amplitud.

Nintendo 64 rumble pack introducerade en massspelare till idén om vibrationer i ett kontrollerhöjande spel (Foto: Evan-Amos)

Smartphones använder vanligtvis haptisk teknik för varningar och meddelanden, liksom för subtil feedback när du skriver meddelanden eller numrerar på sina pekskärmar. Videospelkontrollanter använder haptics nu på samma sätt som de gjorde för nästan två decennier sedan med Nintendo 64 rumble pack och PlayStation DualShock gamepad - för att låna en tangent, kände sig genom dina händer gripande regulatorn, till en explosion eller krasch eller en grov yta att du kör över.

Men det finns mycket mer som haptics kan göra, både vid de lägre resolutionerna av återkoppling som erbjuds av en Xbox eller PlayStation-kontroller (som uppgår till lite mer än en på / av-brytare med dimmerkontroller för var och en av sina två ställdon) och vid De högre upplösningarna som den senaste haptiska tekniken kan ge (vilket möjliggör återkoppling lokaliserad till specifika koordinater och till och med på avancerad nivå beroende på hur hårt du trycker på ytan).

Haptics ser ut att vara nästa stora sak i våra interaktioner med den digitala världen. Vi kan klämma om surroundljudseffekter till hörlurar och spela in ljud med hög trovärdighet med våra smartphones, och vi kan röra och klämma fast och zooma nära allt som visas på en skärm. Men det känns allt platt och livlöst, för vi har lagt så lite ansträngning på att göra det än det. Människokroppen har en mycket sofistikerad förmåga att känna igen och reagera på texturer och vibrationer och pokes och alla andra yttre krafter som involverar receptorerna i vårt somatosensoriska system.

Förbättrad taktil återkoppling i konsumenttekniken kommer att vara avgörande när vi fortsätter våra försök att överbrygga klyftan mellan allt som är fysiskt och materiellt och allt som är digitalt och virtuellt. Bland de som försöker utforska möjligheten är rymden Mathias Nordvall, en kognitiv forskare och speldesigner på Linköpings universitet i Sverige.

Sightlence och haptisk Pong

"En hel del kultur idag är antingen visionsbaserad eller ljudbaserad, " konstaterar Nordvall. "Du går till en konsert eller du lyssnar på radio eller går på bio. " Och om du saknar en av dessa sinnen kompenserar du med den andra. Övergripande visuella gränssnitt som att surfa på webben presenteras för personer med synssynthet genom skärmsläsare som talar texten på en sida, medan TV-program och filmer kan ses med slutna bildtexter för hörselskadade.

En dag undrade Nordvall: "Vad händer om du inte har tillgång till någon av dem? ". Hur kan dövblindade människor (människor med liten eller ingen syn och liten eller ingen hörsel) samverka med den moderna världen? Många av dem vid det dövblinda spektrumets längre ände har aldrig kunnat njuta av tv, internet eller videospel. Så Nordvall bestämde sig för att se om ett videospel kunde göras som är helt och hållet baserat på haptisk teknik, ett spel som inte utnyttjar grafik eller ljud alls.

Han försökte göra det på det billiga, med enbart lågkostnad, off-the-shelf konsumentteknik, och snabbt avgjord på Xbox 360-controllers, som har två motorer i dem (och Nordvall noterar, inre arbeten som är nästan identiska med Nintendo 64 rumble packet släpptes för ett decennium tidigare, förutom tillägg av en andra manöverdon). Och efter en viss tanke bestämde han sig för att försöka översätta ett existerande spel, Pong, eftersom det skulle säkerställa att eventuella svårigheter att spela beror på fel i användargränssnittet och inte i spelets regler.

Resultatet känns inte alls som Pong, eller åtminstone inte i början. Spelarna håller en Xbox 360-styrenhet i sina händer, med paddelens rörelse mappad till en av joystickarna, och de lägger en sekund i sina knä eller någon annanstans på kroppen. Vibrationer i var och en av kontrollerna indikerar var bollen är enligt följande regler:

  • Gamepad i dina händer kommer att ha en stadig svag vibration om bollen ligger över din paddla, en stark vibration om bollen är under och ingen vibration om de är i samma höjd
  • Gamepad i ditt varv kommer gradvis vibrera snabbare när bollen går mot din paddla och långsammare när den rör sig bort
  • En eller annan gamepad kommer att pulsera på slag med väggarna eller paddlarna, beroende på vad bollen studsar ut

Det tog min flickvän och jag ungefär en halvtimme för att hänga på spelet, när vi började först med de visuella och ljuda aidesna påslagen och sedan gradvis lättade oss in i haptiskt enda spel. Det som Nordvall säger handlar om standard. "När vi testar folk på det, det är mycket svårt i början, " säger han till gizmag. "Men efter 20-25 minuter klickar någonting i ditt huvud och du börjar inse att" Oh vänta, den här signalen är faktiskt inte alls samma som den andra signalen som jag också känner. "Så du kan börja reta dem ut. "

Haptic Pong har i sitt rena tillstånd inga visuella eller auditiva hjälpmedel, och en skärm som är helt blank men för poängen (Bild: Mathias Nordvall)

Nordvall liknar pulserna till ett språk. "De pulser som du känner har mycket liten korrespondens med en boll studsar en paddla eller en boll som faktiskt kommer mot dig, " säger han. "I den meningen handlar det mer om ett semantiskt språk, här är en godtycklig signal som betyder att bollen kommer mot dig, precis som det är godtyckligt att vi stavar 'katt ' katt i Engelska. Men om du skriver ner den på ett papper och visar det till någon kan de förstå dig. "

Videospelkontrollers kommer att vara förknippade med ett språk av spel och interaktion som spelarna har utvecklat i över 30 år, och personer som har spelat spel när som helst under den perioden kan lära sig språk relativt enkelt. Men haptiska gränssnitt har fortfarande ingen form av standard gränssnitt (er), och det har inte varit mycket experiment med idén att skapa en. Ange Sightlence.

En skärmdump från beta-versionen av Sightlence, en enkel haptisk redaktör, var avsedd att enkelt skapa haptiska signaler som kan användas i appar och spel för någon enhet (Bild: Mathias Nordvall)

Som en förlängning av Haptic Pong- spelet har Nordvall och hans kollegor byggt Sightlence, en haptisk editor, som snart kommer att vara tillgänglig och är avsedd att göra det lättare för alla att designa haptiska utsignaler för spel och annan programvara. Nordvall liknar det till en digital ljud arbetsstation som inte är för att skapa musik utan snarare för haptics. Du har rutor för enskilda signaler, och "samplar " som du kan skapa eller importera och sedan mixa och matcha, och sedan väljer du var signalen går - en Xbox-gamepad eller en Android- eller iOS-enhet, eller kanske en anpassad enhet som du byggde dig själv. Redaktören är plugin-baserad, så även om det inte finns någon out-of-the-box-support för en enhet kan du skriva en ny plugin-drivrutin och hoppa in i verktygen.

Tanken är att Sightlence kommer att ge verktygen för utvecklare att etablera en slags ställning för haptiska gränssnitt. "Vi är inte vana vid att använda haptiska gränssnitt alls, " förklarar Nordvall. "Särskilt inte för information som bara förmedlas genom haptics och inget annat. "

Haptisk tillväxt

Nordvalls haptiska redaktör kan hjälpa till att starta utvecklingen av nya haptiska upplevelser - av haptic "languages ​​" - där det för närvarande är en stor pigg i intresse på tre separata fronter: virtuell verklighet, bärbar dator och pekskärmsteknik.

Oculus Rift hjälper till att driva forskning och utveckling i haptics som en del av en guldhopp för total VR-nedsänkning

Sightlence kan inte hjälpa mycket med den virtuella verkligheten, vilket lutar mer mot simulering på ett eller annat sätt och kan därmed dra nytta av direkt översättning av inspelade verkliga krafter i haptiska signaler. Men bärbara och pekskärmar måste vara mer abstrakta i deras användning av tekniken, och det verkar lämpligt för en haptisk redaktör som låter dig knacka på eller rita ut signaler och anpassa dem till ditt hjärta 's innehåll.

Apple touts sin kommande Watch som kommer med en Taptic Engine som ger taktila känslor på din handled som är "igenkänligt annorlunda för varje slags interaktion." Det kommer, enligt dokumentationen, att tillåta användare att skicka varandra sina hjärtslag som uppmätt av hjärtfrekvenssensorn, och kanske andra anpassade haptiska signaler. Klockan leder dig också i rätt riktning med en mild buzz när du navigerar. Andra smartwatches och deras uppsättningar av appar försöker liknande saker, och som nya typer av bärbara datorer dyker upp, kommer vi troligen att se haptics spela en nyckelroll i hur vi interagerar med den teknik vi bär med oss.

Speciellt nu när skärmarna också får förbättrad haptisk teknik. Smarta tekniker som en som involverar tryckvätska i förhandlade taktila pixlar kan ge känslan av att trycka på fysiska knappar. Fujitsu förra året visade prototyper för haptikförbättrade tabletter som går ännu längre, vilket ger användarna en känsla av textur under fingrarna genom ultraljudsvibrationer med varierande frekvenser och amplituder.

I det virtuella verkställighetsutrymmet kan haptisk teknik vara det saknade pusselstycket som driver som Oculus Rift och Sonys Project Morpheus i mainstream. Problemet är att den virtuella verkligheten nu ser ut och låter så livlig att du instinktivt känner att du är fysiskt i det virtuella rummet, och det betyder att du vill röra saker och känna saker som rör dig. Men utan haptics (eller en hel del rekvisita och noggrann planering) är ingen av dessa möjliga.

Det är därför det finns en vapenlöpning på fältet. Kontroll VR och PrioVR, bland annat, spåra dina händer och fingrar eller hela kroppen i realtid, med haptisk återkoppling som undersöks gradvis i de flesta av dem.

Andra oroa sig inte för rörelsespårning och fokusera bara på haptikerna. KOR-FX gör att du känner varje virtuell inverkan - stor eller liten - i bröstet, eftersom explosioner tycks blåsa genom dig, rör dig motorer djupt under din hud och du känner något som är relaterat till din bils eller rymdskepps verkliga g-kraft vändning.

Andra erbjuder fortfarande rörelsespåriga rekvisita med inbyggd haptisk återkoppling, till exempel med Striker Virtual Recoil-geväret eller Tactical Haptics Reactive Grip-enheten.

Immerzs KOR-FX haptiska väst ger spel och filmer en mycket större slag, speciellt när den kombineras med ett virtuellt verklighetshuvud

Och det här är utan att ens komma in i de höga kundanpassade haptiska verktygen som används i industriella, medicinska och militära simuleringar. Kirurger tränar eller utför fjärroperation med 3D-glasögon och haptiska instrument, soldater får en smak av slag genom att använda falska vapen med realistiska rekyler och västar som inte är liknar KOR-FX, medan piloter och gruvmaskiner tekniker också får taktil feedback från sina träningsprogram.

En livlig framtid

I alla dessa applikationer av haptisk teknik föreslår Nordvall nyckeln är att den taktila återkopplingen används för att antingen öka en upplevelse (för att få den att känna sig mer verklig eller tillfredsställande, som subtila vibrationer på ett virtuellt tangentbord eller pulser när din virtuella bil kraschar in i en vägg) eller att ersätta delar av gränssnittet helt så att informationshaptikerna inte är tillgängliga via ljudbilden eller visuellt på skärmen.

I ett videospel, till exempel "kan du få lite vibration som berättar vilken väg norrut är, så att du inte behöver titta på en minikarta hela tiden", säger Nordvall. Varken metod har blivit utforskad helt och sistnämnden är särskilt mogen för uppmärksamhet. Du kan ha erfarenheter som bara är möjliga med haptiker, föreslår Nordvall, eller återuppfinna befintliga, som spelet Pong eller kanske navigera genom en labyrint.

Med ny forskning som producerar både nya former av haptisk återkoppling (bara förra månaden rapporterade Gizmag om holografiska objekt som kan ses och kännas) samt mer sofistikerade taktila bildskärmar och 3D-kartor verkar haptics framtid endast begränsas av våra fantasi. Tekniken mognas snabbt, och den gör sin väg in i massmarknaden på en skala som är värd utvecklarens uppmärksamhet. Nu måste gränssnitten som gäller det komma ikapp.

Nästa gräns i interaktion mellan människor och datorer kommer att handla om att du känner den virtuella, digitala världen som om den var riktig och konkret (Foto: David Brohede)

En skärmdump från beta-versionen av Sightlence, en enkel haptisk redaktör, var avsedd att enkelt skapa haptiska signaler som kan användas i appar och spel för någon enhet (Bild: Mathias Nordvall)

Mathias Nordvall förbereder sig för att visa en tidig version av Haptic Pong- spelet på Game Developers Conference 2012 Experimental Gameplay Workshop (Foto: Rami Ismail)

Teatret och designflödet av haptisk pong, som presenterades av Nordvall vid 2013 Game Developers Conference (Bild: Mathias Nordvall)

Haptic Pong- spelet kan spelas med full grafik, som visar både paddlarna och bollen (Bild: Mathias Nordvall)

... eller med både paddlar men en osynlig boll (Bild: Mathias Nordvall)

Haptic Pong har i sitt rena tillstånd inga visuella eller auditiva hjälpmedel, och en skärm som är helt blank men för poängen (Bild: Mathias Nordvall)

Två personer spelar haptisk pong (Foto: Xavier V Stamps-Lafont)

Sightlence medskapare Mathias Nordvall (Foto: David Brohede)

Sightlence haptic Pong- spelet innehåller audiovisuella tutorials för att hjälpa siktiga spelare att anpassa sig till den ovanliga designmodellen (Bild: Mathias Nordvall)

Den kommande Apple Watch innehåller ett linjärt manöverdon som lovar att ge haptiska känslor av olika slag och på olika ställen beroende på kontexten

Immerzs KOR-FX haptiska väst ger spel och filmer en mycket större slag, speciellt när den kombineras med ett virtuellt verklighetshuvud

Oculus Rift hjälper till att driva forskning och utveckling i haptics som en del av en guldhopp för total VR-nedsänkning

Fujitsu prototyphaptiska sensoriska tabletter använder ultraljud för att skapa illusion av en texturerad yta

Nintendo 64 rumble pack introducerade en massspelare till idén om vibrationer i ett kontrollerhöjande spel (Foto: Evan-Amos)