編者按：本文來(lái)自手勢(shì)交互方案提供商 鋒時(shí)互動(dòng) 的投稿。

Pokémon GO 讓 AR 和手游、街頭甚至社交相結(jié)合，僅僅是這幾個(gè)關(guān)鍵詞就足夠吸引人，再加上 Pokémon 這一世紀(jì)大 IP，好像不火反而沒(méi)道理。但是在手機(jī)上用長(zhǎng)按→滑動(dòng)的觸屏操作模擬“拋出”精靈球，將寶可夢(mèng)收入其中……會(huì)不會(huì)有些略顯拘謹(jǐn)和中二？雖然國(guó)服還未開(kāi)放，但是中國(guó)玩家對(duì) Pokémon GO 的思考和想象并不少，Pokémon GO 確實(shí)帶給我們很多驚喜，但是玩家最期待看到的不是技術(shù)最初級(jí)的樣子，而是將之與最適合的技術(shù)表現(xiàn)形式相結(jié)合，從情節(jié)設(shè)計(jì)和操作方式來(lái)看，VR/MR+手感操控或許能帶給玩家更爽的體驗(yàn)。

開(kāi)腦洞容易，但實(shí)現(xiàn)呢？

我們和 易瞳科技 一起嘗試了 VR 和 MR 版 Pokémon GO，寶可夢(mèng)從手機(jī)屏幕中解禁，玩家可以抓住想要選擇的精靈球，在眼前調(diào)整角度瞄準(zhǔn)后沖著寶可夢(mèng)拋出。如果你遇到的是一只剛烈而又狡猾的寶可夢(mèng)，為了避免被帶節(jié)奏，還可以打圈兒扔出最強(qiáng)旋轉(zhuǎn)精靈球、投喂食物，大概沒(méi)有哪只寶可夢(mèng)可以從玩家手中逃脫了。

關(guān)于開(kāi)發(fā)教程

相信各位老司機(jī)們對(duì) VR 的了解已經(jīng)非常透徹，微動(dòng)和易瞳攜手做的這段 demo 除了想要幫大家解鎖抓寶可夢(mèng)的新姿勢(shì)，還想把 MR+手感操控的技術(shù)表現(xiàn)形式普及給大家，以下為開(kāi)發(fā)教程，除此之外 SDK 也可以在微動(dòng) Vidoo 官網(wǎng)免費(fèi)下載，期待開(kāi)發(fā)者在吃下這記良心安利后會(huì)有更多大作產(chǎn)生。

手感操控：

首先，通過(guò)微動(dòng)的雙目深度傳感器得到深度圖像。在深度圖像中，我們通過(guò)修改每個(gè)像素 RGB 的值用以標(biāo)定該像素與傳感器之間的距離。當(dāng)我們觀察深度圖像時(shí)，會(huì)發(fā)現(xiàn)其效果與我們熟悉的紅外熱成像圖像類(lèi)似，只不過(guò)我們把溫度替換成了距離。下圖中，左側(cè)為深度圖像，右側(cè)為原始圖像。通過(guò)觀察可以看出，距離越近的區(qū)域，顏色越紅；距離越遠(yuǎn)的區(qū)域，顏色越藍(lán)。

其次，我們將深度圖像中符合人體手部特征的部分分割出來(lái)，進(jìn)行手部姿態(tài)、動(dòng)作的識(shí)別。這里需要指出的是手勢(shì)識(shí)別算法是基于深度圖像而不是普通圖像的。這樣可以方便我們獲得手部每個(gè)點(diǎn)的深度信息。從而還原出整手的骨骼結(jié)構(gòu)。如果我們想要與虛擬物體進(jìn)行觸碰式的交互，骨骼結(jié)構(gòu)是不可缺失的技術(shù)前提。

最后，我們通過(guò)算法將傳感器坐標(biāo)系（包含手部骨骼空間信息）、虛擬世界坐標(biāo)系（包含所有虛擬物體的空間信息）、現(xiàn)實(shí)坐標(biāo)系（包含環(huán)境信息和手部信息）這三個(gè)坐標(biāo)系對(duì)齊。這樣，我們可以將檢測(cè)到的手部骨骼與真實(shí)的雙手對(duì)齊；將虛擬物體與現(xiàn)實(shí)環(huán)境對(duì)齊。當(dāng)真實(shí)的手部觸碰到虛擬的物體時(shí)，將會(huì)產(chǎn)生類(lèi)似鼠標(biāo)點(diǎn)擊的事件，來(lái)驅(qū)動(dòng)程序的執(zhí)行，具體到 Pokémon GO 里面，就是投喂小精靈，扔出精靈球等操作。

革新人類(lèi)視覺(jué)感知的能力，不僅涉及到對(duì)現(xiàn)實(shí)進(jìn)行數(shù)字疊加，還需要用到增刪改等其他視覺(jué)修飾手段，從上世紀(jì) 90 年代開(kāi)始，MR（介導(dǎo)現(xiàn)實(shí)）的研究逐步在多倫多大學(xué)的 HI 實(shí)驗(yàn)室中展開(kāi)，一批頂尖學(xué)科人才從 HI 實(shí)驗(yàn)室脫穎而出。

MR 顯示

接下來(lái)，我們要做的就是在空間當(dāng)中顯示 Pokémon GO 中的游戲元素，并且讓皮卡丘和精靈球顯示在合理的空間范圍之內(nèi)。我們采用視頻透視技術(shù)，通過(guò)雙目攝像頭實(shí)時(shí)采集你看到的“現(xiàn)實(shí)”世界并將之?dāng)?shù)字化，然后通過(guò)計(jì)算機(jī)算法實(shí)時(shí)渲染畫(huà)面。這樣做完既可以完全疊加虛擬圖像，也可以看到的經(jīng)過(guò)計(jì)算機(jī)渲染后新的“現(xiàn)實(shí)畫(huà)面”。滿(mǎn)足了我們對(duì)于虛擬物體和現(xiàn)實(shí)環(huán)境同時(shí)存在的需求。

在解決了交互和顯示核心技術(shù)之后，在 Unity3D 里面加入相應(yīng)的 SDK，調(diào)整下流程邏輯。MR 版 Pokémon GO 便誕生啦！

介導(dǎo)現(xiàn)實(shí)技術(shù) MR

值得注意的是本文提到的“MR”并非“混合現(xiàn)實(shí)”。MR 是介于 VR 與 AR 之間的技術(shù)，名為介導(dǎo)現(xiàn)實(shí)技術(shù)，由“智能硬件之父”多倫多大學(xué)教授 SteveMann 提出的介導(dǎo)現(xiàn)實(shí)，全稱(chēng) Mediated Reality（簡(jiǎn)稱(chēng) MR）。VR 是純虛擬數(shù)字畫(huà)面，包括 AR 在內(nèi)的 Mixed Reality 是虛擬數(shù)字畫(huà)面+裸眼現(xiàn)實(shí)，MR 是數(shù)字化現(xiàn)實(shí)+虛擬數(shù)字畫(huà)面。

MR 也并非近幾年才出現(xiàn)，上世紀(jì)七八十年代，為了增強(qiáng)自身視覺(jué)效果，讓眼睛在任何情境下都能夠“看到”周?chē)h(huán)境，Steve Mann 設(shè)計(jì)出可穿戴智能硬件”Digital Eye Glass” 作為視覺(jué)輔助設(shè)備，這被看作是對(duì) MR 的初步探索。

至此，已完成了手感操控的基礎(chǔ)部分，后續(xù)將進(jìn)一步在 Unity3D 中完善事件的邏輯，完成 Pokémon GO 中將精靈球、食物拋向小精靈的功能。

“手感操控”非“手勢(shì)識(shí)別”

手感操控不等于手勢(shì)識(shí)別，手感操控包括手勢(shì)識(shí)別。手感操控要滿(mǎn)足以下三個(gè)基本點(diǎn)：

• 手感操控一定要有深度信息，傳感器要知道手離用戶(hù)有多遠(yuǎn)。
• 手感操控包括手勢(shì)識(shí)別。手勢(shì)識(shí)別通過(guò)圖像算法更新得到手部姿態(tài)和手部動(dòng)作指令，將手的深度信息和手勢(shì)識(shí)別信息相疊加，得到：手離我有多遠(yuǎn)，手在做什么的完整信息，才能稱(chēng)為手感操控。
• 在 VR 中，手感操控要給用戶(hù)提供真實(shí)的手部圖像。通過(guò)算法把手部影像拉近到和用戶(hù)真實(shí)的前庭感官同步，能看到深度信息，給用戶(hù)最真實(shí)的操控的感覺(jué)。如果用戶(hù)看到的是機(jī)械的手或者模擬的手，交互友好度會(huì)大打折扣。

微動(dòng) Vidoo 是可以應(yīng)用于移動(dòng)端的手感操控設(shè)備，可以完成手部影像坐標(biāo)系與虛擬世界坐標(biāo)系的重合，構(gòu)建 1：1 的虛擬手感操控空間；交互過(guò)程中使用原始的手部圖像，使用者就像是在用自己真實(shí)的雙手與 VR/AR/MR 世界中的虛擬物體進(jìn)行交互；不再使用頭部瞄準(zhǔn)作為選擇的工具，讓顯示交互與指令交互分離。微動(dòng)的下一代產(chǎn)品，將雙目模組作為傳感基站，可同時(shí)進(jìn)行手感操控、空間定位、光學(xué)手柄的檢測(cè)，致力于打造完整的虛擬現(xiàn)實(shí)交互解決方案。除此之外它還將致力于為車(chē)載電子、全息投影、智能家居等前沿領(lǐng)域提供手感操控的軟/硬件解決方案。

微動(dòng) Vidoo 和易瞳在硬件和軟件層面已達(dá)成深入合作。易瞳科技 CTO 艾韜師承 Steve Mann，曾帶領(lǐng)團(tuán)隊(duì)在計(jì)算機(jī)視覺(jué)，計(jì)算機(jī)攝影等領(lǐng)域取得多項(xiàng)技術(shù)突破，最終將 MR 概念落地為產(chǎn)品。2016 年 8 月，易瞳科技推出全球首款 MR 智能眼鏡“易瞳 VMG-PROV”（下圖）。