1. 小精靈要和真實(shí)世界融為一體，要表現(xiàn)出確實(shí)存在于現(xiàn)實(shí)世界。這需要借助三維空間的重構(gòu)與識(shí)別，讓小精靈生成在自然平面而非一些奇怪的地方。

AR 游戲 Pokémon Go 一經(jīng)發(fā)布，帶來了無數(shù)的連環(huán)效應(yīng)，瘋狂的粉絲，癱瘓的服務(wù)器，崩潰的警察局，還有任天堂飆升的股價(jià)。

之所以這款游戲能讓全世界都瘋狂，除了 Pokémon 本身頂級(jí) IP 基因外，AR 元素的加入是最重要的原因，是 AR 讓 Pokémon Go 重生。

特立獨(dú)行的 AR 游戲

AR 是什么？全球的 Pokémon Go 玩家里了解 AR 的，也許連千分之一都不到，但這又怎么樣，他們都已經(jīng)在這個(gè)神奇的世界里得到了美妙的體驗(yàn)。

這樣的 AR 游戲和此前的手游完全不在一個(gè)時(shí)空里。Pokémon Go 研發(fā)公司 Niantic Labs CEO 兼創(chuàng)始人 John Hanke 說：“這是一個(gè)新的經(jīng)歷，把玩游戲與你做的其他事情混合在一起?！?/p>

我曾幻想的小精靈捕獲過程是這樣的：扔出去一枚精靈球，同時(shí)大喊“就是你了，皮卡丘！”（好中二，好羞恥…）接著捕獲到的皮卡丘就會(huì)萌態(tài)十足地出現(xiàn)在屏幕中——簡(jiǎn)直是神一樣的體驗(yàn)。很可惜，如此感人的畫面現(xiàn)在卻不能重現(xiàn)在 Pokémon Go 的游戲里。目前，作為 AR 技術(shù)中最重要的交互模塊，語音和手勢(shì)交互都已經(jīng)達(dá)到較為成熟的階段，想達(dá)到上述效果也并非難于登天。加入語音識(shí)別功能，玩家可以呼喚自己喜愛的小精靈，更可以通過語音交互來指揮它們，如同一個(gè)真正的訓(xùn)練師。另一方面，如果以手勢(shì)識(shí)別替代手指滑動(dòng)來操作精靈球，放出和收服精靈的快感也會(huì)增長(zhǎng)。

AR 的加入，得以把小精靈們帶入真實(shí)的生活，也讓 Pokémon Go 和其他游戲有了本質(zhì)的區(qū)別，長(zhǎng)時(shí)間的耐心等待終于換得了熱淚盈眶。

賣家秀和買家秀，AR 不止于此

身在 AR 這行，所以早在 Google 的愚人節(jié)玩笑視頻流出后，就開始持續(xù)關(guān)注著這款游戲。視頻里玩家翻山越嶺，終于在一個(gè)山洞里發(fā)現(xiàn)了小火龍，隨著一句“Gocha！”他露出欣慰的笑臉。這本是一個(gè)玩笑，但任天堂聯(lián)系了 Niantic，讓這個(gè)玩笑變成了現(xiàn)實(shí)。

從 Google 的視頻，再到 Niantic 的官方宣傳視頻，作為 AR 技術(shù)派，我之前認(rèn)為這款 AR 游戲至少會(huì)達(dá)到以下效果：

2. 玩家遇到的小精靈會(huì)和周圍環(huán)境產(chǎn)生一定關(guān)聯(lián)，比如叢林中的湖面里會(huì)看到水系的小精靈而非草系。這不僅需要依托于 LBS 類的地圖服務(wù)，同時(shí)也要利用 AR 技術(shù)對(duì)周圍進(jìn)行環(huán)境識(shí)別以達(dá)到畫面細(xì)節(jié)上的融合。

3. 手機(jī)屏幕成為了玩家和精靈世界的一扇窗戶。這需要精準(zhǔn)定位玩家手機(jī)的位置，使得玩家近距離觀看小精靈，甚至根據(jù)定位產(chǎn)生互動(dòng)，比如靠近會(huì)讓小精靈逃走。

但從目前的試玩體驗(yàn)來看，還是不可避免地出現(xiàn)了賣家秀和買家秀的區(qū)別。如果是完美的 AR 游戲，將需要什么樣的技術(shù)支持呢，簡(jiǎn)單分析一下：

1. 場(chǎng)景結(jié)構(gòu)認(rèn)知：

AR 是 Augmented Reality 的縮寫，即增強(qiáng)現(xiàn)實(shí)。既然要增強(qiáng)現(xiàn)實(shí)，那么首先就要理解現(xiàn)實(shí)。對(duì)現(xiàn)實(shí)的認(rèn)知是 AR 技術(shù)中最重要的一部分，理解現(xiàn)實(shí)場(chǎng)景結(jié)構(gòu)的算法以離線和在線為區(qū)別，分別稱作 SFM（三維重建）類和 SLAM（地圖構(gòu)建與實(shí)時(shí)定位）類算法。SFM 類算法在 3D 地圖的構(gòu)建中已經(jīng)成為標(biāo)準(zhǔn)算法，而 SLAM 類的算法之前更多應(yīng)用在機(jī)器人領(lǐng)域，近幾年才開始在 AR 領(lǐng)域發(fā)揮作用。

Pokémon Go 是一款實(shí)時(shí)戰(zhàn)斗的游戲，所以 SLAM 技術(shù)就成為了關(guān)鍵和首選。SLAM 技術(shù)可以通過多種不同的感應(yīng)器去實(shí)時(shí)認(rèn)知玩家所在的場(chǎng)景，根據(jù)現(xiàn)實(shí)場(chǎng)景構(gòu)建對(duì)應(yīng)的 3D 點(diǎn)云，再通過對(duì) 3D 點(diǎn)云的分析來了解現(xiàn)實(shí)場(chǎng)景的幾何構(gòu)造，比如哪里是地面，桌面，而哪里又是墻壁。了解了這些信息后，就可以在正確的地點(diǎn)生成正確的虛擬模型，以符合現(xiàn)實(shí)場(chǎng)景規(guī)律的方式讓玩家和虛擬模型互動(dòng)。

很可惜，也許是受限于開發(fā)的時(shí)間，又或者任天堂想先試水 AR，目前版本的 Pokémon Go 可以說對(duì) SLAM 相關(guān)技術(shù)運(yùn)用較少，所以經(jīng)?？梢钥吹叫【`生成在非平面的地方，甚至?xí)≡诳罩校雌饋矸浅５倪`和。如果使用場(chǎng)景認(rèn)知技術(shù)，游戲更具真實(shí)感。當(dāng)玩家看到精靈從地面跳到桌子再跳到自己床上的瞬間，一定會(huì)非常震撼。

另外，游戲需要與現(xiàn)實(shí)互動(dòng)，但玩家并不一定明白精靈生成的算法，若精靈生成在某些高臺(tái)的邊緣，玩家可能會(huì)冒險(xiǎn)追隨，釀成不必要的悲劇。

2. 基于語義的環(huán)境識(shí)別：

與看重幾何結(jié)構(gòu)的場(chǎng)景認(rèn)知有所區(qū)別，基于語義的環(huán)境識(shí)別更偏向以人的方式去認(rèn)識(shí)實(shí)際場(chǎng)景。比如識(shí)別場(chǎng)景是位于都市還是野外，場(chǎng)景內(nèi)是否存在草坪或水塘。

借助現(xiàn)在火熱的深度學(xué)習(xí)算法，以上的識(shí)別功能已經(jīng)被逐漸實(shí)現(xiàn)，甚至可以超越人類本身的認(rèn)知精度。

通過玩家攝像頭提供的圖片信息，圖像識(shí)別算法可以識(shí)別出玩家所在場(chǎng)景以及場(chǎng)景周圍的自然景觀，這樣玩家才有可能在草地里抓到妙蛙種子，在水里找到杰尼龜?；谡Z義的環(huán)境識(shí)別可以輕松的把小精靈的屬性和玩家所處的周圍環(huán)境有意義地串聯(lián)在一起，不同的場(chǎng)景對(duì)應(yīng)不同的故事腳本，而不是僅僅依靠 LBS 技術(shù)隨機(jī)、無序地在地圖里偶遇不同的小精靈。

3. 顯示與定位技術(shù)

體驗(yàn)過 Pokémon Go 的玩家應(yīng)該已經(jīng)發(fā)現(xiàn)，當(dāng)你想要和自己的小精靈“親近”，近距離看看這些萌物的時(shí)候，精靈們卻依然和玩家保持著“距離”。這是因?yàn)?Pokémon Go 在算法上僅僅使用了手機(jī)自帶的陀螺儀對(duì)玩家進(jìn)行非常粗略的定位，因此當(dāng)玩家向前移動(dòng)時(shí)，并不能體驗(yàn)到小精靈“放大”的效果，反而原本站在桌上的小精靈站到了“空氣中”。

想要達(dá)到更強(qiáng)的帶入感，就需要加強(qiáng)現(xiàn)實(shí)場(chǎng)景的顯示與定位技術(shù)。首先需要進(jìn)行場(chǎng)景結(jié)構(gòu)認(rèn)知，只有理解了現(xiàn)實(shí)場(chǎng)景的結(jié)構(gòu)，才可能把更多的虛擬模型正確疊加在現(xiàn)實(shí)場(chǎng)景中。比如在道館挑戰(zhàn)中，如果加入場(chǎng)景結(jié)構(gòu)認(rèn)知的算法，玩家會(huì)通過手機(jī)屏幕看到自家的房子變成了道館，即虛擬道館的模型疊加在現(xiàn)實(shí)世界的房屋結(jié)構(gòu)上，這樣的體驗(yàn)感顯然更優(yōu)。

其次，玩家想在這樣似真似幻的場(chǎng)景中隨意移動(dòng)觀賞，還需要依靠精準(zhǔn)的定位技術(shù)。為什么必須要進(jìn)行定位呢？這是因?yàn)樘摂M場(chǎng)景的位置完全是根據(jù)估計(jì)玩家相對(duì)于現(xiàn)實(shí)世界的位置計(jì)算后投影到現(xiàn)實(shí)世界的，理想效果是玩家移動(dòng)時(shí)感覺虛擬模型就是固定在現(xiàn)實(shí)世界中的，成為了現(xiàn)實(shí)世界中的一部分。所以如果不能精確估計(jì)玩家的位置，玩家移動(dòng)后就會(huì)看到虛擬模型或場(chǎng)景有所偏離，產(chǎn)生類似“漂浮”的違和感。反之，使用了精準(zhǔn)的定位技術(shù)，玩家就可以近距離觀察所有虛擬物體的細(xì)節(jié)，比如我本人就一直想靠近看看萌萌的皮卡丘。目前的主流的定位技術(shù)有 SLAM 類算法和 VO 類（視覺里程計(jì)）算法。

4. 語音和手勢(shì)互動(dòng)

鏈接真實(shí)，這就是 AR 的魅力。誰規(guī)定了游戲就一定是在電腦前飛快地操作鼠標(biāo)和鍵盤，或者捧著手機(jī)戳來戳去，它也可以是另一種態(tài)度?；氐郊尹c(diǎn)了燈，地板上是一只比卡丘，在公園里散步，身邊出現(xiàn)的是會(huì)唱歌的波可比，也許還能在逛超市的時(shí)候隨手撿回家一只可達(dá)鴨。

如果有了眼鏡，體驗(yàn)會(huì)更好嗎？

當(dāng)然，上面的分析和暢想絕對(duì)不是為了說明 Pokémon Go 不夠好，反而恰恰證明了，當(dāng)技術(shù)和游戲一起發(fā)展，這款游戲的體驗(yàn)還會(huì)有極大的優(yōu)化空間。

此外，配套裝備也是另一種優(yōu)化的方式。在策劃游戲時(shí)，Pokémon Go 也想到了手機(jī)的局限性，所以還同時(shí)推出了手環(huán)。手環(huán)會(huì)在小精靈出現(xiàn)時(shí)震動(dòng)提醒，免除了玩家一直舉著手機(jī)的麻煩。

可是手環(huán)+手機(jī)可能還不是最好的方式。從上面的分析中可以看到，原本想親眼看到的場(chǎng)景，一定要通過手機(jī)屏幕才可以看見，交互方式也只能局限為屏幕觸控，在移動(dòng)時(shí)代無所不能的手機(jī)反而成為了玩家和小精靈間一道無形的墻。但如果有了眼鏡，這種體驗(yàn)的缺失感就可以得到彌補(bǔ)。

AR 眼鏡，讓玩家有了走進(jìn)精靈世界的可能。攝像頭和各類傳感器可以感知環(huán)境，迅速提醒玩家周圍有目標(biāo)小精靈出現(xiàn)；AR 眼鏡的光學(xué)呈現(xiàn)，不僅把手機(jī)屏幕拓寬了幾十倍，還進(jìn)一步加深了虛擬的小精靈在現(xiàn)實(shí)世界的融入度，仿佛它們真的就在我們身邊；AR 眼鏡還最大限度得解放了雙手，跑跳翻躍都不成問題。

Pokémon Go 是一代人的夢(mèng)想，童年時(shí)代的寄托從電視機(jī)和游戲機(jī)跑了出來，變成生活中的陪伴。身為 AR 行業(yè)人，心里還會(huì)生出一種想法，希望自己有能力把這種陪伴變得越來越好，也私心地希望除了 Pokémon Go 以外，國內(nèi)也能有這樣的好游戲。

注：本文作者蔣佳憶，北大數(shù)學(xué)系，海歸博士，目前擔(dān)任 亮風(fēng)臺(tái) SLAM 算法工程師。癡迷游戲 20 年，收藏有從紅白機(jī)時(shí)代開始的所有游戲主機(jī)。