【文章內(nèi)容簡(jiǎn)介】 ation 12 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 13 Conflict， VAC） ， 由于雙 目 視差 在產(chǎn) 生 3D 效果 的 同時(shí) ， 造成雙 目 焦 點(diǎn)調(diào)節(jié)與視覺(jué)景深不匹配， VR 頭顯難以如實(shí)反映類(lèi)似真實(shí)世界中觀 看遠(yuǎn)近 物 體的 清 晰 /模糊變化 。 目前 ， 對(duì) 于產(chǎn)生 眩 暈感 的前 兩類(lèi)因 素 ， 業(yè)界已 有 上述 初步 的解決 方 案 ， 然而 ， 在現(xiàn) 有 量產(chǎn) 產(chǎn)品 中 ， 尚 未 有應(yīng) 對(duì) VAC 引發(fā)眩 暈 感的技術(shù)方 案 ， 發(fā) 展非固定焦 深 的 多 焦點(diǎn)顯 示 （ Multifocal Display）、可變焦顯示（ Varifocal Display）與 光場(chǎng)顯示成為業(yè)界在近眼顯示眩暈控制方面的重中之重。 AMOLED、 LCOS/OLEDoS 成為近眼顯示屏幕技術(shù)的主 導(dǎo)路線(xiàn) 在 VR 顯示上， AMOLED 呈現(xiàn)出對(duì)液晶顯示的替代趨勢(shì)。 這一趨勢(shì) 符合全球新型顯示中小尺寸市場(chǎng)中 AMOLED 滲透率顯著上升的發(fā)展態(tài) 勢(shì) ， 預(yù)計(jì) 2020 年 全 球約有接近 50%智 能 手機(jī)采用 AMOLED 屏幕 。 目 前， AMOLED 成為 Oculus Rift、 HTC VIVE、 Sony PSVR、大朋等國(guó)內(nèi)外多 數(shù)主流廠商技術(shù)選擇。相比液晶顯示， VR 用 AMOLED 的優(yōu)勢(shì)主要表現(xiàn) 在如下方面：響應(yīng)時(shí)間比液晶顯示低一個(gè)數(shù)量級(jí)，有效避免了 VR 交 互造成 的畫(huà)面拖尾模糊；由于不含背光源模組， AMOLED VR 頭顯佩戴 相對(duì)輕便 ； 可降 低 引起視 網(wǎng) 膜病 變傷 害的藍(lán) 光 輻射量 ； 在高分 辨 率與 黑色畫(huà) 面 背景 等情 況下 ， 功 耗表 現(xiàn)優(yōu) 于液晶 顯 示 。 另一 方面 ， 液 晶顯 示的技術(shù)生命力仍然存在， JDI、京東方等顯示企業(yè)已研發(fā)出響應(yīng)時(shí) 間在 6 毫秒內(nèi)的高分辨率、高刷新率的 VR 用液晶面板。 在 AR 顯 示 上 ， 基 于 LCOS 、 OLEDoS 的 光 學(xué) 透 射 顯 示 （ Optical Seethrough） 成為當(dāng) 前 重 點(diǎn) 技術(shù)路線(xiàn) 。 由于 具有 體積小、 高分辨率、高刷新率、光能利用率高、成本較低的特點(diǎn)， LCOS 成為 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 中國(guó)信息通信研究院 14 Google Glass、 Microsoft Hololens 等代表性 AR 終端顯示器件的選 擇 。 然 而 ， 由 于真 實(shí)世界 中 環(huán)境 光的 影響 ， 在 顯示 亮度 與對(duì)比 度 上對(duì) AR 終端提出了更高要求，為避免 “ 鬼影效果（ Ghost Effect） ” ， OLEDoS 成為彌補(bǔ) LCOS 在此方 面 性能 短 板的重 要 技術(shù) 選 擇 ， 代表性 AR 頭顯有 ODG 的 R 系列、 Epson 的 Moverio 系列等。 綜上 ， 為 實(shí) 現(xiàn)比 較 連貫的 虛 擬現(xiàn) 實(shí)技 術(shù)發(fā)展 路 徑 ， 分 別 考慮分階 段目標(biāo) 與 近眼 顯示 、 網(wǎng)絡(luò)傳 輸 、 渲 染 處理 、 感 知 交互 、 內(nèi)容制 作 等關(guān) 鍵技術(shù) 間 的邏 輯關(guān) 系 ， 描述 如 下技 術(shù)演 進(jìn)時(shí)間表 。 預(yù)計(jì) 20172019 年， 實(shí)現(xiàn) 2K 單眼分辨率、 90Hz 刷新率屏幕的規(guī)模應(yīng)用，全球主機(jī)式與一 體式 VR 用 AMOLED 滲透率將達(dá)到 95%（手機(jī)式 VR 用滲透率達(dá) 50%）， AR 用 LCOS、 OLEDoS 滲透率 將 達(dá)到 95%。 在光學(xué) 系 統(tǒng)方 面 ， 實(shí)現(xiàn) VR 用 90 度 FOV、 20PPD 以及 AR 用 40 度 FOV 頭顯的規(guī)模應(yīng)用，初步確保視 覺(jué)亮度 與 對(duì)比 度的 體驗(yàn)要 求 。 預(yù)計(jì) 2020 年后 ， 實(shí)現(xiàn) 4K+單眼分辨 率 、 120Hz+刷新率 屏幕 的規(guī)模 應(yīng) 用 ， 實(shí)現(xiàn) Micro LED 等新 興屏 幕技術(shù) 的 產(chǎn) 業(yè)化應(yīng)用 。 在光 學(xué) 系統(tǒng)方面 ， 實(shí)現(xiàn) 可 變焦深 的 多焦 、 變 焦 、 光場(chǎng) 顯 示 的產(chǎn)業(yè)化 ， VR 用 120 度 FOV、 30+PPD 頭顯的規(guī) 模 應(yīng)用 ， 在 功耗控 制 、 插黑頻 率 與光 能利 用率的 影 響下 ， 持 續(xù) 提高環(huán) 境 光條 件下 的視覺(jué) 亮 度 與對(duì)比度。 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 15 圖 10 虛擬現(xiàn)實(shí)近眼顯示關(guān)鍵技術(shù)路標(biāo) （三）感知交互技術(shù)聚焦追蹤定位、環(huán)境理解與多通道 交互等熱點(diǎn)領(lǐng)域 追蹤定位成為 VR 與 AR 在感知交互領(lǐng)域的核心技術(shù) 追 蹤 定 位 技 術(shù) 呈 現(xiàn) 由 外 向 內(nèi) 的 空 間 位 姿 跟 蹤 （ OutsideInPositionTracking ） 向由內(nèi) 向外的空 間 位姿跟 蹤 （ InsideOut） 的 發(fā)展趨 勢(shì) 。 從 需求 體驗(yàn)看 ， 相比 手機(jī) 固有的 通 信屬 性 ， 感知 交 互成 為 虛擬現(xiàn) 實(shí) 的核 心特 質(zhì) ， 否則 虛 擬現(xiàn) 實(shí) 將退化 為 頭戴 式電視 /手機(jī)，其中追蹤定位是一切感知交互的先決條件，只有確定 了現(xiàn)實(shí) 位 置與 虛擬 位置的 映 射關(guān)系 ， 方才進(jìn) 行 后續(xù) 諸多 交互動(dòng)作 ， 目 前 InsideOut 是未來(lái)追蹤定位的熱門(mén)技術(shù)路線(xiàn)，有關(guān)總結(jié)如下。 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 中國(guó)信息通信研究院 16 圖 11 追蹤定位領(lǐng)域兩類(lèi)技術(shù)路線(xiàn)對(duì)比總結(jié) 手部體感交互呈現(xiàn)由手勢(shì)識(shí)別向手部姿態(tài)估計(jì) /跟蹤的發(fā)展趨勢(shì)。 手勢(shì)識(shí) 別 是讓 靜態(tài) 手型或 動(dòng) 態(tài)手 勢(shì)與 確定的 控 制指 令進(jìn) 行映射 ， 觸發(fā) 對(duì)應(yīng)的 控 制指 令 。 此 類(lèi)交互 須 用戶(hù) 提前 對(duì)手勢(shì) 進(jìn) 行一 定的 學(xué)習(xí)和 適 應(yīng)， 因此為交互體驗(yàn)的提升帶來(lái)較大挑戰(zhàn)。目前，以 MicrosoftHololens 為代表的 AR 頭顯廣泛采用手勢(shì)識(shí)別，其優(yōu)勢(shì)在于發(fā)展相對(duì)成熟，對(duì) 硬件器件性能要求較低，普通單目 /RGB 攝像頭即可實(shí)現(xiàn)，問(wèn)題在于 用戶(hù)學(xué) 習(xí) 成本 較高 ， 且僅 能 實(shí)現(xiàn) 某些 特定指 令 ， 交 互效 率較低 ， 不夠 自然。手部姿態(tài)估計(jì) /跟蹤并不判斷手部形態(tài)實(shí)際含義，而通過(guò)還原 手部 26 個(gè)自由度的關(guān)節(jié)點(diǎn)姿態(tài)信息，進(jìn)一步重建整個(gè)手部骨架和輪 廓 ， 虛擬手 與現(xiàn) 實(shí) 世界中 雙 手的 活動(dòng) 保持一致 ， 用戶(hù) 可 像用真 實(shí) 手操 作現(xiàn)實(shí)物體一樣對(duì)虛擬信息進(jìn)行操作，學(xué)習(xí)成本較低，可實(shí)現(xiàn)更多、 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 17 更復(fù)雜 、 更 自然 的 交互動(dòng)作 ， 主要 問(wèn) 題在于 遮 擋等 條件 下的性 能 表現(xiàn) 尚待提升 ， 同時(shí) 由 于缺乏 必 要反饋 ， 此類(lèi)手 部 體感 交互 技術(shù)還 須 持續(xù) 綜合改 進(jìn) 用戶(hù) 體驗(yàn) 。 目前 ， 諸多 初 創(chuàng) 公 司提供 基 于雙 攝 /結(jié) 構(gòu)光 /飛行 時(shí)間等定制化、模組化的此類(lèi)解決方案，代表產(chǎn)品如 LeapMotion、 IntelRealSense、凌感、鋒時(shí)互動(dòng)等。 AR 感知交互的發(fā)展趨勢(shì)側(cè)重于基于機(jī)器視覺(jué)的環(huán) 境理解 環(huán)境理解呈現(xiàn)由有標(biāo)識(shí)點(diǎn)識(shí)別向無(wú)標(biāo)識(shí)點(diǎn)的場(chǎng)景分割與重建的 方向發(fā)展。 相比 VR，由于 AR 大部分視野中呈現(xiàn)真實(shí)場(chǎng)景，如何識(shí)別 和理解 現(xiàn) 實(shí)場(chǎng) 景和 物體 ， 并 將虛 擬 物 體 更為真 實(shí) 可信 的疊 加到現(xiàn) 實(shí) 場(chǎng) 景中成為 AR 感知交互的首要任務(wù)，而基于機(jī)器視覺(jué)的環(huán)境理解成為 這一領(lǐng) 域 的技 術(shù)焦 點(diǎn) 。 在 AR 應(yīng)用的 早 期 ， 絕大部分 AR 引 擎通過(guò) 獲 取 圖像中 標(biāo) 識(shí) 點(diǎn) （ Marker） 的特 征 信息 并 與預(yù)存 的 模板 進(jìn)行 匹配 ， 來(lái) 識(shí) 別當(dāng)前 Marker 的種類(lèi)及位 置 信息 ， Marker 從如 ARToolkit 等有明確 邊緣信 息 和規(guī) 則的 幾何形 狀 演進(jìn) 到任 意圖 像 （如 Metaio、 Vuforia 等 商業(yè)引 擎 ）， 這類(lèi) 基于標(biāo) 識(shí) 點(diǎn)的 識(shí)別 技術(shù)使 用 限制 較多 ， 應(yīng)用 場(chǎng) 景較 為狹窄 。 隨著 深度 學(xué)習(xí)和 即 時(shí)定 位與 地圖構(gòu) 建 （ SLAM） 等識(shí)別 和 定位 重建技術(shù)的發(fā)展普及，未來(lái)的 VR/AR 將不僅局限在對(duì)特定 Marker 的 識(shí)別 ， 而 會(huì) 逐漸 拓 展到對(duì) 現(xiàn) 實(shí)場(chǎng) 景的 語(yǔ)義與 幾 何理解 。 在語(yǔ)義 理 解方 面， 主要任務(wù)是利用卷積神經(jīng)網(wǎng)絡(luò)（ CNN）對(duì)單幀圖像或連續(xù)多幀視 頻中所 出 現(xiàn)的 物體 和場(chǎng)景 進(jìn) 行識(shí) 別和 分割 ， 大 致分 為分 類(lèi) 、 檢 測(cè) 、 語(yǔ) 義與物 體 分割 ， 即 確定圖 像 中物 體類(lèi) 別 、 大 概 位置 、 物 體基本 邊 緣輪 廓以及 針 對(duì)分 割出 的同類(lèi) 物 體 ， 進(jìn) 一 步分割 底 層組 成部 分 。 基于 深 度 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 中國(guó)信息通信研究院 學(xué)習(xí)的 語(yǔ) 義理 解通 常需要 龐 大的 訓(xùn)練 數(shù)據(jù)集 進(jìn) 行模 型訓(xùn) 練 ， 但 效 果顯 著優(yōu)于 老 舊的基于 Marker 的識(shí)別 技 術(shù) ， 目前廣 泛 用于 AR 小物體的識(shí) 別分割及跟蹤。 在幾何理解方面， SLAM 早期應(yīng)用在機(jī)器人領(lǐng)域，以 出發(fā)地 點(diǎn) 為起 始位 置 ， 在 運(yùn) 動(dòng)過(guò) 程 中 通 過(guò)重復(fù) 觀 測(cè)到 的地 圖特征 來(lái) 定 位自身 位 置和 姿態(tài) ， 再根據(jù) 自 身位 置 增量構(gòu) 建 地圖 ， 達(dá) 到同時(shí) 定 位和 地圖構(gòu)建的目的。在 VR/AR 領(lǐng)域， SLAM 廣泛用于 InsideOut 追蹤定 位中 ， 此 外 ， 還可 利用 SLAM 的建圖 過(guò) 程對(duì)場(chǎng) 景 進(jìn)行 3D 重建 ， 將 之 作 為虛擬 信 息呈 現(xiàn)的 理想界 面 。 目 前谷 歌 、 微 軟 、 蘋(píng) 果 等 ICT 巨頭及各 類(lèi)科技型初創(chuàng)廠商在此方面積極布局。 VR 感知交互的發(fā)展趨勢(shì)側(cè)重于多通道交互 提升 VR 用戶(hù)各感官通道的一致性與沉浸體驗(yàn)成為感知交互領(lǐng)域 的重點(diǎn) 發(fā) 展趨 勢(shì) 。 多通道 交 互的 一致 性主要 表 現(xiàn)為 視覺(jué) 、 聽(tīng)覺(jué) 、 觸覺(jué) 等感官 的 一致 以及 主動(dòng)行 為 與動(dòng) 作反 饋的一 致 ， 基 于 用 戶(hù) 眩暈控 制 與 沉浸體驗(yàn)方面的特性要求，浸入式聲場(chǎng)、眼球追蹤、觸覺(jué)反饋、語(yǔ)音 交互等 交 互技 術(shù)成 為虛擬 現(xiàn) 實(shí)剛 性需 求的趨 勢(shì) 愈發(fā) 明 顯 。 浸入式 聲 場(chǎng) 方面 ， 聲 音 在交 互 領(lǐng)域的 重 要性 被廣 泛重視 ， 通 過(guò)設(shè) 計(jì) 頭部相 關(guān) 傳遞 函 數(shù) （ HRTF） 強(qiáng) 化 視覺(jué)和 聽(tīng) 覺(jué)的 一致 性 ， 以 實(shí) 現(xiàn) 逼 真的 聲音方 位 與遠(yuǎn) 近效果 ， 同 時(shí)模 擬 基于反射 、 遮擋 、 隔絕封閉 、 混響 回 聲等聲 音 氛圍 的傳播 路 徑 ， 如 Nvidia 借鑒光線(xiàn) 追 蹤 渲 染技術(shù) 思 路 ， 通 過(guò) 將 VR 音頻 交互映射到 3D 場(chǎng) 景 中的物 體 上 ， 旨在 打造符 合 聽(tīng)覺(jué) 與聲 學(xué)特性的 VR 浸入式聲場(chǎng)。目前，傳統(tǒng)聲學(xué)廠商如 Dolby、 DTS 以及微軟、谷歌、 高通 、 Unity、 Oculus、 OSSIC 等紛紛 推 出浸入 式 聲場(chǎng) 的軟 硬件產(chǎn) 品 。 眼球追 蹤 方面 ， 之 所以備 受 業(yè)界 推崇 熱 炒 ， 一 是 眼球 追 蹤搭配 注 視點(diǎn) 渲染 ， 針 對(duì)用 戶(hù)注 視點(diǎn)的 調(diào) 整 ， 不同 區(qū)域采 用 不同 的渲 染分辨 率 ， 從 18 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 19 而降低 計(jì) 算資 源占 用 、 功耗及 GPU 成本 ， 有望 成 為移 動(dòng) 端實(shí)現(xiàn) 高 沉浸 感 VR 體驗(yàn)的必要技術(shù)。二是有望解決可引發(fā)用戶(hù)眩暈的輻輳調(diào)節(jié)沖 突 ， 多 焦 顯示 通過(guò) 光學(xué)設(shè) 計(jì) 實(shí)現(xiàn) 局部 模糊 ， 相 比之 下 ， 變焦顯 示 通過(guò) GPU 注視點(diǎn)渲染實(shí)現(xiàn)局部模糊，而這一過(guò)程有賴(lài)于眼球追蹤。因此， 多焦顯示 +注視點(diǎn)渲染 +眼球追蹤有望成為虛擬現(xiàn)實(shí)領(lǐng)域新興的關(guān)鍵 技術(shù)組合 。三是可用于 VR 內(nèi)容設(shè)計(jì)創(chuàng)新，如 FOVE、 Tobbi 企業(yè)創(chuàng)建 的 VR 游 戲 《 審 訊 》 、 《 SOMA》 等 。 目 前 ， 代表性 的 公司 有 剛被 Apple 公司收購(gòu)的 SMI、瑞典廠商 Tobbi 及國(guó)內(nèi)的七鑫易維等。 觸覺(jué)反饋方 面 ， 目 前 缺乏 反 饋 導(dǎo) 致的操 作 精度 下降 成為裸 手 交互 難以 被廣泛 認(rèn) 可 的重要 原 因 。 從低 成本的 震 動(dòng)觸 覺(jué)反 饋 ， 到 高 成本 的機(jī) 械力反 饋 ， 以 及尚不 成 熟的 靜電 摩擦 ， 觸 覺(jué) 反饋 技 術(shù)被業(yè) 內(nèi) 愈發(fā) 關(guān)注 ， 目前在 交 互 手柄上， Oculus Touch 和 Vive Controller 開(kāi)展了深入工作，諸如 Go Touch 等初創(chuàng)公司嘗試指套類(lèi)等反饋方式。 綜上， VR、 AR 在基礎(chǔ)需求上存在共通之處，即現(xiàn)實(shí)位置坐標(biāo)與 虛擬位置坐標(biāo)的映射關(guān)系成為感知交互順利進(jìn)行的先