【正文】 能夠 讓機(jī)器學(xué)會(huì) “ 看圖說(shuō)話 ” ， Tango 與地圖部門(mén)通過(guò)環(huán)境 3D 建模實(shí)現(xiàn) 室內(nèi) SLAM 功能等；在渲染處理方面，畫(huà)面渲染對(duì)計(jì)算資源的開(kāi)銷很 大 ， 在畫(huà) 質(zhì) 噪點(diǎn) 和 處理時(shí) 間 上存 在不 足 ， 基于 深 度學(xué) 習(xí) 的渲染 技 術(shù)能 夠大幅 度 提高 畫(huà)質(zhì) 、 降低渲 染 時(shí)間 ； 虛 擬現(xiàn)實(shí) 對(duì) 人工 智能 發(fā)展的 推 動(dòng) 集中在通用型 AI 方面。目 前，科技巨頭將手機(jī)作為虛擬現(xiàn)實(shí)的首要平臺(tái)載體，如 Facebook 在 2017 年開(kāi)發(fā)者大會(huì)上表示手機(jī)將是首要的 AR 體驗(yàn)平臺(tái)，谷歌的 Daydream 和 Tango 項(xiàng)目都圍繞手機(jī)開(kāi)展生態(tài)建設(shè)，蘋(píng)果表示將通過(guò) 手機(jī)構(gòu) 建 全球 最大 的 AR 平臺(tái) ， 虛擬 現(xiàn) 實(shí)將成 為 手機(jī) 的延 續(xù)而非 替 代； 在應(yīng)用 軟 件方 面 ， 手 機(jī) APP 已經(jīng)開(kāi)始 呈 現(xiàn) VR/AR 化 ， 根 據(jù) 尼 爾森統(tǒng) 計(jì) ， 20xx 年美 國(guó) 下載 TOP10 APP 中 ， 絕大 多 數(shù)具備 虛 擬現(xiàn) 實(shí)功 能 。此 外 ， 各省 市 地方 政 府積極 建 設(shè)產(chǎn) 業(yè)園 區(qū)及實(shí) 驗(yàn) 室 ， 推 動(dòng) 本地虛 擬 現(xiàn)實(shí) 產(chǎn)業(yè)發(fā)展，至 20xx 年底，我國(guó)近二十個(gè)省市地區(qū)開(kāi)始布局虛擬現(xiàn)實(shí) 產(chǎn)業(yè)。 此外 ， 韓 國(guó) 未 來(lái)創(chuàng)造 科 學(xué)部 計(jì)劃 在 20xx2020 年 期 間通過(guò) 投 資 約 24 億人民幣，培育本國(guó)虛擬現(xiàn)實(shí)產(chǎn)業(yè)， 重點(diǎn)在于確保原創(chuàng)技術(shù)研 發(fā)和產(chǎn) 業(yè) 生態(tài) 完善 方面 ， 力 爭(zhēng)使 韓 國(guó) 與 美國(guó)在 虛 擬現(xiàn) 實(shí)方 面的差 距 從 目前的兩年降至半年。 此外 ， 美 國(guó) 設(shè)立 了 有關(guān)虛 擬 現(xiàn)實(shí) 的研究 項(xiàng) 目 ， 如 衛(wèi) 生與福 利 部 、 教 育 部分別 開(kāi) 展了 虛擬 現(xiàn)實(shí)在 心 理疾 病、中小學(xué)教育的試點(diǎn)示范。 美 國(guó) 政 府 早在上 世紀(jì) 90 年代即將虛擬現(xiàn)實(shí)作為《國(guó)家信息基礎(chǔ)設(shè)施（ NII）計(jì)劃》的 重點(diǎn)支 持 領(lǐng)域 之一 。據(jù) DigiCapital 統(tǒng)計(jì)表明， 20xx 年全球投資虛 擬現(xiàn)實(shí)初創(chuàng)公司的金額達(dá)到 23 億美元（不含并購(gòu)），同比增長(zhǎng) 200% 以上 。 光 電子方面 ， 虛 擬現(xiàn)實(shí)顯示器件經(jīng)歷了從 CRT 到 TFTLCD/AMOLED 的產(chǎn)業(yè)變革，屏幕 體積重量不斷縮小，分辨率升至 FHD+水平，響應(yīng)時(shí)間達(dá)到微秒級(jí)。此外， VR 側(cè)重于游戲、視頻、直播與社交等 大眾市場(chǎng)， AR 側(cè)重于工業(yè)、軍事等垂直應(yīng)用。 此外 ， 在 自動(dòng) 駕駛 與車聯(lián) 網(wǎng) 發(fā)展 浪潮 的影響 下 ， 基 于抬 頭顯示 的 車載 式 AR 成為了新興領(lǐng)域，隱形眼鏡這一前瞻性產(chǎn)品形態(tài)代表了業(yè)界對(duì) AR 設(shè)計(jì)的最終預(yù)期。 圖 1 虛擬現(xiàn)實(shí)沉浸感分級(jí)體驗(yàn) 來(lái)源：中國(guó)信通院 1 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 中國(guó)信息通信研究院 來(lái)源：華為 iLab 創(chuàng)新實(shí)驗(yàn)室 圖 2 虛擬現(xiàn)實(shí)沉浸體驗(yàn) 網(wǎng)絡(luò)需求視圖 虛擬現(xiàn) 實(shí) 終端 由單 一 向 多 元 、 由 分立 向融合 方 向演 變 。 隨著技 術(shù)和產(chǎn) 業(yè) 生態(tài) 的持 續(xù)發(fā)展 ， 虛擬 現(xiàn)實(shí) 的概念 不 斷演 進(jìn) 。從產(chǎn)業(yè)構(gòu)成上看，虛擬現(xiàn)實(shí)產(chǎn) 業(yè)體系 依 托器件 /設(shè) 備 、 工具 /平 臺(tái)與 內(nèi) 容 /應(yīng)用 ， 相 比較 為 成熟的智 能終端，虛擬現(xiàn)實(shí)產(chǎn)業(yè)體系類似，實(shí)則差異較大。 本白皮書(shū)限于編寫(xiě)時(shí)間、項(xiàng)目組知識(shí)積累與產(chǎn)業(yè)尚未完全定型 等方面的因素，內(nèi)容恐有疏漏，煩請(qǐng)不吝指正。 前 言 虛擬（增強(qiáng)）現(xiàn)實(shí)是新一代的信息通信技術(shù)的關(guān)鍵領(lǐng)域，具有 應(yīng)用空 間 大 、 產(chǎn) 業(yè)潛 力大 、 技 術(shù) 跨度 大的 特點(diǎn) ， 對(duì) 帶 動(dòng)核 心元 器件、 泛智能終端、網(wǎng)絡(luò)傳輸設(shè)備、云設(shè)備、電信服務(wù)、軟件與行業(yè)領(lǐng)域 信息服務(wù)的轉(zhuǎn)型升級(jí)具有重要意義。總體來(lái)看，我國(guó) 在虛擬現(xiàn)實(shí)產(chǎn)業(yè)上與國(guó)際一流水平差距不大，建議進(jìn)一步強(qiáng)化跨領(lǐng) 域技術(shù) 儲(chǔ) 備 ， 聚 焦 融合創(chuàng) 新 ； 深 化 內(nèi) 容開(kāi)發(fā) 工 具 /平臺(tái) 發(fā) 展 ， 推 廣應(yīng) 用服務(wù)；構(gòu)建公共服務(wù)平臺(tái)，提升產(chǎn)業(yè)化服務(wù)能力。 業(yè)界對(duì) 虛 擬現(xiàn) 實(shí)的研討不再拘泥于特定終端形態(tài)與實(shí)現(xiàn)方式，而是聚焦體驗(yàn)效果， 強(qiáng)調(diào)關(guān) 鍵 技術(shù) 、 產(chǎn) 業(yè) 生態(tài)與 應(yīng) 用領(lǐng) 域的 融合創(chuàng)新 。 按終端形 態(tài)劃 分 ， 手 機(jī) 式 成 為現(xiàn)階 段 主要 終端 平 臺(tái) 。按終端功能劃分，從廣義來(lái)看，虛擬現(xiàn)實(shí)包含 增強(qiáng)現(xiàn) 實(shí) ， 早 期學(xué) 界通常在 VR 研討 框 架內(nèi)下設(shè) AR 主題 ， 隨著產(chǎn) 業(yè) 界 在 AR 領(lǐng)域的 持 續(xù) 發(fā) 力 ， 部 分業(yè) 者 將 AR 從 VR 的概念 框 架 中 抽離出 來(lái) 。隨著技術(shù)與產(chǎn)業(yè)的不 斷發(fā)展 ， 預(yù) 計(jì)未來(lái) VR 與 AR 終端將由 分 立走向 融 合 ， 兩 者 “ 在山腳分 手，在山頂匯合 ” 。 微電子方面，低成本的 SOC 芯片與 VPU（視覺(jué)處理器）的普及成為虛 擬現(xiàn)實(shí)在集成電路領(lǐng)域發(fā)展熱點(diǎn)。 在 地域 分布 上 ， 中 美 成為 虛擬 現(xiàn)實(shí)產(chǎn) 業(yè) 的發(fā) 展重 點(diǎn)地區(qū) ， 總部 設(shè)在中 美 兩地 的虛 擬現(xiàn)實(shí) 初 創(chuàng)企 業(yè)約 獲得全 球 投資 總額 的 20%、 60%。 美國(guó)國(guó) 防 部非 常 重視虛 擬 現(xiàn)實(shí) 的研 發(fā)與應(yīng)用 ， 在 武器系 統(tǒng) 性能 評(píng)價(jià) 、 裝備操 縱 訓(xùn)練 及 大規(guī)模 軍 演指 揮方 面 ， 將之 作 為 重點(diǎn)支 持 方向 。歐盟早在上世紀(jì) 80 年代開(kāi)始對(duì)虛擬現(xiàn) 實(shí)提供資助，在 20xx 年公布的《地平線 2020》計(jì)劃中，涉及虛擬現(xiàn) 實(shí)的資助金額達(dá)到數(shù)千萬(wàn)歐元。 總體而言， 美國(guó)虛擬現(xiàn)實(shí)發(fā)展以企業(yè)為主體、 政府搭 平 臺(tái) ， 政 府 重視虛 擬 現(xiàn)實(shí) 在各 領(lǐng)域的 應(yīng) 用示范 。 圖 6 我國(guó)部分省市地區(qū)虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展布局 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 7 （三 ） 虛擬現(xiàn) 實(shí) 成為移動(dòng)互聯(lián) 網(wǎng) 向人工智能時(shí) 代 演進(jìn) 的 發(fā)展重點(diǎn) 新一代 信 息通 信產(chǎn) 業(yè)發(fā)展 重 心由 移動(dòng) 先 行 （ Mobile First） 向人 工智能先行（ AI First）遷移，這一轉(zhuǎn)變已經(jīng)成為諸多科技巨頭的共 識(shí)，如 Google、 Facebook 在近兩年的全球開(kāi)發(fā)者大會(huì)上提出人工智 能將作為企業(yè)未來(lái)發(fā)展的戰(zhàn)略重心。 此外， 虛擬現(xiàn)實(shí)應(yīng)用對(duì)手機(jī)續(xù)航、云端負(fù)載等帶來(lái)挑戰(zhàn)，如著名 AR 游戲 Pokemon Go 上線后由于用戶激增，云服務(wù)器訪問(wèn)負(fù)載高達(dá)此前最壞 預(yù)期的十倍之多。人工智能發(fā)展呈現(xiàn)從專用型應(yīng)用向通用型應(yīng) 用的總體趨勢(shì)，而這一演進(jìn)過(guò)程有賴于海量訓(xùn)練數(shù)據(jù)的積累。 “ 五橫 ” 是 指近 眼 顯示 、 感 知 交互 、 網(wǎng)絡(luò)傳輸 、 渲染 處 理與內(nèi) 容 制作 的五大技術(shù)領(lǐng)域。 從需 求 體驗(yàn)看 ， 相比手 機(jī)固有的通信屬性，人機(jī)交互成為虛擬現(xiàn)實(shí)的核心特質(zhì)，否則 VR 終 端將退 化 為頭 戴式 電視 /手機(jī) 。 在普及時(shí)間方面，參考 Gartner 發(fā)布的 年 度技 術(shù)成 熟度曲線 。從供應(yīng)鏈安全看，關(guān)鍵器件的產(chǎn)業(yè)集中 度將影 響 虛擬 現(xiàn)實(shí) 企業(yè)供 應(yīng) 鏈穩(wěn) 定 性 ， 如在 VR 用 AMOLED 屏幕市場(chǎng) 中 ， 三星占據(jù)該領(lǐng)域 95%以上的份額。 廣視場(chǎng)角顯示成為提升 AR 近眼顯示沉浸感的核心技術(shù)。相 比擴(kuò)展 光 柵寬 度的 傳統(tǒng)技 術(shù) 路線 ， 波 導(dǎo) 與光場(chǎng) 顯 示等 新興 光學(xué)系 統(tǒng) 設(shè) 計(jì)技術(shù) 成為谷歌、微軟等領(lǐng)軍企業(yè)的核心技術(shù)突破方向。 一是 顯 示畫(huà)質(zhì) ， 紗 窗 、 拖 尾 、 閃爍 等 過(guò)低 的 畫(huà)面質(zhì) 量 引發(fā) 的視覺(jué) 疲 勞容 易引 發(fā)眩暈 ， 提 高屏 幕 分辨率 、 響 應(yīng)時(shí) 間 、 刷新率 ， 降 低頭動(dòng)和視野延遲（ MTP）成為技術(shù)趨勢(shì)。 AMOLED、 LCOS/OLEDoS 成為近眼顯示屏幕技術(shù)的主 導(dǎo)路線 在 VR 顯示上， AMOLED 呈現(xiàn)出對(duì)液晶顯示的替代趨勢(shì)。 另一 方面 ， 液 晶顯 示的技術(shù)生命力仍然存在， JDI、京東方等顯示企業(yè)已研發(fā)出響應(yīng)時(shí) 間在 6 毫秒內(nèi)的高分辨率、高刷新率的 VR 用液晶面板。 綜上 ， 為 實(shí) 現(xiàn)比 較 連貫的 虛 擬現(xiàn) 實(shí)技 術(shù)發(fā)展 路 徑 ， 分 別 考慮分階 段目標(biāo) 與 近眼 顯示 、 網(wǎng)絡(luò)傳 輸 、 渲 染 處理 、 感 知 交互 、 內(nèi)容制 作 等關(guān) 鍵技術(shù) 間 的邏 輯關(guān) 系 ， 描述 如 下技 術(shù)演 進(jìn)時(shí)間表 。 在光 學(xué) 系統(tǒng)方面 ， 實(shí)現(xiàn) 可 變焦深 的 多焦 、 變 焦 、 光場(chǎng) 顯 示 的產(chǎn)業(yè)化 ， VR 用 120 度 FOV、 30+PPD 頭顯的規(guī) 模 應(yīng)用 ， 在 功耗控 制 、 插黑頻 率 與光 能利 用率的 影 響下 ， 持 續(xù) 提高環(huán) 境 光條 件下 的視覺(jué) 亮 度 與對(duì)比度。 手勢(shì)識(shí) 別 是讓 靜態(tài) 手型或 動(dòng) 態(tài)手 勢(shì)與 確定的 控 制指 令進(jìn) 行映射 ， 觸發(fā) 對(duì)應(yīng)的 控 制指 令 。 目前 ， 諸多 初 創(chuàng) 公 司提供 基 于雙 攝 /結(jié) 構(gòu)光 /飛行 時(shí)間等定制化、模組化的此類解決方案，代表產(chǎn)品如 LeapMotion、 IntelRealSense、凌感、鋒時(shí)互動(dòng)等。 隨著 深度 學(xué)習(xí)和 即 時(shí)定 位與 地圖構(gòu) 建 （ SLAM） 等識(shí)別 和 定位 重建技術(shù)的發(fā)展普及，未來(lái)的 VR/AR 將不僅局限在對(duì)特定 Marker 的 識(shí)別 ， 而 會(huì) 逐漸 拓 展到對(duì) 現(xiàn) 實(shí)場(chǎng) 景的 語(yǔ)義與 幾 何理解 。在 VR/AR 領(lǐng)域， SLAM 廣泛用于 InsideOut 追蹤定 位中 ， 此 外 ， 還可 利用 SLAM 的建圖 過(guò) 程對(duì)場(chǎng) 景 進(jìn)行 3D 重建 ， 將 之 作 為虛擬 信 息呈 現(xiàn)的 理想界 面 。 浸入式 聲 場(chǎng) 方面 ， 聲 音 在交 互 領(lǐng)域的 重 要性 被廣 泛重視 ， 通 過(guò)設(shè) 計(jì) 頭部相 關(guān) 傳遞 函 數(shù) （ HRTF） 強(qiáng) 化 視覺(jué)和 聽(tīng) 覺(jué)的 一致 性 ， 以 實(shí) 現(xiàn) 逼 真的 聲音方 位 與遠(yuǎn) 近效果 ， 同 時(shí)模 擬 基于反射 、 遮擋 、 隔絕封閉 、 混響 回 聲等聲 音 氛圍 的傳播 路 徑 ， 如 Nvidia 借鑒光線 追 蹤 渲 染技術(shù) 思 路 ， 通 過(guò) 將 VR 音頻 交互映射到 3D 場(chǎng) 景 中的物 體 上 ， 旨在 打造符 合 聽(tīng)覺(jué) 與聲 學(xué)特性的 VR 浸入式聲場(chǎng)。因此， 多焦顯示 +注視點(diǎn)渲染 +眼球追蹤有望成為虛擬現(xiàn)實(shí)領(lǐng)域新興的關(guān)鍵 技術(shù)組合 。 從低 成本的 震 動(dòng)觸 覺(jué)反 饋 ， 到 高 成本 的機(jī) 械力反 饋 ， 以 及尚不 成 熟的 靜電 摩擦 ， 觸 覺(jué) 反饋 技 術(shù)被業(yè) 內(nèi) 愈發(fā) 關(guān)注 ， 目前在 交 互 手柄上， Oculus Touch 和 Vive Controller 開(kāi)展了深入工作，諸如 Go Touch 等初創(chuàng)公司嘗試指套類等反饋方式。 由于虛 擬 信息 覆蓋 整個(gè)視野 ， 重點(diǎn) 在 于現(xiàn)實(shí) 交 互信 息的虛擬化。 虛擬 現(xiàn)實(shí) 端到端 網(wǎng) 絡(luò)傳 輸?shù)男?求 以用 戶體 驗(yàn)為發(fā) 展 主線 ， 沉 浸感不 斷 增強(qiáng) ， 虛 擬現(xiàn)實(shí) 業(yè) 務(wù)承 載的端到端網(wǎng)絡(luò)傳輸示意圖如下。基于 的 WiFi 在 80MHz 頻譜上通過(guò) 4x4 MIMO、 Beamforming 等技術(shù)可實(shí)現(xiàn)最大 空口速率。 綜合 PON 的帶 寬能 力和時(shí) 延 性能 ， 光 接 入技術(shù) 可 以 滿足 VR/AR 業(yè) 務(wù) 承載 。 5G 的超大帶寬、超低時(shí)延及超強(qiáng)移動(dòng)性確保虛擬現(xiàn)實(shí)完全沉浸 體驗(yàn) ， VR 成為 5G 早 期商用 的 重點(diǎn) 應(yīng)用 領(lǐng)域 。 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)（ 2017 年） 23 圖 14 5G 關(guān)鍵能力指標(biāo)與三大應(yīng)用場(chǎng)景 圖 15 5G 商用時(shí)間較早國(guó)家的先期應(yīng)用領(lǐng)域 架構(gòu)簡(jiǎn)化、智能管道、按需組播、網(wǎng)絡(luò)隔離成為虛 擬現(xiàn)實(shí)承載網(wǎng)絡(luò)技術(shù)的發(fā)展趨勢(shì) VR 業(yè)務(wù)體驗(yàn)帶來(lái)承載網(wǎng)絡(luò)建設(shè)新理念。二是網(wǎng)絡(luò)能力可從 PerInteraction 的時(shí)延需求出發(fā)，如要求 VR 沉浸體驗(yàn)下切換視角 時(shí)延需 求 在十 毫秒 量級(jí) 。 當(dāng)前 OTT 普遍策略是 降 低 業(yè) 務(wù)碼流 ， 但 也降 低 用戶的 觀 看 體驗(yàn)。 FlexE 等網(wǎng)絡(luò)隔 離技術(shù)面向 VR\AR 等時(shí)延 敏 感業(yè) 務(wù) ， 可 以支持 大 顆粒 帶寬 業(yè)務(wù)的 物 理 隔離和 捆 綁 ， 能 夠 在同一 個(gè) 端口 上實(shí) 現(xiàn)業(yè)務(wù) 間 隔離 ， 能 夠?qū)崿F(xiàn) MAC 層 速率和 物 理層 承載 速率完 全 解耦 ， 更 靈 活 的 去 進(jìn) 行網(wǎng) 絡(luò)設(shè) 計(jì)以及 擴(kuò) 容， 實(shí)現(xiàn)穩(wěn)定的端到端低時(shí)延網(wǎng)絡(luò)。其中，按需是指網(wǎng)絡(luò)資源需要根據(jù) VR 業(yè)務(wù)需求相 應(yīng)動(dòng)態(tài) 擴(kuò) 容或 降 低 。 通 過(guò)集 中 的管理 單 元 ， 實(shí) 時(shí) 獲取承 載 業(yè)務(wù) 的網(wǎng)絡(luò)上每個(gè)設(shè)備的狀態(tài)（帶寬、時(shí)延等），當(dāng)發(fā)生業(yè)務(wù)請(qǐng)求時(shí)，能 夠根據(jù) 各 設(shè)備 的狀 態(tài) ， 計(jì)算 出 合理 路 徑 ， 并向 路 徑上 每 個(gè)設(shè)備 下 發(fā)資 源預(yù)留指令，完成整個(gè)路徑的準(zhǔn)備。 二是用 戶 體驗(yàn) 差 ， 多種業(yè) 務(wù) 并發(fā) 時(shí) ， 隨著網(wǎng) 絡(luò) 利用 率的 提升 ， 丟 包和 時(shí)延會(huì)同步提升；在輕載網(wǎng)絡(luò)中， %的突發(fā)