【正文】 ........... 34 圖 20 我國虛擬現(xiàn)實產業(yè)視圖 .................................. 35 圖 29 國內外虛擬現(xiàn)實近眼顯示產業(yè)梯隊 ........................ 43 圖 30 國內外虛擬現(xiàn)實網絡傳輸產業(yè)梯隊 ........................ 44 圖 31 國內 外虛擬現(xiàn)實渲染處理產業(yè)梯隊 ........................ 44 圖 32 國內外虛擬現(xiàn)實感知交互產業(yè)梯隊 ........................ 45 圖 33 虛擬現(xiàn)實典型應用領域 .................................. 46 中國信息通信研究院 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 一、發(fā)展背景 （一）虛擬現(xiàn)實概念內涵與形態(tài)劃分不斷演進 業(yè)界對 虛 擬現(xiàn) 實 的 界定認 知 由終 端 設 備向沉 浸 體驗 演 變 。隨著谷歌（ I/O）、 Facebook（ F8）、蘋果（ WWDC）等 ICT 巨頭 2017 年全 球 開發(fā) 者 大會的 召 開 ， 手 機 式 AR 漸成 大 眾市 場 的主 流 ， 以 Meta2 與 Hololens 為代表的主機式、一體式 AR 主導行業(yè)應用市場。 自 1962 年 VR 設 備出現(xiàn) 至 今 ， 隨著 智能手機 的普及，硬件成本大幅降低， VR 設備售價從之前的數(shù)萬降至數(shù)百美 元 ， 這一 成 本變 化 主要體 現(xiàn) 在光 電子 與微電 子 方面 。 中國信息通信研究院 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 5 圖 5 20xx 年前后全球虛擬現(xiàn)實投資情況 來源： IHS 各國政 府 將虛 擬現(xiàn) 實產業(yè) 發(fā) 展上 升到 國家高 度 。 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 中國信息通信研究院 6 韓國政府于 20xx 年設立了約 2 億 4000 萬人民 幣 的專 項基 金 ， 將 虛 擬 現(xiàn)實作 為 自動 駕 駛 、 人工智 能 等本 國 未 來九大 新 興科 技重 點發(fā)展 領 域 之一 。 在 形 態(tài)方 面 ， 虛擬現(xiàn) 實 具有 跨 終端形 態(tài) 的特點 ， 手機式 、 主 機 式、一體機等多種產品形態(tài)將長期并存，虛擬現(xiàn)實呈現(xiàn) “ 形散神聚 ” 的特點 ， 即終 端設 備不局 限 于某 一特 定產品 形 態(tài) ； 其次 ， 手機 成 為現(xiàn) 階段虛擬現(xiàn)實發(fā)力的主要方式，據 IHS 統(tǒng)計， 20xx 年全球手機式 VR 存量市場份額超過 80%，預計到 2020 年手機式將保持主導地位。 二、關鍵技術趨勢 （一）虛擬現(xiàn)實 “ 五橫兩縱 ” 的技術架構初步形成 虛擬現(xiàn) 實 涉及 多類 技術領 域 ， 可 劃 分 為 “ 五橫 兩 縱 ” 的 技 術 架構。 從成本結構看，對于目前體驗效果較好的主機式 VR 頭顯，其屏幕成 本位居 諸 多器 件成 本首位 ， 大 約占 據 物料總 成 本的 三分 之一 。 片面 追求單 一 性能 參 數(shù) ， 忽視技 術 指標 間的 平衡協(xié) 同 有悖 于虛 擬現(xiàn)實 領 域 融合創(chuàng)新的固有特性，然而，隨著 VR 頭顯在近眼顯示上對清晰度提 出了更高要求，為了降低 “ 紗窗效應（ Screen Door Effect） ” ，提 高屏幕分辨率（及開口率）成為關鍵發(fā)展方向， “ 4K+” 分辨率由智 能手機領域的弱需求上升為虛擬現(xiàn)實的強需求。 目前 ， 虛 擬 現(xiàn)實 眩暈 產生機 理 尚未 完全 為人所 知 ， 國內北京理工大學等高校就內容設計、個體差異、 VR 軟硬件等方面 展開了 深 入研究 。 目 前， AMOLED 成為 Oculus Rift、 HTC VIVE、 Sony PSVR、大朋等國內外多 數(shù)主流廠商技術選擇。 在光學 系 統(tǒng)方 面 ， 實現(xiàn) VR 用 90 度 FOV、 20PPD 以及 AR 用 40 度 FOV 頭顯的規(guī)模應用，初步確保視 覺亮度 與 對比 度的 體驗要 求 。目前，以 MicrosoftHololens 為代表的 AR 頭顯廣泛采用手勢識別，其優(yōu)勢在于發(fā)展相對成熟，對 硬件器件性能要求較低，普通單目 /RGB 攝像頭即可實現(xiàn)，問題在于 用戶學 習 成本 較高 ， 且僅 能 實現(xiàn) 某些 特定指 令 ， 交 互效 率較低 ， 不夠 自然。 基于 深 度 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 中國信息通信研究院 學習的 語 義理 解通 常需要 龐 大的 訓練 數(shù)據集 進 行模 型訓 練 ， 但 效 果顯 著優(yōu)于 老 舊的基于 Marker 的識別 技 術 ， 目前廣 泛 用于 AR 小物體的識 別分割及跟蹤。 眼球追 蹤 方面 ， 之 所以備 受 業(yè)界 推崇 熱 炒 ， 一 是 眼球 追 蹤搭配 注 視點 渲染 ， 針 對用 戶注 視點的 調 整 ， 不同 區(qū)域采 用 不同 的渲 染分辨 率 ， 從 18 中國信息通信研究院 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 19 而降低 計 算資 源占 用 、 功耗及 GPU 成本 ， 有望 成 為移 動 端實現(xiàn) 高 沉浸 感 VR 體驗的必要技術。因此， 各類追 蹤 定位 技術 成為 VR/AR 引擎或 SDK 的基礎 能 力 ， 定 位的準 確 度 和精確度決定了引擎 /SDK 的整體可用性。 家庭無線網絡的覆 蓋可保 證 虛擬 現(xiàn)實 移動便 利 性以 及滿 足 業(yè)務 體 驗的 帶 寬 、 時延等 要 求。 當 前 已規(guī)模 部 署的 FTTH 技術 EPON/GPON， GPON 技術可提 供 下行 、 上行 實際帶 寬 ， 而 EPON 則可提供 對 稱 1Gbps 實際帶 寬 ， 時 延 約為 ， 已能基 本 滿足 小規(guī) 模 VR/AR 業(yè)務 的承 載要求 。 虛擬 現(xiàn) 實不僅 帶 寬要 求高 且時延 敏 感 ， 為 滿 足這類 業(yè) 務的 承載需求 ， 提出 承 載網建 設 三大 理念 。 發(fā)展網絡數(shù)據面隔離技術，保障低時延業(yè)務服務等級。 開 放 是指運 營 商提 供友 好 、 明確 、 完善 的 接口 ， 在 需 要 為 VR 業(yè)務 定 制網 絡 質量保 證 時調 用進 行定制 ， 包 括服 務申 請 、 調整、 釋放、計費、對賬、結算等。 25 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 中國信息通信研究院 圖 17 承載網架構層次扁平化（ 5 層降為 3 層） 低延遲的數(shù)據中心成為實現(xiàn) VR 計算能力云化的關 鍵方向 低延遲 數(shù) 據中 心網 絡保障 主 要依 賴擁 塞控制 技 術 ， 擁 塞 控 制技術 從被動擁塞控制向主動擁塞控制演進。 由于 虛 擬 現(xiàn) 實需要 解決如 何 將用 戶看 到的球 面 信息 轉變 為平面 的 媒體 格 式 ， 因此運 用 了 傳 統(tǒng) 視 頻 沒 有 涉 及 的 投 影 技 術 。視頻的球面編碼成為研究重點。 在 FOV 傳輸技術 路線中 ， 終端 接 收 到 的一幀 數(shù) 據中 不再 包含空 間 球的 無差 別全部 視 角 信息 ， 而 是 根據 用 戶的視 角 姿態(tài) 構造 對應的 幀 數(shù)據 ， 一 幀數(shù)據 中 只包 含等于 或 大于 視場 角的部 分 視覺 信 息 ， 終端需 要 判斷 用戶 轉 頭改 變 視 角的姿 態(tài) 位置 ， 并將 交互信 號 發(fā)向 云 端 ， 請求新 的 姿態(tài) 對應 的幀數(shù) 據 。目前，業(yè)界提出了一種層次化、多感知的 VR QoE 評估方案 ， 對用 戶 主觀真 實 體驗 進行 建模 ， 衡 量 網絡 傳 輸場景 下 的媒 體感受質量。 承 載網 通過 網絡切 片 技術 ， 實現(xiàn) 業(yè)務隔 離 ， 支撐多租戶對網絡切片的控制。此外，目前畫面光影效 果對計 算 資源 開銷 高 ， 基于 深 度學 習 的全局 光 照渲 染技 術 ， 可通 過 模 擬光線 與 物體 互動 的物理 效 果生 成影 像 ， 將 GPU 尚未渲 染 出的內 容 區(qū) 塊 ， 采 用 深度 學習 方式呈 現(xiàn) ， 不 僅成 倍提高 圖 像生 成速 度 ， 大 幅 提高 交互式渲染過程的流暢度，同時減少畫面噪點。 三 是 更 加 有效的多核 CPU 利 用率 ， 每 個 獨 立線程都可通過 Vulkan 向命令緩沖區(qū)（ Command Buffer）并行添加 命令 ， 從 而避免 CPU 成為圖形渲 染 過 程 的瓶頸 ； 在異 構計 算方 面 ，對 于畸變校正、色散校正、 ATW/ASW 渲染等后處理部分計算，若與應用 內容渲 染 共享 CPU/GPU 資源 ， 將 在 一 定 程度上 引 起資 源競 爭 ， 當應用 中國信息通信研究院 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 33 內容復 雜 度較 高時 ， 后處理 過 程可 能 難以在 指 定時 間內 完成 ， 導 致 輸 出幀率不穩(wěn)定。 二 是 更加靈活精準的 GPU 控制， OpenGL、 OpenGL ES 復雜的驅動導致 過度的 CPU 開銷 及 設備運 行 的不 可預 測性 ， 虛 擬現(xiàn) 實 應 用 不能預 測 某 個接口調用開銷，難以實現(xiàn)渲染優(yōu)化。因此，業(yè)界提出 MultiView 渲染技術，即 利用左 右 眼圖 像大 部分信 息 相同 ， 而 僅 在視差 上 存在 少量 差異的 原 理， CPU 向 GPU 提交一次渲染命令及視差信息， GPU 即可完成雙目渲染， 從而節(jié)省大量 CPU 資源，有助于 GPU 幀率提升；三是降低渲染時延， 如異步時間扭曲（ Asynchronous TimeWarp, ATW）、異步空間扭曲 （ AsynchronousSpace Warp, ASW）、前緩沖區(qū)渲染（ Front Buffer Rendering, FBR）等。承載網架構也需要面向時 延要求 進 行優(yōu) 化 ， 并提供 時 延可 測量 、 可管 理 的體 系架 構 。 因 此 ， 實現(xiàn) 端 到端 網 絡運維 能 力 ， 需 要 在云管 端 多點 部署 探測器 實 時監(jiān) 控業(yè)務 質 量 ， 做 到 故障快 速 感知 和定 界 。 屬于 “ 帶寬換時延 ” 。 目前在 VR 編碼 主要使用 HEVC 編碼 ， MPEG 等標 準 組 織 的最新 研 究進 展表 明 ， 對應于 HEVC 的下 一 代編 碼 技 術 （ ） 的 壓 縮效率 至 多提升 30%。 擁 塞 控制 技術 從被動 擁 塞控 制向 主動擁 塞 控制 演 進 ， 在未 來 ， 擁 塞控制 技 術更 應該 以應用 需 求為 中心 ， 滿足應 用 的具 體 的優(yōu)先級 、 帶 寬 、 延 遲 、 流 完成時間等 相 關具 體業(yè) 務需求 ， 擁塞 控制 技術要 以 滿足 26 中國信息通信研究院 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 27 業(yè)務需求為首要目標，完成擁塞控制和避免。 二是用 戶 體驗 差 ， 多種業(yè) 務 并發(fā) 時 ， 隨著網 絡 利用 率的 提升 ， 丟 包和 時延會同步提升；在輕載網絡中， %的突發(fā)丟包發(fā)生在從高帶寬 向低帶寬 過度 的匯 聚節(jié)點 ， 丟包 率的 提升 ， 降 低視 頻業(yè) 務體驗 。其中，按需是指網絡資源需要根據 VR 業(yè)務需求相 應動態(tài) 擴 容或 降 低 。 當前 OTT 普遍策略是 降 低 業(yè) 務碼流 ， 但 也降 低 用戶的 觀 看 體驗。 中國信息通信研究院 虛擬（增強）現(xiàn)實白皮書（ 2017 年） 23 圖 14 5G 關鍵能力指標與三大應用場景 圖 15 5G 商用時間較早國家的先期應用領域 架構簡化、智能管道、按需組播、網絡隔離成為虛 擬現(xiàn)實承載網絡技術的發(fā)展趨勢 VR 業(yè)務體驗帶來承載網絡建設新理念。 綜合 PON 的帶 寬能 力和時 延 性能 ， 光 接 入技術 可 以 滿足 VR/AR 業(yè) 務 承載 。 虛擬 現(xiàn)實 端到端 網 絡傳 輸?shù)男?求 以用 戶體 驗為發(fā) 展 主線 ， 沉 浸感不 斷 增強 ， 虛 擬現(xiàn)實 業(yè) 務承 載的端到端網絡傳輸示意圖如下。 從低 成本的 震 動觸 覺反 饋 ， 到 高 成本 的機 械力反 饋 ， 以 及尚不 成 熟的 靜電 摩擦 ， 觸 覺 反饋 技 術被業(yè) 內 愈發(fā) 關注 ， 目前在 交 互 手柄上， Oculus Touch 和 Vive Controller 開展了深入工作，諸如 Go Touch 等初創(chuàng)公司嘗試指套類等反饋方式。 浸入式 聲 場 方面 ， 聲 音 在交 互 領域的 重 要性 被廣 泛重視 ， 通 過設 計 頭部相 關 傳遞 函 數(shù) （ HRTF） 強 化 視覺和 聽 覺的 一致 性 ， 以 實 現(xiàn) 逼 真的 聲音方 位 與遠 近效果 ， 同 時模 擬 基于反射 、 遮擋 、 隔絕封閉 、 混響 回 聲等聲 音 氛圍 的傳播 路 徑 ， 如 Nvidia 借鑒光線 追 蹤 渲 染技術 思 路 ， 通 過 將 VR 音頻 交互映射到 3D 場 景 中的物 體 上 ， 旨在 打造