【導(dǎo)讀】等方面的因素，內(nèi)容恐有疏漏，煩請(qǐng)不吝指正。信息服務(wù)的轉(zhuǎn)型升級(jí)具有重要意義。作為一個(gè)具有較長(zhǎng)歷史，但實(shí)。際剛剛新興的產(chǎn)業(yè)，虛擬現(xiàn)實(shí)技術(shù)與產(chǎn)業(yè)的發(fā)展軌道尚未完全定型。內(nèi)容制作為主的技術(shù)體系正在形成。從產(chǎn)業(yè)構(gòu)成上看，虛擬現(xiàn)實(shí)產(chǎn)。能終端，虛擬現(xiàn)實(shí)產(chǎn)業(yè)體系類似，實(shí)則差異較大。用服務(wù)；構(gòu)建公共服務(wù)平臺(tái)，提升產(chǎn)業(yè)化服務(wù)能力。照產(chǎn)業(yè)鏈重點(diǎn)環(huán)節(jié)歸納總結(jié)，形成了我國虛擬現(xiàn)實(shí)產(chǎn)業(yè)細(xì)分地圖，據(jù)此提出相關(guān)發(fā)展建議。業(yè)界對(duì)虛擬現(xiàn)實(shí)的界定認(rèn)知由終端設(shè)備向沉浸體驗(yàn)演變。實(shí)的研討不再拘泥于特定終端形態(tài)與實(shí)現(xiàn)方式，而是聚焦體驗(yàn)效果，強(qiáng)調(diào)關(guān)鍵技術(shù)、產(chǎn)業(yè)生態(tài)與應(yīng)用領(lǐng)域的融合創(chuàng)新。本白皮書對(duì)虛擬（增。沉浸體驗(yàn)的提升有賴于相關(guān)技術(shù)的突破和進(jìn)步，是分階段演進(jìn)的

　　

【正文】 向 ， 具 有 失真 小 、 壓縮效 率 高的 特點(diǎn) ， 可分 為 六面 體、八面體、 20 面體、金字塔投影等。在 20xx 年 MPEG 會(huì)議上， 三星提交了關(guān)于多面體投影格式的提案。 下一代編碼技術(shù)穩(wěn)步推進(jìn)，壓縮效率顯著提高。 目前在 VR 編碼 主要使用 HEVC 編碼 ， MPEG 等標(biāo) 準(zhǔn) 組 織 的最新 研 究進(jìn) 展表 明 ， 對(duì)應(yīng)于 HEVC 的下 一 代編 碼 技 術(shù) （ ） 的 壓 縮效率 至 多提升 30%。 目前已 有編碼工具均針對(duì) 2D 平面視頻編碼，而對(duì)球面數(shù)據(jù)的編碼工具尚未 出現(xiàn)，因此針對(duì) VR 360176。視頻的球面編碼成為研究重點(diǎn)。 VR 傳輸技 術(shù) 路線 由 全視角 等 質(zhì)量 傳輸 向全視 角 不等 質(zhì) 量 、 FOV 傳 輸方向 發(fā) 展 。 在 全 視角等 質(zhì) 量傳 輸中 ， 終端接 收 到的 一 幀數(shù)據(jù) 中 包含 了用戶 可 看到 的空 間球?qū)?應(yīng) 的全 部視 角信息 。 用戶 改 變 視 角的交 互 信 號(hào)在本 地 終端 完成 處理 ， 終 端根 據(jù) 視 角 信息從 已 緩存 到本 地的幀 中 解 出對(duì)應(yīng)的 FOV 信息，在播放器中進(jìn)行矯正還原，使用戶看到正常視 角的視 覺 信息 。 因 此交互 體 驗(yàn)要 求 的 20ms 由終 端 來保 證 ， 不涉及網(wǎng) 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 中國信息通信研究院 28 絡(luò)時(shí)延 和 云端 時(shí) 延 。 這一技 術(shù) 路線 對(duì)帶 寬的要 求 較高 ， 時(shí)延 要求較 低 。 屬于 “ 帶寬換時(shí)延 ” 。在內(nèi)容準(zhǔn)備側(cè)，須編碼全視角 VR 內(nèi)容，準(zhǔn)備 多個(gè)質(zhì)量的 VR 碼 流 ， 客戶端 根 據(jù)帶 寬 選擇 VR 碼流播放 ， 然而相 當(dāng) 部 分傳送 到 客戶 端的 內(nèi)容數(shù)據(jù)因 FOV 的 影響損 失 浪費(fèi) 。 在 FOV 傳輸技術(shù) 路線中 ， 終端 接 收 到 的一幀 數(shù) 據(jù)中 不再 包含空 間 球的 無差 別全部 視 角 信息 ， 而 是 根據(jù) 用 戶的視 角 姿態(tài) 構(gòu)造 對(duì)應(yīng)的 幀 數(shù)據(jù) ， 一 幀數(shù)據(jù) 中 只包 含等于 或 大于 視場(chǎng) 角的部 分 視覺 信 息 ， 終端需 要 判斷 用戶 轉(zhuǎn) 頭改 變 視 角的姿 態(tài) 位置 ， 并將 交互信 號(hào) 發(fā)向 云 端 ， 請(qǐng)求新 的 姿態(tài) 對(duì)應(yīng) 的幀數(shù) 據(jù) 。 因此交 互 體驗(yàn) 要求 的 20ms 既包 含終 端處理 時(shí) 延 ， 也 包 含 網(wǎng)絡(luò)傳 輸 時(shí) 延和云 端 處理 時(shí)延 。 這種 方 案的 帶寬 要求降 低 ， 時(shí) 延要 求變高 ， 屬于 “ 時(shí)延換帶寬 ” 。 面向 VR 業(yè)務(wù)的網(wǎng)絡(luò)運(yùn)維與評(píng)估成為優(yōu)化用戶體驗(yàn) 的重要途徑 面向 VR 業(yè)務(wù)的端到端網(wǎng)絡(luò)傳輸運(yùn)維能力與 QoE 評(píng)估體系成為發(fā) 展重點(diǎn)。 相比于普通 4K 視頻的觀看，虛擬現(xiàn)實(shí)從視頻內(nèi)容制作到終 端觀看 的 過程 更加 復(fù)雜 。 這 種 情況 下 帶來故 障 種類多 ， 視頻體 驗(yàn) 劣化 難定界 ， 當(dāng) 前缺 乏 有效的 方 法來 進(jìn)行 體驗(yàn)故 障 的快 速定 責(zé)和診斷 。 因 此 ， 實(shí)現(xiàn) 端 到端 網(wǎng) 絡(luò)運(yùn)維 能 力 ， 需 要 在云管 端 多點(diǎn) 部署 探測(cè)器 實(shí) 時(shí)監(jiān) 控業(yè)務(wù) 質(zhì) 量 ， 做 到 故障快 速 感知 和定 界 。 此 外 ， 完 善的 用戶體 驗(yàn) 評(píng)價(jià) 系統(tǒng)有 助 于制 造商 完善自 身 產(chǎn)品 及服 務(wù)商改 善 業(yè)務(wù) 體驗(yàn) 質(zhì)量 ， 促 進(jìn)產(chǎn) 業(yè)鏈的規(guī)范發(fā)展。目前，業(yè)界提出了一種層次化、多感知的 VR QoE 評(píng)估方案 ， 對(duì)用 戶 主觀真 實(shí) 體驗(yàn) 進(jìn)行 建模 ， 衡 量 網(wǎng)絡(luò) 傳 輸場(chǎng)景 下 的媒 體感受質(zhì)量。 中國信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 29 綜上 ， 虛 擬 現(xiàn)實(shí) 網(wǎng) 絡(luò)傳輸 技 術(shù) 一 方面 是垂直 領(lǐng) 域業(yè) 務(wù)在 時(shí)延 、 帶 寬 、 可 靠 性 、 移動(dòng) 性等方 面 的需 求不 斷推動(dòng) 網(wǎng) 絡(luò)傳 輸?shù)?發(fā)展 。 另 一方 面 ， 承 載 網(wǎng)技 術(shù)演 進(jìn)將促 進(jìn) 網(wǎng)絡(luò) 的敏 捷 、 開 放 ， 以 及實(shí) 現(xiàn)多業(yè) 務(wù) 隔離 承載和 日 趨靈 活的 運(yùn)營模式 。 技術(shù) 趨 勢(shì)表現(xiàn) 為 一是 大帶 寬接入 ， 針 對(duì) 固定接 入 場(chǎng)景 ， 室 內(nèi) WiFi 從百兆 、 千兆覆 蓋 到下一代 WiFi 技術(shù)實(shí) 現(xiàn)萬兆覆蓋。有線接入方面， 10G PON 已經(jīng)成熟，可以在合適的場(chǎng)景 選擇，對(duì)更大帶寬的需求， 25G PON， 100G PON 的標(biāo)準(zhǔn)正在定義中。 針對(duì)無 線 接入 ， 實(shí) 現(xiàn) 10GE 吞吐量是 5G 使能未來通 信 最 關(guān) 鍵的三 個(gè) 需 求維度 之 一 ； 二 是 高容量 承 載網(wǎng)絡(luò) ， 承載網(wǎng) 絡(luò) 接入 環(huán)以 光纖環(huán) 為 主需 要 50G100G 容量，末端微波需要 10G40G 容量，匯聚核心需要 200G 或 400G 容量；三是低時(shí)延網(wǎng)絡(luò)，構(gòu)成網(wǎng)絡(luò)的每個(gè)網(wǎng)元具備超低時(shí)延 轉(zhuǎn)發(fā)的能力，達(dá)到每跳 10us 級(jí)別的指標(biāo)。承載網(wǎng)架構(gòu)也需要面向時(shí) 延要求 進(jìn) 行優(yōu) 化 ， 并提供 時(shí) 延可 測(cè)量 、 可管 理 的體 系架 構(gòu) 。 四 是 敏捷 和開放的網(wǎng)絡(luò)，通過 SDN 使能的網(wǎng)絡(luò) IT 化和自動(dòng)化轉(zhuǎn)型，提供網(wǎng)絡(luò) 的敏捷化和開放性能力，匹配網(wǎng)絡(luò)云化的部署效率和復(fù)雜流量模型， 最終實(shí) 現(xiàn) 網(wǎng)絡(luò)的 E2E 資源管理呈現(xiàn) 、 業(yè) 務(wù)發(fā)放 能 力 ， 以 及 屏蔽下 層 網(wǎng) 絡(luò)設(shè)備 的復(fù)雜實(shí)現(xiàn)，對(duì)網(wǎng)絡(luò)的資源實(shí)時(shí)進(jìn)行調(diào)度，提高資源利用率； 五是多 業(yè) 務(wù)隔 離 ， 由于不 同 業(yè)務(wù) 需求 迥異 ， 數(shù) 據(jù)面 有隔 離需求 ， 管理 和控制 面 有獨(dú) 立運(yùn) 營需求 。 承 載網(wǎng) 通過 網(wǎng)絡(luò)切 片 技術(shù) ， 實(shí)現(xiàn) 業(yè)務(wù)隔 離 ， 支撐多租戶對(duì)網(wǎng)絡(luò)切片的控制。 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 中國信息通信研究院 30 圖 18 虛擬現(xiàn)實(shí)網(wǎng)絡(luò)傳輸關(guān)鍵技術(shù)路標(biāo) （五）渲染處理技術(shù)遵循渲染優(yōu)化算法與渲染能力提升 雙軌并行的發(fā)展路徑 渲染優(yōu)化算法聚焦 VR 渲染的 “ 節(jié)流 ” ，即基于視覺特性、頭動(dòng) 交互與 深 度學(xué)習(xí) ， 減少無 效 計(jì)算 與渲 染負(fù)載 。 虛 擬現(xiàn) 實(shí) 渲染處 理 注重 渲染后 的 高畫質(zhì) 、 渲染過 程 的低 開銷 及低時(shí)延 ， 以期 望 給用戶 提 供流 暢的 、 清 晰 的和 實(shí) 時(shí)的虛 擬 現(xiàn)實(shí) 視覺 體驗(yàn) 。 當(dāng) 前 矛盾 集 中于用 戶 更高 的體驗(yàn) 需 求 與 渲 染 能力的 不 足 ， 因 此 減少計(jì) 算 開銷 ， 降 低渲染 時(shí) 延成 為發(fā)展 趨 勢(shì) ， 主要 技術(shù)路 徑 如下 ， 一 是減少 GPU 工作 量 ， 如注 視 點(diǎn)渲 染（視網(wǎng)膜中央凹渲染， Foveated Rendering）。早期 VR 渲染技術(shù) 對(duì) FOV 內(nèi)所有 細(xì)節(jié) 進(jìn)行高 分 辨率 渲 染 ， 由于人 眼 中央 凹區(qū) 域 （ Fovea） 中國信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 31 內(nèi)集中 分 布著 負(fù)責(zé) 視覺清 晰 度的 視錐 細(xì)胞 ， 且 占 FOV 很少部分 ， 圍繞 中央凹 向 外的 區(qū) 域 視覺感 知 逐漸 模 糊 ， 大部分 區(qū) 域高 分辨 率渲染 實(shí) 際 上造成了較大開銷浪費(fèi)。因此，業(yè)界提出 Foveated Rendering，即 僅對(duì)人 眼 中央 凹區(qū) 域進(jìn)行 高 分辨 率渲 染 ， 對(duì) 此 區(qū)域 外 則 逐 漸降低 分 辨 率 ， 通 過此 技 術(shù)可 降 低 30%以上的 GPU 渲染開 銷 ； 二 是 減少 CPU 開銷， 如 MultiView 渲染 ， 早期 VR 渲染每 一 幀需要 同 時(shí)渲 染雙 眼圖像 ， 每 幀都須 對(duì) 左右 眼圖 像分別 提 交一 次渲 染請(qǐng)求 ， 其對(duì) CPU/GPU 的資源占 用約為普通渲染的兩倍。因此，業(yè)界提出 MultiView 渲染技術(shù)，即 利用左 右 眼圖 像大 部分信 息 相同 ， 而 僅 在視差 上 存在 少量 差異的 原 理， CPU 向 GPU 提交一次渲染命令及視差信息， GPU 即可完成雙目渲染， 從而節(jié)省大量 CPU 資源，有助于 GPU 幀率提升；三是降低渲染時(shí)延， 如異步時(shí)間扭曲（ Asynchronous TimeWarp, ATW）、異步空間扭曲 （ AsynchronousSpace Warp, ASW）、前緩沖區(qū)渲染（ Front Buffer Rendering, FBR）等。復(fù)雜內(nèi)容的渲染難以在一幀刷新周期內(nèi)完成， 屏幕刷新時(shí)無新內(nèi)容產(chǎn)生，表現(xiàn)為畫面卡頓，因此，業(yè)界提出 ATW、 ASW 渲染，即通過預(yù)測(cè)下一幀時(shí)頭部轉(zhuǎn)動(dòng)與平移的姿態(tài)，對(duì)上一幀圖 像根據(jù) 此 姿態(tài) 差值 進(jìn)行位 置 變換 ， 插 值生成 新 一幀 中間 圖像 ， 解 決 缺 少當(dāng)前 幀 的卡 頓問 題 ， 該 技 術(shù)能 夠 在 多 數(shù)情況 下 保證 用戶 獲得流 暢 的 視覺體驗(yàn)，已成為 VR 渲染的核心技術(shù)之一。此外，目前畫面光影效 果對(duì)計(jì) 算 資源 開銷 高 ， 基于 深 度學(xué) 習(xí) 的全局 光 照渲 染技 術(shù) ， 可通 過 模 擬光線 與 物體 互動(dòng) 的物理 效 果生 成影 像 ， 將 GPU 尚未渲 染 出的內(nèi) 容 區(qū) 塊 ， 采 用 深度 學(xué)習(xí) 方式呈 現(xiàn) ， 不 僅成 倍提高 圖 像生 成速 度 ， 大 幅 提高 交互式渲染過程的流暢度，同時(shí)減少畫面噪點(diǎn)。 渲染能力提升聚焦 VR 渲染的 “ 開源 ” ，主要表現(xiàn)在云端渲染、 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 中國信息通信研究院 32 新一代 圖 形接口 、 異構(gòu)計(jì)算 、 光場(chǎng) 渲 染等領(lǐng)域 。 在云 端 渲染方面 ， 為 帶給用戶更加逼真的沉浸體驗(yàn)，需要實(shí)現(xiàn) 16K/32K 分辨率、 120 幀率 +、實(shí)時(shí)光照等效果，現(xiàn)有 GPU 硬件難以達(dá)到這一標(biāo)準(zhǔn)，因此，業(yè)界 提出云渲染技術(shù)，通過將內(nèi)容渲染部署到云端，終端側(cè)實(shí)時(shí)傳輸如 6DoF 的姿態(tài)和位置信息等各種傳感數(shù)據(jù)及交互控制信息，渲染圖像 由云端 的 計(jì)算 集群 完成后 返 回終 端 側(cè) 。 云渲染 術(shù) 將大 量計(jì) 算放到 云 端， 消費(fèi)者可在輕量級(jí)的虛擬現(xiàn)實(shí)終端上獲得高質(zhì)量的 3D 渲染效果，終 端可從 較 高 硬 件性 能要求 上 解放 出 來 ， 消費(fèi)模 式 上也 可根 據(jù)資費(fèi) 情 況 來獲得 高 中低 不 同 層次的 沉 浸體 驗(yàn) 。 目 前云渲 染 技術(shù) 主要 集中在 電 影 后期制作、工業(yè)設(shè)計(jì)等領(lǐng)域，消費(fèi)者 VR 或游戲領(lǐng)域目前還沒有成熟 的商用 ， 但 卻可 能 是未來 的 主流 。在 圖 形接口 方 面 ， 以 Vulkan 為代表 的新一 代 圖形 接口 助推虛 擬 現(xiàn)實(shí) 應(yīng)用 實(shí) 現(xiàn) 穩(wěn) 定 的低 時(shí) 延 、 低開銷 渲 染， 有關(guān)發(fā) 展 特性 主要 有 ： 一是 跨 平臺(tái) 特 性 ， 有別 于 微軟的 DirectX 和蘋 果的 Metal， Vulkan 支持 Linux、 Windows、 Android 等操作系統(tǒng)，以 及 AMD、 NVIDIA、 Adreno、 PowerVR、 Mali 等桌面和移動(dòng) GPU。 二 是 更加靈活精準(zhǔn)的 GPU 控制， OpenGL、 OpenGL ES 復(fù)雜的驅(qū)動(dòng)導(dǎo)致 過度的 CPU 開銷 及 設(shè)備運(yùn) 行 的不 可預(yù) 測(cè)性 ， 虛 擬現(xiàn) 實(shí) 應(yīng) 用 不能預(yù) 測(cè) 某 個(gè)接口調(diào)用開銷，難以實(shí)現(xiàn)渲染優(yōu)化。 Vulkan 提供更加簡(jiǎn)單的驅(qū)動(dòng) 結(jié)構(gòu) ， 將 內(nèi)存 、 多 線程等 管 理轉(zhuǎn) 移給 應(yīng)用程 序 ， 從 而實(shí) 現(xiàn)更小 的 計(jì)算 開銷和 更 好的 設(shè)備 一致性 。 三 是 更 加 有效的多核 CPU 利 用率 ， 每 個(gè) 獨(dú) 立線程都可通過 Vulkan 向命令緩沖區(qū)（ Command Buffer）并行添加 命令 ， 從 而避免 CPU 成為圖形渲 染 過 程 的瓶頸 ； 在異 構(gòu)計(jì) 算方 面 ，對(duì) 于畸變校正、色散校正、 ATW/ASW 渲染等后處理部分計(jì)算，若與應(yīng)用 內(nèi)容渲 染 共享 CPU/GPU 資源 ， 將 在 一 定 程度上 引 起資 源競(jìng) 爭(zhēng) ， 當(dāng)應(yīng)用 中國信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 33 內(nèi)容復(fù) 雜 度較 高時(shí) ， 后處理 過 程可 能 難以在 指 定時(shí) 間內(nèi) 完成 ， 導(dǎo) 致 輸 出幀率不穩(wěn)定。因此，業(yè)界嘗試后處理通過如 ASIC、 FPGA 等異構(gòu)方 式進(jìn)行，進(jìn)而提升輸出幀率的穩(wěn)定性，降低 MTP 時(shí)延；在光場(chǎng)方面， 現(xiàn)有的虛擬現(xiàn)實(shí)的成像方式基本上采用的是有雙目視差的二維圖像 成像方 法 ， 導(dǎo) 致 輻 輳調(diào)節(jié) 沖 突 ， 進(jìn)而 引起眩 暈 不適 。 眼 睛通過 改 變焦 距來采 集 不同 距離 、 位置和 方 向的 物 體表面 反 射的 光線 ， 這些光 線 的 全集即為光場(chǎng)，業(yè)界已有廠商制作出能夠采集光場(chǎng)信息的光場(chǎng)相機(jī)， 光場(chǎng)渲 染 是對(duì) 采 集 到的光 場(chǎng) 信息 進(jìn)行 還原 ， 進(jìn) 而實(shí) 現(xiàn) 用 戶 更高的 沉 浸 體驗(yàn)需求 。 目前 光 場(chǎng)信息 的 采集 、 存 儲(chǔ)及傳 輸 面臨 著如 巨大的 數(shù) 據(jù)量 等較多 基 礎(chǔ) 問題 ， 光場(chǎng)渲 染 技術(shù) 尚處 于較為 初 級(jí)的 探索 階段 ， 但 隨 著 大眾對(duì) VR 體驗(yàn)的 更 高需求 ， 光場(chǎng) 渲 染 可 能成為 未