【正文】 云渲染 術(shù) 將大 量計(jì) 算放到 云 端， 消費(fèi)者可在輕量級(jí)的虛擬現(xiàn)實(shí)終端上獲得高質(zhì)量的 3D 渲染效果，終 端可從 較 高 硬 件性 能要求 上 解放 出 來(lái) ， 消費(fèi)模 式 上也 可根 據(jù)資費(fèi) 情 況 來(lái)獲得 高 中低 不 同 層次的 沉 浸體 驗(yàn) 。 技術(shù) 趨 勢(shì)表現(xiàn) 為 一是 大帶 寬接入 ， 針 對(duì) 固定接 入 場(chǎng)景 ， 室 內(nèi) WiFi 從百兆 、 千兆覆 蓋 到下一代 WiFi 技術(shù)實(shí) 現(xiàn)萬(wàn)兆覆蓋。 用戶 改 變 視 角的交 互 信 號(hào)在本 地 終端 完成 處理 ， 終 端根 據(jù) 視 角 信息從 已 緩存 到本 地的幀 中 解 出對(duì)應(yīng)的 FOV 信息，在播放器中進(jìn)行矯正還原，使用戶看到正常視 角的視 覺 信息 。 根 據(jù) 保 障低延 遲 數(shù)據(jù) 中心 網(wǎng)絡(luò) 的 擁 塞控 制技 術(shù)的控 制 點(diǎn)， 以及對(duì)網(wǎng) 絡(luò)擁 塞狀 態(tài)感知 方 式的 不 同 ， 擁塞控 制 技術(shù) 主要 分為被 動(dòng) 和 主動(dòng)式兩類。 VR 體驗(yàn)要求促進(jìn)智能定制管道發(fā)展。 5G 移動(dòng)通 信 技術(shù)在 提 升 峰值速 率 、 移 動(dòng)性 、 時(shí)延 和 頻譜 效率 等傳統(tǒng) 指 標(biāo)的 基礎(chǔ) 上 ， 新 增 加用 戶體驗(yàn)速率、連接數(shù)密度、流量密度和能效四個(gè)關(guān)鍵能力指標(biāo)， 1ms 的 E2E 時(shí)延、 10Gbps 的吞吐量以及每平方公里 100 萬(wàn)連接數(shù)成為 5G 使能未 來(lái) 通信 最為 關(guān)鍵的 三 個(gè)需 求維 度 。對(duì)于 AR 而言，由于大部分的視野中呈現(xiàn)現(xiàn)實(shí)場(chǎng)景，感 知交互 側(cè) 重于 基于 機(jī)器視 覺 的環(huán) 境理 解 。 目 前谷 歌 、 微 軟 、 蘋 果 等 ICT 巨頭及各 類科技型初創(chuàng)廠商在此方面積極布局。 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 15 圖 10 虛擬現(xiàn)實(shí)近眼顯示關(guān)鍵技術(shù)路標(biāo) （三）感知交互技術(shù)聚焦追蹤定位、環(huán)境理解與多通道 交互等熱點(diǎn)領(lǐng)域 追蹤定位成為 VR 與 AR 在感知交互領(lǐng)域的核心技術(shù) 追 蹤 定 位 技 術(shù) 呈 現(xiàn) 由 外 向 內(nèi) 的 空 間 位 姿 跟 蹤 （ OutsideInPositionTracking ） 向由內(nèi) 向外的空 間 位姿跟 蹤 （ InsideOut） 的 發(fā)展趨 勢(shì) 。二是視覺與其他感官通道 的沖突，強(qiáng)化視覺與聽覺、觸覺、前庭系統(tǒng)、動(dòng)作反饋的協(xié)同一致成 為發(fā)展 方 向 ， 目 前 除 前庭刺 激 、 服 用 藥 物 等非主 流 方式 外 ， HTC VIVE、 Oculus 的 Room Scale、 Virtuix Omni 的全向跑步機(jī)成為緩解此方面 眩暈感的主要技術(shù)。 在知 識(shí) 產(chǎn)權(quán)方面 ， 根據(jù) 中 國(guó)信通 院 知識(shí) 產(chǎn)權(quán)中心統(tǒng)計(jì)，截止到 2017 年上半年，顯示、交互、建模、定位、 相機(jī) 、 頭 顯 、 應(yīng) 用 成為專 利 申請(qǐng) 的熱 點(diǎn)領(lǐng) 域 （ 檢索 范圍 包括但 不 限于 中美日 韓 等七 國(guó)二 組織 ） 。 虛擬現(xiàn) 實(shí) 與人 工智 能 的聯(lián) 系 主要 體現(xiàn) 在渲染 處 理 、 感 知 交 互與通 用 AI 方面。 20xx 年美國(guó)能源 部 制 定 了 《長(zhǎng)期 核 技術(shù) 研 發(fā)規(guī)劃 》 ， 其中明確提出應(yīng)重點(diǎn)開發(fā)、應(yīng)用和驗(yàn)證虛擬現(xiàn)實(shí)技術(shù)。 狹義來(lái)看， VR 與 AR 彼此獨(dú)立，兩者在關(guān)鍵器件、終端形態(tài)上相似性 較大 ， 而 在 關(guān)鍵 技 術(shù)和應(yīng) 用 領(lǐng)域 上有 所差 異 （ 若 不加 額 外說(shuō)明 ， 本 文 采用廣義界定）。作為一個(gè)具有較長(zhǎng)歷史，但實(shí) 際剛剛 新 興的 產(chǎn) 業(yè) ， 虛擬現(xiàn) 實(shí) 技術(shù) 與產(chǎn) 業(yè)的發(fā) 展 軌道 尚未 完全定 型 。 沉 浸 體驗(yàn) 的提 升有賴 于 相關(guān) 技術(shù) 的突破 和 進(jìn)步 ， 是 分階段 演 進(jìn)的 過(guò)程，將 VR 業(yè)務(wù)的發(fā)展劃分為如下階段，不同發(fā)展階段對(duì)應(yīng)不同體 驗(yàn)需求。 經(jīng)過(guò)谷歌眼鏡的預(yù)熱， 20xx 年 Facebook 以 20 億美元收購(gòu) Oculus，釋放重大產(chǎn)業(yè)信號(hào)，此后全球資本密集投向 虛擬現(xiàn) 實(shí) 這一 領(lǐng)域 ， 各大 ICT 巨頭 積 極提出 有 關(guān)發(fā) 展戰(zhàn) 略 ， 眾多 科 技 初創(chuàng)公司紛紛涌現(xiàn)。 在 我國(guó) ， 各 級(jí)政府 積 極推 動(dòng)虛 擬現(xiàn)實(shí) 發(fā) 展 ， 虛擬 現(xiàn)實(shí)已 被 列入 “ 十三五 ” 信息化規(guī)劃、中國(guó)制造 202互聯(lián)網(wǎng) +等多項(xiàng)國(guó)家重大文 件中，工信部、發(fā)改委、科技部、文化部、商務(wù)部出臺(tái)相關(guān)政策。 虛 擬 現(xiàn)實(shí) 橫 向技術(shù) 可 細(xì)分 為三 層體系 ， 第 一 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 9 層為五類技術(shù)領(lǐng)域，各部分再細(xì)分第二層與第三層技術(shù)（如圖 8）。 然而 ， 目 前國(guó)內(nèi) 外 代表 產(chǎn)品 在一定 體 積與 重量 的約束 條 件下 ， FOV 大多僅 停 留 在 20 度至 40 度 水 平 。 由于 具有 體積小、 高分辨率、高刷新率、光能利用率高、成本較低的特點(diǎn)， LCOS 成為 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 中國(guó)信息通信研究院 14 Google Glass、 Microsoft Hololens 等代表性 AR 終端顯示器件的選 擇 。 相比 VR，由于 AR 大部分視野中呈現(xiàn)真實(shí)場(chǎng)景，如何識(shí)別 和理解 現(xiàn) 實(shí)場(chǎng) 景和 物體 ， 并 將虛 擬 物 體 更為真 實(shí) 可信 的疊 加到現(xiàn) 實(shí) 場(chǎng) 景中成為 AR 感知交互的首要任務(wù)，而基于機(jī)器視覺的環(huán)境理解成為 這一領(lǐng) 域 的技 術(shù)焦 點(diǎn) 。 目 前 ， 代表性 的 公司 有 剛被 Apple 公司收購(gòu)的 SMI、瑞典廠商 Tobbi 及國(guó)內(nèi)的七鑫易維等。此外， VR 頭顯無(wú)線化是利用無(wú)線傳輸技 術(shù)進(jìn)行 無(wú) 損的 視頻 傳輸以 解 決當(dāng) 前頭 顯 有線 連 接影 響用 戶體驗(yàn) 。 承載網(wǎng) 絡(luò) 開放 組播 能力進(jìn) 行 直播 視頻 承載 。 VR 等大視頻對(duì)帶 寬 、 時(shí)延 、 丟包 率 都有很 高 要求 ， 使 當(dāng)前傳 統(tǒng) 的高 匯聚 、 高收斂 承 載 網(wǎng)絡(luò)面 臨 如下 挑戰(zhàn) 。在 20xx 年 MPEG 會(huì)議上， 三星提交了關(guān)于多面體投影格式的提案。 相比于普通 4K 視頻的觀看，虛擬現(xiàn)實(shí)從視頻內(nèi)容制作到終 端觀看 的 過(guò)程 更加 復(fù)雜 。早期 VR 渲染技術(shù) 對(duì) FOV 內(nèi)所有 細(xì)節(jié) 進(jìn)行高 分 辨率 渲 染 ， 由于人 眼 中央 凹區(qū) 域 （ Fovea） 中國(guó)信息通信研究院 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 31 內(nèi)集中 分 布著 負(fù)責(zé) 視覺清 晰 度的 視錐 細(xì)胞 ， 且 占 FOV 很少部分 ， 圍繞 中央凹 向 外的 區(qū) 域 視覺感 知 逐漸 模 糊 ， 大部分 區(qū) 域高 分辨 率渲染 實(shí) 際 上造成了較大開銷浪費(fèi)。 眼 睛通過(guò) 改 變焦 距來(lái)采 集 不同 距離 、 位置和 方 向的 物 體表面 反 射的 光線 ， 這些光 線 的 全集即為光場(chǎng)，業(yè)界已有廠商制作出能夠采集光場(chǎng)信息的光場(chǎng)相機(jī)， 光場(chǎng)渲 染 是對(duì) 采 集 到的光 場(chǎng) 信息 進(jìn)行 還原 ， 進(jìn) 而實(shí) 現(xiàn) 用 戶 更高的 沉 浸 體驗(yàn)需求 。 虛 擬現(xiàn) 實(shí) 渲染處 理 注重 渲染后 的 高畫質(zhì) 、 渲染過(guò) 程 的低 開銷 及低時(shí)延 ， 以期 望 給用戶 提 供流 暢的 、 清 晰 的和 實(shí) 時(shí)的虛 擬 現(xiàn)實(shí) 視覺 體驗(yàn) 。 這種 方 案的 帶寬 要求降 低 ， 時(shí) 延要 求變高 ， 屬于 “ 時(shí)延換帶寬 ” 。國(guó)外 Youtube、 Oculus、 Samsung Gear，國(guó)內(nèi)優(yōu) 酷、愛奇藝均采用此種投影格式生產(chǎn) VR 360 媒體文件。 通 過(guò)集 中 的管理 單 元 ， 實(shí) 時(shí) 獲取承 載 業(yè)務(wù) 的網(wǎng)絡(luò)上每個(gè)設(shè)備的狀態(tài)（帶寬、時(shí)延等），當(dāng)發(fā)生業(yè)務(wù)請(qǐng)求時(shí)，能 夠根據(jù) 各 設(shè)備 的狀 態(tài) ， 計(jì)算 出 合理 路 徑 ， 并向 路 徑上 每 個(gè)設(shè)備 下 發(fā)資 源預(yù)留指令，完成整個(gè)路徑的準(zhǔn)備。二是網(wǎng)絡(luò)能力可從 PerInteraction 的時(shí)延需求出發(fā)，如要求 VR 沉浸體驗(yàn)下切換視角 時(shí)延需 求 在十 毫秒 量級(jí) 。基于 的 WiFi 在 80MHz 頻譜上通過(guò) 4x4 MIMO、 Beamforming 等技術(shù)可實(shí)現(xiàn)最大 空口速率。因此， 多焦顯示 +注視點(diǎn)渲染 +眼球追蹤有望成為虛擬現(xiàn)實(shí)領(lǐng)域新興的關(guān)鍵 技術(shù)組合 。 目前 ， 諸多 初 創(chuàng) 公 司提供 基 于雙 攝 /結(jié) 構(gòu)光 /飛行 時(shí)間等定制化、模組化的此類解決方案，代表產(chǎn)品如 LeapMotion、 IntelRealSense、凌感、鋒時(shí)互動(dòng)等。 另一 方面 ， 液 晶顯 示的技術(shù)生命力仍然存在， JDI、京東方等顯示企業(yè)已研發(fā)出響應(yīng)時(shí) 間在 6 毫秒內(nèi)的高分辨率、高刷新率的 VR 用液晶面板。 廣視場(chǎng)角顯示成為提升 AR 近眼顯示沉浸感的核心技術(shù)。 “ 五橫 ” 是 指近 眼 顯示 、 感 知 交互 、 網(wǎng)絡(luò)傳輸 、 渲染 處 理與內(nèi) 容 制作 的五大技術(shù)領(lǐng)域。 總體而言， 美國(guó)虛擬現(xiàn)實(shí)發(fā)展以企業(yè)為主體、 政府搭 平 臺(tái) ， 政 府 重視虛 擬 現(xiàn)實(shí) 在各 領(lǐng)域的 應(yīng) 用示范 。 微電子方面，低成本的 SOC 芯片與 VPU（視覺處理器）的普及成為虛 擬現(xiàn)實(shí)在集成電路領(lǐng)域發(fā)展熱點(diǎn)。 業(yè)界對(duì) 虛 擬現(xiàn) 實(shí)的研討不再拘泥于特定終端形態(tài)與實(shí)現(xiàn)方式，而是聚焦體驗(yàn)效果， 強(qiáng)調(diào)關(guān) 鍵 技術(shù) 、 產(chǎn) 業(yè) 生態(tài)與 應(yīng) 用領(lǐng) 域的 融合創(chuàng)新 。從產(chǎn)業(yè)構(gòu)成上看，虛擬現(xiàn)實(shí)產(chǎn) 業(yè)體系 依 托器件 /設(shè) 備 、 工具 /平 臺(tái)與 內(nèi) 容 /應(yīng)用 ， 相 比較 為 成熟的智 能終端，虛擬現(xiàn)實(shí)產(chǎn)業(yè)體系類似，實(shí)則差異較大。此外， VR 側(cè)重于游戲、視頻、直播與社交等 大眾市場(chǎng)， AR 側(cè)重于工業(yè)、軍事等垂直應(yīng)用。 此外 ， 美 國(guó) 設(shè)立 了 有關(guān)虛 擬 現(xiàn)實(shí) 的研究 項(xiàng) 目 ， 如 衛(wèi) 生與福 利 部 、 教 育 部分別 開 展了 虛擬 現(xiàn)實(shí)在 心 理疾 病、中小學(xué)教育的試點(diǎn)示范。在感知交互方面，基于 AI 的場(chǎng)景分割識(shí)別及定位重 建已成為科技巨頭的重點(diǎn)布局領(lǐng)域，例如 Google Lens 利用 AI 能夠 讓機(jī)器學(xué)會(huì) “ 看圖說(shuō)話 ” ， Tango 與地圖部門通過(guò)環(huán)境 3D 建模實(shí)現(xiàn) 室內(nèi) SLAM 功能等；在渲染處理方面，畫面渲染對(duì)計(jì)算資源的開銷很 大 ， 在畫 質(zhì) 噪點(diǎn) 和 處理時(shí) 間 上存 在不 足 ， 基于 深 度學(xué) 習(xí) 的渲染 技 術(shù)能 夠大幅 度 提高 畫質(zhì) 、 降低渲 染 時(shí)間 ； 虛 擬現(xiàn)實(shí) 對(duì) 人工 智能 發(fā)展的 推 動(dòng) 集中在通用型 AI 方面。從企業(yè)戰(zhàn)略看， Facebook、谷歌、蘋果、微軟、英特爾等 ICT 巨 頭積極提出各自虛擬現(xiàn)實(shí)發(fā)展戰(zhàn)略，如扎克伯格將虛擬現(xiàn)實(shí)作為 Facebook 未來(lái)十年三大技術(shù)發(fā)展方向之一，庫(kù)克宣布蘋果公司將打 造全球最大的 AR 開發(fā)平臺(tái)。 目前 ， 對(duì) 于產(chǎn)生 眩 暈感 的前 兩類因 素 ， 業(yè)界已 有 上述 初步 的解決 方 案 ， 然而 ， 在現(xiàn) 有 量產(chǎn) 產(chǎn)品 中 ， 尚 未 有應(yīng) 對(duì) VAC 引發(fā)眩 暈 感的技術(shù)方 案 ， 發(fā) 展非固定焦 深 的 多 焦點(diǎn)顯 示 （ Multifocal Display）、可變焦顯示（ Varifocal Display）與 光場(chǎng)顯示成為業(yè)界在近眼顯示眩暈控制方面的重中之重。 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 中國(guó)信息通信研究院 16 圖 11 追蹤定位領(lǐng)域兩類技術(shù)路線對(duì)比總結(jié) 手部體感交互呈現(xiàn)由手勢(shì)識(shí)別向手部姿態(tài)估計(jì) /跟蹤的發(fā)展趨勢(shì)。 多通道 交 互的 一致 性主要 表 現(xiàn)為 視覺 、 聽覺 、 觸覺 等感官 的 一致 以及 主動(dòng)行 為 與動(dòng) 作反 饋的一 致 ， 基 于 用 戶 眩暈控 制 與 沉浸體驗(yàn)方面的特性要求，浸入式聲場(chǎng)、眼球追蹤、觸覺反饋、語(yǔ)音 交互等 交 互技 術(shù)成 為虛擬 現(xiàn) 實(shí)剛 性需 求的趨 勢(shì) 愈發(fā) 明 顯 。 虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（ 2017 年） 中國(guó)信息通信研究院 20 圖 12 虛擬現(xiàn)實(shí)感知交互關(guān)鍵技術(shù)路標(biāo) （四）網(wǎng)絡(luò)傳輸技術(shù)呈現(xiàn)大帶寬、低時(shí)延、高容量、多 業(yè)務(wù)隔離的發(fā)展趨勢(shì) 虛擬現(xiàn) 實(shí) 涉及 接入 網(wǎng) 、 承 載 網(wǎng) 、 數(shù)據(jù) 中心網(wǎng) 絡(luò) 、 網(wǎng) 絡(luò)傳 輸運(yùn)維與 監(jiān)控 、 以 及投 影 、 編碼壓 縮 等網(wǎng) 絡(luò)傳 輸技術(shù) 。 目 前，日韓等在 5G 商用規(guī)劃較早的國(guó)家，明確計(jì)劃將虛擬現(xiàn)實(shí)作為先 期重點(diǎn)應(yīng)用領(lǐng)域。 為 解決 這一問(wèn) 題 ， 運(yùn)營(yíng)商 提 供差 異化 的可定 制 服務(wù) ， 已 滿足管 道 按需 、 動(dòng) 態(tài) 、 開放 、 端 到端的發(fā)展趨勢(shì)。 根據(jù)擁 塞 狀態(tài) 信息 和并發(fā) 流 信 息 ， 主 動(dòng) 分配速率 ， 收斂 速 度快 ， 源 端根據(jù) 明 確速 率精 細(xì)控制 數(shù) 據(jù)發(fā) 送，結(jié)合流量需求做不同流調(diào)度，代表技術(shù)有 ExpressPass、 pHost 等 。 這一技 術(shù) 路線 對(duì)帶 寬的要 求 較高 ， 時(shí)延 要求較 低 。 針對(duì)無(wú) 線 接入 ， 實(shí) 現(xiàn) 10GE 吞吐量是 5G 使能未來(lái)通 信 最 關(guān) 鍵的三 個(gè) 需 求維度 之 一 ； 二 是 高容量 承 載網(wǎng)絡(luò) ， 承載網(wǎng) 絡(luò) 接入 環(huán)以 光纖環(huán) 為 主需 要 50G100G 容量，末端微波需要 10G40G 容量，匯聚核心需要