【正文】 示技術(shù)。 AR 的系統(tǒng)結(jié)構(gòu) 一個(gè) 典型 的 AR 系統(tǒng) 結(jié) 構(gòu) 一個(gè)典型的 AR 系統(tǒng) 結(jié) 構(gòu)由虛擬場景生成單元 、 透射式頭盔顯示器 、 頭部跟蹤設(shè) 備和交互 設(shè) 備構(gòu)成 。 例如 ， 如 果他在一個(gè) 雜貨店里挑選了一罐湯， SixthSense 設(shè)備 將 能夠搜索這罐湯的相關(guān)信息，例如 成分、價(jià)格和營養(yǎng)價(jià)值甚或用戶評論，然后將它們投射到平面上。 用戶還 會(huì)在手指上戴上四個(gè)不同顏色的特殊指套 ， 這些指套可以用來操縱投影儀投射的 圖像。 在 20xx 年 2 月的 TED 大會(huì)上 ， 帕蒂 ?梅 斯 （ Pattie Maes） 和普拉納夫 ?米斯特 萊 （ Pranav Mistry） 展示了他們研發(fā)的 AR 系統(tǒng)。 體育：顯示橄欖球場的得分線、高爾夫球的飛行路線和冰球移動(dòng)的軌跡。 游戲：運(yùn)用真實(shí)世界環(huán)境讓用戶在游戲中進(jìn)行互動(dòng)，獲得不同的體驗(yàn)。 藝術(shù) ： 跟蹤眼球移動(dòng)并將這些移動(dòng)顯示在屏幕上，幫助殘疾人進(jìn)行藝術(shù)創(chuàng)作。 智能透鏡的理念是在傳統(tǒng)透鏡中集成控制電路 、 通信電路 、 微型天 線 、 LED 及其 它光電組件，從而形成一套功能系統(tǒng)。 智能眼鏡技術(shù)最為 突出的例子 是 谷歌眼鏡和 Vuzix M100。 智能眼鏡 Vuzix M100 智 能眼鏡 消費(fèi)電子行業(yè)的許多公司認(rèn)為 ， 智能眼鏡將會(huì)成為智能手機(jī)后下一大全球熱賣消 費(fèi)產(chǎn)品。 換而言之 ， 用戶不會(huì)直接看到現(xiàn)實(shí) ， 看到的是現(xiàn) 實(shí)的增 強(qiáng) 視頻畫面 。 此外在觀看人數(shù)較多時(shí) ， 內(nèi)容也能看清 ， 這個(gè)案例可以用 來實(shí)現(xiàn)同步辦公。 SAR 系統(tǒng) 往 往固定在自然中 。 固定式 AR 系統(tǒng) 俄羅 斯一 家 Topshop 內(nèi)的 固 定 式 AR 衣櫥 固定式 AR 系統(tǒng)適用 于 固定場所中需要更大顯示屏或更高分辨率的場景 。 目前能夠確定的 AR 硬 件類型有以下幾種： ? 手持設(shè)備（ Handheld Devices） ? 固定式 AR 系統(tǒng)（ Stationary AR Systems） ? 空間增強(qiáng)現(xiàn)實(shí)（ SAR）系統(tǒng)（ Spatial Augmented Reality Systems） ? 頭戴式顯示器（ Headmounted Displays ，即 HMD） ? 智能眼鏡（ Smart Glasses） ? 智能透鏡（ Smart Lenses） 手持設(shè)備 智能手機(jī)正是手持設(shè)備的代表 。 20xx 年 ， Bruce H. Thomas 在澳大利亞 南 澳大學(xué)可穿戴計(jì)算機(jī)實(shí)驗(yàn)室開發(fā)了 第一款手機(jī)室外 AR 游 戲 ——ARQuake。 大約在 1998 年， AR 第一次出現(xiàn)在大眾平臺(tái)上。 盡管這些早期的發(fā)明屬于 AR 的范疇 ， 但實(shí) 際 上 ， 直到 1990 年 ， 波 音公司研究 員 Tom Caudell 才 創(chuàng) 造了 “AR”這個(gè)術(shù) 語 。 1968 年 ， 哈佛 副教授 Ivan Sutherland 跟他的學(xué)生 Bob Sproull 合作發(fā)明了 Sutherland 稱之 為 “終極顯示器 ”的 AR 設(shè)備 。 Sensorama Stimulator 使用圖像 、 聲音 、 風(fēng)扇 、 香味和震動(dòng) ， 讓用戶感受在紐 約布魯克林街道上騎著摩托車風(fēng)馳電掣的場景 。 例 如 ， 目前大多數(shù)游戲 基 于 VR 研發(fā)， 但微軟也用 HoloLens 重新創(chuàng)作了《我的世界》這樣的游戲。 VR 領(lǐng)域主要的產(chǎn)品包括 Oculus、 索尼 PlayStation VR、 HTC Vive 和三星 Gear VR。 增強(qiáng)的信息可以是與真實(shí)物體相關(guān)的非幾何信息 ， 如 視頻、文字，也可以是幾何信息，如虛擬的三維物體和場景。 最典型的 AR 設(shè)備就是谷歌眼鏡 。 最 后 ， 感謝亮風(fēng)臺(tái)研發(fā)總監(jiān)吳侖博士對本報(bào)告的支持 ， 吳侖博士撰寫了 AR 工作 原 理 、關(guān)鍵技術(shù)相關(guān)章節(jié)。前言 繼 智能手機(jī) 、 平板電腦之后 ， 虛擬現(xiàn) 實(shí) （ VR） 與增強(qiáng)現(xiàn) 實(shí) （ AR） 有潛力成為下 一個(gè)重大通用計(jì)算平臺(tái)。 特別提示 ： 微信上搜 索 “qqtechvr”， 關(guān) 注 “VR 次元 ”微信公眾號 ， 回 復(fù) “AR”， 即可獲得 AR 報(bào)告 PDF 版。 這種智能眼鏡將觸 控板、攝像頭以及 LED 顯示器結(jié)合起來，通過顯示器，用戶可以聯(lián)網(wǎng)，并在視 野內(nèi)使用地圖、電子郵件等服務(wù)。 實(shí)時(shí)交互：通過增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的交互 接 口設(shè)備，人們以自然 方 式與增強(qiáng)現(xiàn) 實(shí)環(huán)境進(jìn)行交互操作，這種交互要滿足實(shí)時(shí)性。 （有關(guān) VR 更多的情況，可關(guān)注 VR 次元微信公眾號，回復(fù) “高盛 ”和 “德 銀 ”，分別獲得高盛 VR 中文版報(bào)告和德銀 VR 中文版報(bào)告） 區(qū)分 VR 和 AR 的一個(gè)簡單的方法是： VR 需要用一個(gè)不透明的頭戴設(shè)備完成虛 擬世界里的沉浸體驗(yàn) ， 而 AR 需要清晰的頭 戴 設(shè)備看清真實(shí)世界和重疊在上面的 信息和圖像。 AR 發(fā)展簡史 AR 技術(shù)的起源可追 溯 到 “VR 之父 ”Morton Heilig 在上個(gè)世紀(jì)五 、 六十年代所 發(fā)明的 Sensorama Stimulator。 盡管這臺(tái)機(jī)器大且笨重 ， 但在當(dāng) 時(shí)卻非常超前 。 使用這個(gè)設(shè)備的用戶可以通過一個(gè)雙目鏡看到一 個(gè)簡單三維房間模型 ， 用戶還可以使用視覺和頭部運(yùn)動(dòng)跟蹤改變視角 。 Caudell 和他的同 事 設(shè)計(jì)了一個(gè)輔 助飛機(jī)布線系統(tǒng) ， 用于代替笨重的示例圖版 。當(dāng)時(shí)有電視臺(tái)在橄欖球賽電視 轉(zhuǎn)播上使用 AR 技術(shù)將得分線疊加到屏幕中的球場上。 20xx 年左右 ， AR 開始被用于地圖等 手機(jī)應(yīng)用上 。 我們正經(jīng)歷著智能手機(jī) 、 平板電腦等手持設(shè)備的 大爆 炸 時(shí)代 ， 這將會(huì)促進(jìn) AR 的普及 。 與移動(dòng) AR 設(shè)備不同的是， 這 些極少移動(dòng)的系統(tǒng)可以搭載更加先進(jìn)的相機(jī)系統(tǒng)，因此能 夠更加 精 確地 識(shí) 別人 物 和場景 。 任何物理表面 ， 如墻 、 桌 、 泡沫 、 木塊 甚至是人體都可以成為可交互的顯示屏 。 頭戴式顯示器 （ HMD） 佳能 的 混 合 現(xiàn) 實(shí) 頭 戴 設(shè)備 HMD 代表著另一種快速發(fā)展的 AR 硬件類型 。 如果顯示屏只覆蓋用戶的一只眼睛 ， 這樣的 HMD 稱為單眼 HMD，另一種是兩只眼睛都看顯示屏的雙眼 HMD。這些 AR 設(shè)備實(shí)際上是帶有屏幕、相機(jī)和話筒的眼鏡。 不 過 ， 目前開發(fā)中的最令人激動(dòng)的智能 眼鏡要數(shù) Atheer One——該智能眼鏡配有 3D 景深傳感器 ， 用戶可以實(shí)際控制 眼前顯示的虛擬內(nèi)容。未來或許可以用成千上萬顆 LED 直接在 眼前形成畫面 ， 從而讓透鏡變成顯示屏 。 商業(yè)：顯示產(chǎn)品的多種定制選項(xiàng)或者補(bǔ)充信息。 醫(yī)藥：通過虛擬 X 光將病人的內(nèi)臟器官投射到他們的皮膚上。 電視：在天氣預(yù)報(bào)中顯示天氣視覺效果和圖像。該系統(tǒng)屬于麻省理工學(xué)院媒 體實(shí)驗(yàn)室流體界面小組的研究成果之 ， 他們稱之為 SixthSense（ 第 六感 ） 。 SixthSense 設(shè)備利 用 簡單的、現(xiàn)成的元件來組成 AR 系統(tǒng)，它的 投 影儀可以將 任何平面變成一個(gè)互動(dòng)的顯示屏。 利用手指上的指 套 ， 用戶可以在投射的信息上執(zhí)行各種操作 ， 這些操作將會(huì)被攝 像頭捕捉到 ， 然后通過手機(jī)來處理 。 其中虛擬場景生成單元負(fù)責(zé)虛擬場景的建模 、 管理 、 繪制和 其它外設(shè)的管理 ； 透射式頭盔顯示器負(fù)責(zé)顯示虛擬和現(xiàn)實(shí)融合后的信號 ； 頭部跟 蹤設(shè)備跟蹤用戶視線變化 ； 交互設(shè)備用于實(shí)現(xiàn)感官信號及環(huán)境控制操作信號的輸 入輸出。 對現(xiàn)實(shí)場景的理解和重構(gòu) 在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中 ， 首先要解 決 “是什么 ”的問題 ， 也就是要理解 、 知道場景中 存在什么樣的對象和目標(biāo) 。 在增強(qiáng)現(xiàn)實(shí) 領(lǐng)域，常 見的 檢 測和 識(shí) 別任務(wù) 有 ，人 臉 檢測 、 行人檢 測 、車 輛 檢測 、 手勢識(shí)別、 生物識(shí)別、情感識(shí)別、自然場景識(shí)別等。 如檢測人臉后顯示年齡 、 性別等 。 另一 方 面， 圖 像本身 還 受到 噪 聲、 尺 度、旋轉(zhuǎn)、 光 照 、 姿態(tài)等因素的影響 。 常用的設(shè) 備包括機(jī)械式跟蹤器 、 電磁式跟蹤器 、 超聲波跟蹤器 、 慣性跟蹤器以及光學(xué)跟蹤 等。 相比于上述基于硬件設(shè)備的跟蹤方法 ， 計(jì)算機(jī)視覺跟蹤方法提 供了一種非接觸式的 、 精確的 、 低成本的解決方法 ， 但是基于視覺的方法受限于 圖像本身 ， 噪聲 、 尺度 、 旋轉(zhuǎn) 、 光照 、 姿態(tài) 變 化等因素都會(huì)對跟蹤精度造成較大 的影響，因此更好地處理這些影響因素，研發(fā)魯棒性強(qiáng)的算法就成為下一步 AR 技術(shù)的研究重點(diǎn)。這類技術(shù)不需要預(yù) 存場景信息 ， 而是在運(yùn)行階段完成對于場景的構(gòu)建以及跟蹤 。 SLAM 跟 蹤 技術(shù) 為了彌補(bǔ)不同跟蹤技術(shù)的缺點(diǎn) ， 許多研究者采用硬件和視覺混合跟蹤的方法來取 長補(bǔ)短，以滿足增強(qiáng)現(xiàn)實(shí)系統(tǒng)高精度跟蹤定位的要求。 計(jì)算機(jī)通過場景理解和 分析將所要添加的信息和圖像信號疊加在攝像機(jī)的視頻信號上 ， 將計(jì)算機(jī)生成的 虛擬場景與真實(shí)場景進(jìn)行融合 ， 最后通過類似于浸沒式頭盔顯示器的顯示系統(tǒng)呈 現(xiàn)給用戶。 與視頻透射式不同的是 ， 光學(xué)透視式 的 “實(shí) ” 來自于真實(shí)的光源 ， 經(jīng)過透視光學(xué)系統(tǒng)直接進(jìn)入眼睛 ， 計(jì)算機(jī)生成 的 “虛 ”則經(jīng) 過光學(xué)系統(tǒng)放大后反射進(jìn)入眼睛 ， 最后兩部分信息匯聚到視網(wǎng)膜上從而形成虛實(shí) 融合的成像效果。 不難看出 ， 兩種方案各有優(yōu)缺點(diǎn) ， 如何選擇最優(yōu)方案 ， 目前來看 ， 還應(yīng)基于實(shí)際 應(yīng)用場景來進(jìn)行判斷。 因此在目前技術(shù)依舊存在障礙的情況下 ， 大家都會(huì)采取 一些折中的方案。 同樣 ， 光場顯示也有不同的顯示方案 ， 一種方案是采用多層的顯示器 ， 如光場立 體鏡 。 盡管存在比較多的挑戰(zhàn)，光場顯示技術(shù)仍舊是非常值得期待的一種成像方式。 20xx 年 5 月，蘋果收購了一家名為 Metaio 的德國 AR 公 司。 據(jù)悉 ， 電 影 《星球大戰(zhàn) ： 原力覺醒 》 的特效團(tuán)隊(duì)曾經(jīng)使用了上述公司的技術(shù) ， 讓 外星人的臉部形象更加栩栩如生。 除了各種并購之外 ， 蘋果也儲(chǔ)備了一些和 AR 有關(guān)的技術(shù)專利 。 不 過 迄今為止 ， 蘋果從未對外宣布過開發(fā) AR 硬件 、 軟件等產(chǎn)品的計(jì)劃 。 我 們之 所 以能 夠 看到 物 體，是 因 為光 線 被這 些 物體反 彈 ， 最后 射入 我 們的眼中。 當(dāng)用戶四處走動(dòng)時(shí) ， 屏幕 依然會(huì)留在原地 ， 就好像那是一面真實(shí)存在的鏡子 。 如果未來版 的 HoloLens 足夠緊 湊 ， 你可以想象到有人邊開車邊接受導(dǎo)航 ， 但司機(jī)的實(shí)現(xiàn)不 再局限于屏幕上 ， 而是可看到前方道路的全息圖 。 此外 ， 它的另一個(gè)用途可能是支持在線 零售店 ， 允許 HoloLens 用戶看到其產(chǎn)品全息圖 。 對于微軟來說 ， 吸引開發(fā)者非常 重要 ， 因?yàn)檫@款設(shè)備最吸引人的應(yīng)用可能還未出現(xiàn) 。 谷歌 谷 歌 當(dāng)前在 VR 領(lǐng)域比較活躍 ， 如推出硬件產(chǎn)品 Cardboard 頭盔 ， YouTube 上 線 360 度全景視頻 功 能，還提供 Tilt Brush、 Jump 和 Assembler 等 VR 小應(yīng) 用，方便幫助開發(fā)者創(chuàng)新新的 VR 體驗(yàn)，但 這 并不意味著谷歌放棄了 AR 市場。 除了自身開發(fā) AR 項(xiàng) 目 ， 谷歌還投資了 AR 創(chuàng) 業(yè)公司 Magic Leap。今年 2 月， Magic Leap 在新一 輪融資中獲得 億美元的投資，阿里 、 谷歌都參與了本輪融 資 。 ” 具體來說 ， Magic Leap 制作圖像的方法與人眼的工作方式相同。 Magic Leap 便采用這種 更為實(shí)用的圖像制作方式。 很少有人認(rèn)識(shí)到 AR