【正文】 AR 技術(shù)與其他數(shù)字技術(shù)的區(qū)別。加強(qiáng)電腦專家、設(shè)計師和市場營銷人員之間的合作；設(shè)計和執(zhí)行有價值的 AR 應(yīng)用程序必須遵守以下幾點(diǎn)：AR 技術(shù)可以通過 HoloLens 或谷歌眼 鏡或通過智能手機(jī)上的攝像頭來將虛擬的元素（例如信息和圖片）疊加在真實的 物理環(huán)境之上。對于終端用戶創(chuàng)作真實、理想 的內(nèi)容而言，在用戶附近對任意位置進(jìn)行精準(zhǔn)注冊一定要簡單而健壯——然而， 這又是一個超出 CV 基本范疇的研究難題。尚沒有在開放空間內(nèi)輸入任意 3D 位置的機(jī)制，更別說明確指出方向了。盡管手機(jī)的交互方法得到了極大 改進(jìn)，但在沒有精準(zhǔn)全局環(huán)境模型的條件下，如何使用 2D 界面方便、精準(zhǔn)地注 冊 6 自由度內(nèi)容，這個問題仍未得到解答。個人內(nèi)容創(chuàng)作是促使用戶積極參與而非被動觀察的關(guān)鍵所在。 因此，目前 CV 研究成果中物體動態(tài)檢測與跟蹤技術(shù)的加入是未來實現(xiàn)高質(zhì)量 AR 的關(guān)鍵。由于算法缺少阻 擋推理，就算增強(qiáng)內(nèi)容的視覺效果再好，未來硬件平臺的性能再強(qiáng)大，也會出現(xiàn) 礙眼的錯誤。在動態(tài)場景中，大多數(shù)算法的基本假設(shè)從一開始就是錯誤的。尤其在室外場景中，幾乎所有物體都在變化：行 人，光照和天氣條件，甚至是建筑物每隔幾年也會刷上新的顏色。目前的 AR 應(yīng)用假設(shè)場景中的一切事物都是靜態(tài)的。幸運(yùn)的是，如今 AR 的關(guān)注度已 成規(guī)模，因此不久的將來，手機(jī)針對 AR 的優(yōu)化或?qū)⒊蔀楝F(xiàn)實。這些市場將 會驅(qū)動近期到中期的手機(jī)功能革新。硬件配置的任何變 動會增加數(shù)百萬美元的開發(fā)成本，倘若之后無法滿足市場預(yù)期，搭上的錢還會更 多。硬件進(jìn)步——如立體相機(jī)，CPU/GPU 的統(tǒng)一 隨機(jī)尋址，WiFi 三角定位——能夠讓 AR 應(yīng)用的開發(fā)者極大受益。這或許會造成“這些問題不難解決或者與 AR 的成功不相 關(guān)”的錯誤認(rèn)識。其他挑戰(zhàn)除了實現(xiàn)算法研究成果的精度和可擴(kuò)展性這樣的學(xué)術(shù)目標(biāo)外，還存在著一系列嚴(yán) 重影響 AR 體驗實用性的實際問題。然而，大規(guī)模環(huán)境的定位僅存在于概念證明研究中。但正如上面所述，仍然存在著一些重大挑戰(zhàn)，仍需針對這些挑戰(zhàn)尋找真正切實有效的解決方案。類似的是，磁干擾會嚴(yán)重影響電子指南針的讀 數(shù)，而磁干擾在人造環(huán)境中是不可避免的。不幸的是，傳感器并不健壯：在不同的地點(diǎn)，傳 感信息的準(zhǔn)確度可能會有天壤之別。失準(zhǔn)及丟失的傳感信息。 另一個重要方面是通信通道（可能是移動網(wǎng)絡(luò)）中最終模型的分發(fā)方式。此外，得到的 模型僅代表某個時間點(diǎn)的靜態(tài)快照。對于室外環(huán)境而言，在定位之前必須采集大量數(shù)據(jù)并處 理生成初始模型。因此，存在著大 量的會對定位質(zhì)量產(chǎn)生嚴(yán)重影響的異常因素和不匹配因素，這與匹配算法的選擇 并無關(guān)系。不幸的是，室外環(huán)境中大量以自然畫面呈現(xiàn)的特征與實際物理特征并不相關(guān)。光照和天氣條件。興趣點(diǎn)的主要問題在于，紋理的呈現(xiàn)形式至關(guān)重要。即便在結(jié)合了多種傳感器的幫助下，基于 CV 的 定位仍然非常困難，一系列原因列舉如下：紋理結(jié)構(gòu)。計算機(jī)視覺面臨的挑戰(zhàn)智能手機(jī)的一大優(yōu)勢在于，定位不必單單依賴于相機(jī)傳感器，也可以利用其它任 意可用的傳感器，如 GPS，指南針，加速度計和陀螺儀。除此之外， 目前的平板電腦存在著與智能手機(jī)相同的問題。盡管平板電腦作為一種流行移動平臺也在不斷壯大，但它屬于放大版的智能手機(jī)平臺。不過，硬件總體是朝著 正確的方向發(fā)展的，尤其在移動游戲或移動導(dǎo)航系統(tǒng)的驅(qū)動下——而這兩者與 AR 在技術(shù)需求方面存在許多共通之處。理論上講，針對 AR 改進(jìn)未來智能手機(jī)需從哪些方面入手已是眾所周知。交互技術(shù)同樣存在著 類似的限制。智能手機(jī)的外形因素在購買決策中發(fā)揮著重要作用。于是完全獨(dú)立的 AR 應(yīng)用成為了唯一的可行選擇， 這就意味著需要在設(shè)備上占用大量的存儲空間。其次，訪問遠(yuǎn)程數(shù)據(jù)僅在開了流 量套餐時才有可能做到，而流量套餐可能過于昂貴或者無法開通。遠(yuǎn)程訪問大量數(shù)據(jù)受到幾個因素的影響。因此，AR 應(yīng)用必須只能設(shè)計成供短時間使用，而不是一種“常開”功能。 另外，傳感器和網(wǎng)絡(luò)接口也是耗電大戶。電池電量近年來并沒有顯著提升。圖像獲取過程 中的質(zhì)量損失很難通過后期處理步驟補(bǔ)償。API 只提供了相機(jī)傳感器的高層級訪問，無法控制曝光、光圈及焦距。智能手機(jī)通常配備的相機(jī)傳感器在弱光條件下表現(xiàn)糟 糕：圖像模糊，開始出現(xiàn)明顯色差。智能手機(jī)生態(tài)系統(tǒng)為面向大眾部署 AR 的純軟件解決方案提供了一切要素。因此，所有的 AR 研究人員都應(yīng)該為智能手機(jī) AR 的大空間應(yīng)用問題開發(fā)專門的解決方案。這個問題是 AR 面向大眾部署所面臨的終極挑戰(zhàn)。注冊對精度的要求極為嚴(yán)格：由 于 AR 應(yīng)以實時、六個自由度的形式將虛擬信息和現(xiàn)實信息相融合，即便是輕微 的注冊失準(zhǔn)都會造成組合視圖難以容忍的失真。我們將開發(fā)出比 Mac 電腦好用一百倍且強(qiáng)大一百倍的產(chǎn)品。到那個時候，打電 話將會變成一種很奇怪的行為，因為所有人都可以在全息影像中進(jìn)行對話。人們可以進(jìn)入他們的全息影像屏幕，提取出人的解剖圖，然后剔除骨骼進(jìn)行研究。格里貝茨預(yù)計，有朝一日，人們再也不用一邊在笨拙的鍵盤上 敲敲打打，一邊緊盯著顯示屏的屏幕，人們可以在漂浮在眼前的全息圖像之間隨 意切換和瀏覽，只需用手碰一碰就可以完成各種操作。按計劃它將在今年夏天交 付第二代 AR 頭盔，它的頭盔是作為開發(fā)者工具套裝的一部分出售的，整個套裝 售價 949 美元，主要用來幫助開發(fā)商為新頭盔設(shè)計出更多的三維、互動應(yīng)用。這跟主題樂園的游歷過程有些相似，就連虛 擬現(xiàn)實頭盔戴久了會讓你感到惡心或者頭暈也跟你在主題樂園中呆久了的感覺 很相似。但是戴上虛擬現(xiàn)實頭盔之后，你與周遭世界的聯(lián)系就被人為隔斷了。當(dāng)你走過一個雜貨店的走道，你也許會在眼前的虛擬屏 幕上看到制作意大利飯所需的食材和配料清單?；鍫枺℅reg Kipper）在書中寫到：“增強(qiáng)現(xiàn)實將具備更多的實際應(yīng)用價值，因為在現(xiàn)實中， 與真實世界中的事物互動的人更多一些。換句話說，AR 技術(shù)有可能觸及到更多的人，因為它是對人們?nèi)粘Ｉ畹臒o縫補(bǔ) 充，而不是像 VR 那樣在現(xiàn)實世界之外營造出一個完全虛擬的世界。AR 的軟件與服務(wù)擁有可與如今的移動市場相媲美的經(jīng)濟(jì)效應(yīng)，它們都可以利用 現(xiàn)有的其他產(chǎn)品的市場，并不斷擴(kuò)張它們。 但是，AR 技術(shù)在游戲玩家眼中的這個缺點(diǎn)，恰恰是讓它可以同智能手機(jī)一樣， 在數(shù)以億計用戶的現(xiàn)實生活中發(fā)揮重要作用的優(yōu)勢。但這項技術(shù)的體驗主要是在客廳、辦公室或者座位上展開的， 因為如果你戴著一個完全封閉的頭戴式顯示器走在路上，隨時都可能撞到路邊的 東西。AR 比 VR 更具增長潛力市場調(diào)研公司 DigiCapital 給出的一組數(shù)據(jù)很值得研究：到 2020 年，AR 的市 場規(guī)模將達(dá)到 1200 億美元，遠(yuǎn)高于 VR 的 300 億美元。隨著大量資金注入 AR 項目及 AR 創(chuàng)業(yè)公司，尤其是隨著谷歌、佳能、高通、微軟等大公司的入場，我們已經(jīng)看到第一批消費(fèi)級 AR 產(chǎn)品的涌現(xiàn)。很少有人認(rèn)識到 AR 的潛力，開發(fā)相關(guān) 應(yīng)用大多也是用來快速打響名聲，或者這些應(yīng)用的價值僅限于添加視頻效果這樣 的博眼球之舉而已。只有少數(shù)硬件解決方案得到了大規(guī)模生產(chǎn)并能夠買到。Magic Leap 便采用這種 更為實用的圖像制作方式。利用其 他 3D 圖像投影方式，如果用戶閉上一只眼睛，3D 圖像就會消失。”具體來說，Magic Leap 制作圖像的方法與人眼的工作方式相同。Magic Leap 研發(fā)的技術(shù)依然處于半透明狀態(tài)，沒有任何產(chǎn)品出現(xiàn)，我們目前只 知道它主要研發(fā)方向就是將三維圖像投射到人的視野中。今年 2 月，Magic Leap 在新一 輪融資中獲得 億美元的投資，阿里、谷歌都參與了本輪融資。有關(guān) Magic Leap 的情況， 將在下文進(jìn)行詳細(xì)說明。除了自身開發(fā) AR 項目，谷歌還投資了 AR 創(chuàng)業(yè)公司 Magic Leap。該項目旨在賦予智能手機(jī) 3D 繪圖 和創(chuàng)造 AR 體驗的能力。谷歌谷歌當(dāng)前在 VR 領(lǐng)域比較活躍，如推出硬件產(chǎn)品 Cardboard 頭盔，YouTube 上線 360 度全景視頻功能，還提供 Tilt Brush、Jump 和 Assembler 等 VR 小應(yīng)用，方便幫助開發(fā)者創(chuàng)新新的 VR 體驗，但這并不意味著谷歌放棄了 AR 市場。微軟手中可能正握著一款革命性產(chǎn)品。對于微軟來說，吸引開發(fā)者非常 重要，因為這款設(shè)備最吸引人的應(yīng)用可能還未出現(xiàn)。由于 HoloLens 運(yùn)行 Windows 10 操作系統(tǒng)，通用應(yīng)用將可在其上順利運(yùn)行。此外，它的另一個用途可能是支持在線 零售店，允許 HoloLens 用戶看到其產(chǎn)品全息圖。在企業(yè)方面，HoloLens 最明顯的應(yīng)用就是實現(xiàn) 3D 模型或設(shè)計的可視化。如果未來版的 HoloLens 足夠緊湊，你可以想象到有人邊開車邊接受導(dǎo)航，但司機(jī)的實現(xiàn)不 再局限于屏幕上，而是可看到前方道路的全息圖。HoloLens 本身就是一臺獨(dú)立電腦，擁有自己的 CPU 和 GPU，以及微軟所謂的 全息處理單元，負(fù)責(zé)支持創(chuàng)造全息圖必須的全部必要計算。當(dāng)用戶四處走動時，屏幕 依然會留在原地，就好像那是一面真實存在的鏡子。 HoloLens 實際上就是欺騙大腦，將光線以全息圖的方式發(fā)射到你眼睛中，就好 像物體真的存在于現(xiàn)實世界中一樣。我們之所以能夠看到物體，是因為光線被這些物體反彈，最后射入我們的眼中。因此在 AR 領(lǐng)域， 蘋果也會選擇一個相對成熟的時機(jī)再進(jìn)入市場。不過迄今為止，蘋果從未對外宣布過開發(fā) AR 硬件、軟件等產(chǎn)品的計劃。2015 年 2 月，蘋果獲得一個技術(shù)專利，主要用于讓智能手機(jī)連接 AR 和 VR 頭 盔。除了各種并購之外，蘋果也儲備了一些和 AR 有關(guān)的技術(shù)專利。該公司具備了先進(jìn)的手勢動作識別技術(shù)。 據(jù)悉，電影《星球大戰(zhàn)：原力覺醒》的特效團(tuán)隊曾經(jīng)使用了上述公司的技術(shù)，讓 外星人的臉部形象更加栩栩如生。該公司被收購之后，實體被注銷，人 員融入了蘋果的開發(fā)團(tuán)隊。2015 年 5 月，蘋果收購了一家名為 Metaio 的德國 AR 公司。蘋果種種跡象顯示，蘋果可能和微軟一樣瞄準(zhǔn)了 AR 領(lǐng)域，并非時下最熱的 VR。盡管存在比較多的挑戰(zhàn)，光場顯示技術(shù)仍舊是非常值得期待的一種成像方式。這套方案的優(yōu)勢是可以做到很 大的視場角，顯示更加符合人的真實感受。同樣，光場顯示也有不同的顯示方案，一種方案是采用多層的顯示器，如光場立 體鏡。這種不采用 屏幕來做載體的顯示方式，通過記錄并復(fù)現(xiàn)光場來完成虛擬物體的顯示。因此在目前技術(shù)依舊存在障礙的情況下，大家都會采取 一些折中的方案。對于透射式頭盔顯示器來說，單純的強(qiáng)調(diào)厚薄或者視場大小并沒有任何 實際意義。不難看出，兩種方案各有優(yōu)缺點(diǎn)，如何選擇最優(yōu)方案，目前來看，還應(yīng)基于實際 應(yīng)用場景來進(jìn)行判斷。其缺點(diǎn)是，在室外強(qiáng)光條件下顯示效果會受影響。與視頻透射式不同的是，光學(xué)透視式的“實” 來自于真實的光源，經(jīng)過透視光學(xué)系統(tǒng)直接進(jìn)入眼睛，計算機(jī)生成的“虛”則經(jīng) 過光學(xué)系統(tǒng)放大后反射進(jìn)入眼睛，最后兩部分信息匯聚到視網(wǎng)膜上從而形成虛實 融合的成像效果。另一方面， 一旦攝像機(jī)與用戶視點(diǎn)不能保持完全重合，用戶看到的視頻景象與真實景象將會 存在偏差，因此會造成在某些領(lǐng)域（特別是工業(yè)、軍事等領(lǐng)域）出現(xiàn)一些安全隱患。計算機(jī)通過場景理解和 分析將所要添加的信息和圖像信號疊加在攝像機(jī)的視頻信號上，將計算機(jī)生成的 虛擬場景與真實場景進(jìn)行融合，最后通過類似于浸沒式頭盔顯示器的顯示系統(tǒng)呈 現(xiàn)給用戶。 根據(jù)真實環(huán)境的表現(xiàn)形式劃分，主要有視頻透視式頭盔顯示器和光學(xué)透視式頭盔 顯示器兩種形式。SLAM 跟蹤技術(shù)為了彌補(bǔ)不同跟蹤技術(shù)的缺點(diǎn)，許多研究者采用硬件和視覺混合跟蹤的方法來取 長補(bǔ)短，以滿足增強(qiáng)現(xiàn)實系統(tǒng)高精度跟蹤定位的要求。但目前這類技術(shù)計算速度慢、數(shù)據(jù)量大、算法復(fù)雜度高，對于系統(tǒng)的要 求也較高。這類技術(shù)不需要預(yù) 存場景信息，而是在運(yùn)行階段完成對于場景的構(gòu)建以及跟蹤。這類方法的好處是速度較快、數(shù)據(jù)量小、系統(tǒng) 簡單，適用于一些特定的場景，但不適用于大范圍的場景。相比于上述基于硬件設(shè)備的跟蹤方法，計算機(jī)視覺跟蹤方法提 供了一種非接觸式的、精確的、低成本的解決方法，但是基于視覺的方法受限于 圖像本身，噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)變化等因素都會對跟蹤精度造成較大 的影響，因此更好地處理這些影響因素，研發(fā)魯棒性強(qiáng)的算法就成為下一步 AR 技術(shù)的研究重點(diǎn)。使用硬件設(shè)備構(gòu)成的跟蹤系 統(tǒng)大多是開環(huán)系統(tǒng)，跟蹤精確取決于硬件設(shè)備自身的性能，其算法的擴(kuò)展性要差 一些，且成本相對較高。常用的設(shè) 備包括機(jī)械式跟蹤器、電磁式跟蹤器、超聲波跟蹤器、慣性跟蹤器以及光學(xué)跟蹤 等。跟蹤定位技術(shù)跟蹤技術(shù)的方法可以分為基于硬件和基于視覺兩大類。另一方面，圖像本身還受到噪聲、尺度、旋轉(zhuǎn)、 光照、姿態(tài)等因素的影響。就現(xiàn)階段而言，識別檢測技術(shù)的難點(diǎn)之一是技術(shù)的碎片化。如檢測人臉后顯示年齡、性別等。這種方法檢測或者識別出的目標(biāo)不是某一個具體的個體，而是 一類對象，如汽車、人臉、植物等。在增強(qiáng)現(xiàn)實 領(lǐng)域，常見的檢測和識別任務(wù)有，人臉檢測、行人檢測、車輛檢測、手勢識別、 生物識別、情感識別、自然場景識別等。物體的檢測和識別技術(shù)物體檢測和識別物體檢測和識別的目的是發(fā)現(xiàn)并找到場景中的目標(biāo)，這是場景理解中的關(guān)鍵一環(huán)。 對現(xiàn)實場景的理解和重構(gòu)在增強(qiáng)現(xiàn)實系統(tǒng)中，首先要解決“是什么”的問題，也就是要理解、知道場景中 存在什么樣的對象和目標(biāo)。系統(tǒng)融合后的信息會實時地顯示在頭盔顯示器中，展現(xiàn)在人的視野中。其中虛擬場景生成單元負(fù)責(zé)虛擬場景的建模、管理、繪制和 其它外設(shè)的管理；透射式頭盔顯示器負(fù)責(zé)顯示虛擬和現(xiàn)實融合后的信號；頭部跟 蹤設(shè)備跟蹤用戶視線變化；交互設(shè)備用于實現(xiàn)感官信號及環(huán)境控制操作信號的輸 入輸出。SixthSense 設(shè)