【文章內(nèi)容簡(jiǎn)介】 到 3D 圖像。Magic Leap 便采用這種 更為實(shí)用的圖像制作方式。第四章：AR 市場(chǎng)潛力盡管過(guò)去一年里媒體開(kāi)始大肆報(bào)道 AR 技術(shù)，我們目前了解到的大部分 AR 解決 方案仍處于開(kāi)發(fā)之中。只有少數(shù)硬件解決方案得到了大規(guī)模生產(chǎn)并能夠買(mǎi)到。2011 年，全球 AR 營(yíng)收僅為 億美元，而且當(dāng)時(shí) AR 往往被人們視作一種營(yíng) 銷(xiāo)噱頭：一種還在摸索實(shí)用應(yīng)用的技術(shù)。很少有人認(rèn)識(shí)到 AR 的潛力，開(kāi)發(fā)相關(guān) 應(yīng)用大多也是用來(lái)快速打響名聲，或者這些應(yīng)用的價(jià)值僅限于添加視頻效果這樣 的博眼球之舉而已。然而最新預(yù)測(cè)指出，到 2017 年，AR 市場(chǎng)將增長(zhǎng)至 52 億美元，年增長(zhǎng)率竟逼近 100%。隨著大量資金注入 AR 項(xiàng)目及 AR 創(chuàng)業(yè)公司，尤其是隨著谷歌、佳能、高通、微軟等大公司的入場(chǎng)，我們已經(jīng)看到第一批消費(fèi)級(jí) AR 產(chǎn)品的涌現(xiàn)。隨著實(shí)際商業(yè)利益的出現(xiàn)， AR 將成為消費(fèi)、醫(yī)療、移動(dòng)、汽車(chē)以及制造市場(chǎng)中的“下 一件大事”。AR 比 VR 更具增長(zhǎng)潛力市場(chǎng)調(diào)研公司 DigiCapital 給出的一組數(shù)據(jù)很值得研究：到 2020 年，AR 的市 場(chǎng)規(guī)模將達(dá)到 1200 億美元，遠(yuǎn)高于 VR 的 300 億美元。VR 對(duì)于游戲與 3D 電影來(lái)說(shuō)是一項(xiàng)非常棒的技術(shù)，甚至可以說(shuō)這項(xiàng)技術(shù)可謂是 專(zhuān)門(mén)為此而設(shè)計(jì)的。但這項(xiàng)技術(shù)的體驗(yàn)主要是在客廳、辦公室或者座位上展開(kāi)的， 因?yàn)槿绻愦髦粋€(gè)完全封閉的頭戴式顯示器走在路上，隨時(shí)都可能撞到路邊的 東西。雖然 AR 技術(shù)應(yīng)用在游戲也非常有趣，但在需要真正沉浸式體驗(yàn)的時(shí)候，其所帶來(lái)的樂(lè)趣或許不如 VR 技術(shù)那么多，這就像是移動(dòng)游戲與主機(jī)游戲之間的差距。 但是，AR 技術(shù)在游戲玩家眼中的這個(gè)缺點(diǎn)，恰恰是讓它可以同智能手機(jī)一樣， 在數(shù)以?xún)|計(jì)用戶(hù)的現(xiàn)實(shí)生活中發(fā)揮重要作用的優(yōu)勢(shì)。人們可以戴著它四處活動(dòng)， 做任何事情。AR 的軟件與服務(wù)擁有可與如今的移動(dòng)市場(chǎng)相媲美的經(jīng)濟(jì)效應(yīng)，它們都可以利用 現(xiàn)有的其他產(chǎn)品的市場(chǎng)，并不斷擴(kuò)張它們。AR 龐大的用戶(hù)基礎(chǔ)將會(huì)成為電視電 影、廣告以及 Facebook 的用戶(hù)應(yīng)用程序甚至《部落沖突》等游戲的主要收入來(lái) 源。換句話說(shuō)，AR 技術(shù)有可能觸及到更多的人，因?yàn)樗菍?duì)人們?nèi)粘Ｉ畹臒o(wú)縫補(bǔ) 充，而不是像 VR 那樣在現(xiàn)實(shí)世界之外營(yíng)造出一個(gè)完全虛擬的世界?！对鰪?qiáng)現(xiàn)實(shí)：指向增強(qiáng)現(xiàn)實(shí)的一種新技術(shù)》一書(shū)的作者格里格基佩爾（Greg Kipper）在書(shū)中寫(xiě)到：“增強(qiáng)現(xiàn)實(shí)將具備更多的實(shí)際應(yīng)用價(jià)值，因?yàn)樵诂F(xiàn)實(shí)中， 與真實(shí)世界中的事物互動(dòng)的人更多一些?！痹谠鰪?qiáng)現(xiàn)實(shí)技術(shù)的幫助下，人們通過(guò)專(zhuān)用頭盔看見(jiàn)的三維全息圖像可以為真實(shí)世 界提供一種有益的補(bǔ)充。當(dāng)你走過(guò)一個(gè)雜貨店的走道，你也許會(huì)在眼前的虛擬屏 幕上看到制作意大利飯所需的食材和配料清單。又或者，當(dāng)你在閱讀一本有關(guān)天 文學(xué)的書(shū)籍時(shí)，你周?chē)赡軙?huì)出現(xiàn)一幅太陽(yáng)系的圖像。但是戴上虛擬現(xiàn)實(shí)頭盔之后，你與周遭世界的聯(lián)系就被人為隔斷了。你被投影到一個(gè)不同的世界中，就像恐龍沖過(guò)一片叢林，或者像站在一幢 100 層的摩天大 樓的樓頂上俯瞰著腳下的大街一樣。這跟主題樂(lè)園的游歷過(guò)程有些相似，就連虛 擬現(xiàn)實(shí)頭盔戴久了會(huì)讓你感到惡心或者頭暈也跟你在主題樂(lè)園中呆久了的感覺(jué) 很相似。Meta 是硅谷的一家小公司，員工人數(shù)大約為 100 人。按計(jì)劃它將在今年夏天交 付第二代 AR 頭盔，它的頭盔是作為開(kāi)發(fā)者工具套裝的一部分出售的，整個(gè)套裝 售價(jià) 949 美元，主要用來(lái)幫助開(kāi)發(fā)商為新頭盔設(shè)計(jì)出更多的三維、互動(dòng)應(yīng)用。Meta CEO 梅隆格里貝茨預(yù)計(jì)，有朝一日，人們?cè)僖膊挥靡贿呍诒孔镜逆I盤(pán)上 敲敲打打，一邊緊盯著顯示屏的屏幕，人們可以在漂浮在眼前的全息圖像之間隨 意切換和瀏覽，只需用手碰一碰就可以完成各種操作。當(dāng)然還有虛擬鍵盤(pán)，人們 可以利用它輸入數(shù)據(jù)。人們可以進(jìn)入他們的全息影像屏幕，提取出人的解剖圖，然后剔除骨骼進(jìn)行研究。 人們也可以通過(guò)透視去檢查自己打算購(gòu)買(mǎi)的鞋子的內(nèi)部做工。到那個(gè)時(shí)候，打電 話將會(huì)變成一種很奇怪的行為，因?yàn)樗腥硕伎梢栽谌⒂跋裰羞M(jìn)行對(duì)話。格里貝茨說(shuō)：“VR 很酷，但它只是通向增強(qiáng)現(xiàn)實(shí)的一塊墊腳石。我們將開(kāi)發(fā)出比 Mac 電腦好用一百倍且強(qiáng)大一百倍的產(chǎn)品?！钡谖逭拢篈R 面臨的挑戰(zhàn)對(duì)于 AR 而言，解決注冊(cè)任務(wù)是最核心的問(wèn)題。注冊(cè)對(duì)精度的要求極為嚴(yán)格：由 于 AR 應(yīng)以實(shí)時(shí)、六個(gè)自由度的形式將虛擬信息和現(xiàn)實(shí)信息相融合，即便是輕微 的注冊(cè)失準(zhǔn)都會(huì)造成組合視圖難以容忍的失真。因此，移動(dòng) AR 存在兩大難點(diǎn)： 注冊(cè)必須極為精準(zhǔn)，注冊(cè)對(duì)計(jì)算能力和內(nèi)存的利用必須極為高效。這個(gè)問(wèn)題是 AR 面向大眾部署所面臨的終極挑戰(zhàn)。我們斷言，目前大部分已知的 注冊(cè)任務(wù)解決方案其實(shí)并不適用于智能手機(jī)——盡管看上去能用。因此，所有的 AR 研究人員都應(yīng)該為智能手機(jī) AR 的大空間應(yīng)用問(wèn)題開(kāi)發(fā)專(zhuān)門(mén)的解決方案。智能手機(jī)是 AR 大眾市場(chǎng)最具前景的平臺(tái)。智能手機(jī)生態(tài)系統(tǒng)為面向大眾部署 AR 的純軟件解決方案提供了一切要素。然而不應(yīng)忽視的是，盡管技術(shù)和邏輯取 得了種種進(jìn)步，但是 AR 應(yīng)用在智能手機(jī)上的大規(guī)模部署仍然存在著下列重大障 礙：相機(jī)質(zhì)量與成像處理。智能手機(jī)通常配備的相機(jī)傳感器在弱光條件下表現(xiàn)糟 糕：圖像模糊，開(kāi)始出現(xiàn)明顯色差。相機(jī)傳感器硬件通常禁止低層級(jí)訪問(wèn)。API 只提供了相機(jī)傳感器的高層級(jí)訪問(wèn)，無(wú)法控制曝光、光圈及焦距。小型 CCD 傳 感器導(dǎo)致相機(jī)采樣噪點(diǎn)增加，進(jìn)而嚴(yán)重影響后續(xù) CV 算法的發(fā)揮。圖像獲取過(guò)程 中的質(zhì)量損失很難通過(guò)后期處理步驟補(bǔ)償。電量消耗。電池電量近年來(lái)并沒(méi)有顯著提升。相機(jī)傳感器在以高幀率持續(xù)運(yùn)行時(shí)耗電量很大，其主要原因是目前手機(jī)的設(shè)計(jì)用途仍然是拍照，而不是攝影。 另外，傳感器和網(wǎng)絡(luò)接口也是耗電大戶(hù)。運(yùn)行功能強(qiáng)大的 AR 應(yīng)用會(huì)讓電池迅速 耗干。因此，AR 應(yīng)用必須只能設(shè)計(jì)成供短時(shí)間使用，而不是一種“常開(kāi)”功能。網(wǎng)絡(luò)依賴(lài)性。遠(yuǎn)程訪問(wèn)大量數(shù)據(jù)受到幾個(gè)因素的影響。首先，網(wǎng)絡(luò)延遲會(huì)導(dǎo) 致令人不爽的延遲，拖累 AR 應(yīng)用的瞬時(shí)表現(xiàn)。其次，訪問(wèn)遠(yuǎn)程數(shù)據(jù)僅在開(kāi)了流 量套餐時(shí)才有可能做到，而流量套餐可能過(guò)于昂貴或者無(wú)法開(kāi)通。最后，某些地 區(qū)的網(wǎng)絡(luò)覆蓋可能不滿足條件。于是完全獨(dú)立的 AR 應(yīng)用成為了唯一的可行選擇， 這就意味著需要在設(shè)備上占用大量的存儲(chǔ)空間。可視化與交互的可能性。智能手機(jī)的外形因素在購(gòu)買(mǎi)決策中發(fā)揮著重要作用。 實(shí)際上，可接受最大設(shè)備的尺寸嚴(yán)格制約了顯示屏的大小。交互技術(shù)同樣存在著 類(lèi)似的限制。多點(diǎn)觸控界面或許是最為先進(jìn)的交互機(jī)制，但它在某些特定任務(wù)——如像素級(jí)的選取上表現(xiàn)糟糕。理論上講，針對(duì) AR 改進(jìn)未來(lái)智能手機(jī)需從哪些方面入手已是眾所周知。在實(shí)踐 中，AR 應(yīng)用的開(kāi)發(fā)者卻要看硬件廠商和服務(wù)供應(yīng)商的臉色，后者做出硬件發(fā)展 決策的依據(jù)是市場(chǎng)預(yù)測(cè)，而其中可能不含對(duì) AR 的需求。不過(guò)，硬件總體是朝著 正確的方向發(fā)展的，尤其在移動(dòng)游戲或移動(dòng)導(dǎo)航系統(tǒng)的驅(qū)動(dòng)下——而這兩者與 AR 在技術(shù)需求方面存在許多共通之處。此外，研究人員意識(shí)到目前相機(jī)控制方 面存在限制，更好的相機(jī) API 也會(huì)因此誕生，比如 Frankencamera 項(xiàng)目。盡管平板電腦作為一種流行移動(dòng)平臺(tái)也在不斷壯大，但它屬于放大版的智能手機(jī)平臺(tái)。由于尺寸放大，可視化與交互的限制有了些許放松，但這些設(shè)備的尺寸和 重量同時(shí)也制約著它們?cè)?AR 領(lǐng)域的應(yīng)用，原因是拿起來(lái)更加累人（比如說(shuō)，把 設(shè)備舉起來(lái)較長(zhǎng)時(shí)間可能需要兩只手，反過(guò)來(lái)制約了交互的可能性）。除此之外， 目前的平板電腦存在著與智能手機(jī)相同的問(wèn)題。對(duì)于不同的 AR 應(yīng)用而言，智能 手機(jī)和平板電腦可能前者更適合，也可能后者更適合。計(jì)算機(jī)視覺(jué)面臨的挑戰(zhàn)智能手機(jī)的一大優(yōu)勢(shì)在于，定位不必單單依賴(lài)于相機(jī)傳感器，也可以利用其它任 意可用的傳感器，如 GPS，指南針，加速度計(jì)和陀螺儀。盡管其它傳感器的使用 在核心 CV 社區(qū)中往往被視為“作弊”，但這些傳感器能夠?qū)﹂_(kāi)發(fā)實(shí)驗(yàn)室外快速、 健壯的定位功能做出重大貢獻(xiàn)。即便在結(jié)合了多種傳感器的幫助下，基于 CV 的 定位仍然非常困難，一系列原因列舉如下：紋理結(jié)構(gòu)。大多數(shù)方法依賴(lài)于興趣點(diǎn)外形上的自然特征，要求環(huán)境中各區(qū)域紋理 足夠清晰。興趣點(diǎn)的主要問(wèn)題在于，紋理的呈現(xiàn)形式至關(guān)重要。尤其在室內(nèi)場(chǎng)景 中，常常會(huì)有白墻出現(xiàn)，使得基于自然特征的定位方法很難發(fā)揮作用。光照和天氣條件。盡管自然特征描述器通常被設(shè)計(jì)為不受光照影響，但這一假設(shè) 只有在描述實(shí)際物理特征的觀測(cè)研究中成立。不幸的是，室外環(huán)境中大量以自然畫(huà)面呈現(xiàn)的特征與實(shí)際物理特征并不相關(guān)。場(chǎng)景中物體投射的陰影會(huì)造成斑點(diǎn)、邊角、線條的出現(xiàn)，還會(huì)隨著光照或天氣條件變化而動(dòng)態(tài)移動(dòng)。因此，存在著大 量的會(huì)對(duì)定位質(zhì)量產(chǎn)生嚴(yán)重影響的異常因素和不匹配因素，這與匹配算法的選擇 并無(wú)關(guān)系。數(shù)據(jù)庫(kù)規(guī)模大、易變化。對(duì)于室外環(huán)境而言，在定位之前必須采集大量數(shù)據(jù)并處 理生成初始模型。利用昂貴設(shè)備的實(shí)時(shí)方法能夠處理這一問(wèn)題：然而，無(wú)法訪問(wèn) 的區(qū)域仍然會(huì)造成最終模型中的孔洞（即未能構(gòu)建地圖的區(qū)域）。此外，得到的 模型僅代表某個(gè)時(shí)間點(diǎn)的靜態(tài)快照。環(huán)境中的任何變動(dòng)，如商店櫥窗的翻新，咖 啡店遮陽(yáng)傘的開(kāi)閉，停車(chē)場(chǎng)汽車(chē)的去留，都會(huì)讓數(shù)據(jù)采集生成的模型瞬間過(guò)時(shí)。 另一個(gè)重要方面是通信通道（可能是移動(dòng)網(wǎng)絡(luò)）中最終模型的分發(fā)方式。由于這 些模型通常體積頗大，整體還是拆分傳輸都會(huì)帶來(lái)技術(shù)難題。失準(zhǔn)及丟失的傳感信息。在室外定位中，GPS 和指南針提供了關(guān)于設(shè)備大致位置 和方向的極具價(jià)值的絕對(duì)信息。不幸的是，傳感器并不健壯：在不同的地點(diǎn)，傳 感信息的準(zhǔn)確度可能會(huì)有天壤之別。尤其是在狹窄的城市峽谷里，GPS 信息可能 會(huì)偏差 100 米，甚至?xí)豢捎?。?lèi)似的是，磁干擾會(huì)嚴(yán)重影響電子指南針的讀 數(shù)，而磁干擾在人造環(huán)境中是不可避免的。精準(zhǔn)定位是 AR 亟待解決的最為重要的任務(wù)。但正如上面所述，仍然存在著一些重大挑戰(zhàn)，仍需針對(duì)這些挑戰(zhàn)尋找真正切實(shí)有效的解決方案。近來(lái)平板電腦 AR的 SLAM 實(shí)施證明，如果上述條件（即紋理結(jié)構(gòu)清晰）達(dá)到，就能充分實(shí)現(xiàn)小規(guī) 模環(huán)境的定位注 3。然而，大規(guī)模環(huán)境的定位僅存在于概念證明研究中。相關(guān)問(wèn) 題似乎難以攻克，因此只能等待技術(shù)的緩慢進(jìn)步了。其他挑戰(zhàn)除了實(shí)現(xiàn)算法研究成果的精度和可擴(kuò)展性這樣的學(xué)術(shù)目標(biāo)外，還存在著一系列嚴(yán) 重影響 AR 體驗(yàn)實(shí)用性的實(shí)際問(wèn)題。這些因素僅與 AR 的實(shí)際應(yīng)用相關(guān)，因此在 科學(xué)文獻(xiàn)中討論較少。這或許會(huì)造成“這些問(wèn)題不難解決或者與 AR 的成功不相 關(guān)”的錯(cuò)誤認(rèn)識(shí)。下面列舉了一些與智能手機(jī)有關(guān)、同時(shí)也與 AR 一般用途有關(guān) 的問(wèn)題：實(shí)際的硬件發(fā)展與“AR 心愿清單”的矛盾：目前智能手機(jī)中相機(jī)及其它傳感器 的質(zhì)量不足以滿足 AR 的高要求。硬件進(jìn)步——如立體相機(jī)，CPU/GPU 的統(tǒng)一 隨機(jī)尋址，WiFi 三角定位——能夠讓 AR 應(yīng)用的開(kāi)發(fā)者極大受益。不幸的是， 在 AR 尚未氣候成熟時(shí)，期待手機(jī)會(huì)針對(duì) AR 優(yōu)化純屬幻想。硬件配置的任何變 動(dòng)會(huì)增加數(shù)百萬(wàn)美元的開(kāi)發(fā)成本，倘若之后無(wú)法滿足市場(chǎng)預(yù)期，搭上的錢(qián)還會(huì)更 多。目前，消費(fèi)者購(gòu)買(mǎi)手機(jī)主要是為了語(yǔ)音通訊，游戲和網(wǎng)頁(yè)瀏覽。這些市場(chǎng)將 會(huì)驅(qū)動(dòng)近期到中期的手機(jī)功能革新。我們必須說(shuō)服設(shè)備廠家 AR 是手機(jī)應(yīng)用的新 興市場(chǎng)，這樣才能為 AR 爭(zhēng)取到更先進(jìn)的硬件。幸運(yùn)的是，如今 AR 的關(guān)注度已 成規(guī)模，因此不久的將來(lái)，手機(jī)針對(duì) AR 的優(yōu)化或?qū)⒊蔀楝F(xiàn)實(shí)。動(dòng)態(tài)場(chǎng)景與 AR 真實(shí)感的矛盾。目前的 AR 應(yīng)用假設(shè)場(chǎng)景中的一切事物都是靜態(tài)的。然而，現(xiàn)實(shí)恰好與之相反。尤其在室外場(chǎng)景中，幾乎所有物體都在變化：行 人，光照和天氣條件，甚至是建筑物每隔幾年也會(huì)刷上新的顏色。定位會(huì)因此受 到嚴(yán)重影響。在動(dòng)態(tài)場(chǎng)景中，大多數(shù)算法的基本假設(shè)從一開(kāi)始就是錯(cuò)誤的。比如 說(shuō)你正在對(duì)一個(gè)建筑立面進(jìn)行增強(qiáng)，行人路過(guò)擋住了部分視野。由于算法缺少阻 擋推理，就算增強(qiáng)內(nèi)容的視覺(jué)效果再好，未來(lái)硬件平臺(tái)的性能再?gòu)?qiáng)大，也會(huì)出現(xiàn) 礙眼的錯(cuò)誤。動(dòng)態(tài)物體與虛擬內(nèi)容之間交互的缺失絕對(duì)會(huì)損害 AR 應(yīng)用的真實(shí)感。 因此，目前 CV 研究成果中物體動(dòng)態(tài)檢測(cè)與跟蹤技術(shù)的加入是未來(lái)實(shí)現(xiàn)高質(zhì)量 AR 的關(guān)鍵。內(nèi)容創(chuàng)作與注冊(cè)的矛盾：AR 之所以讓人興奮，很大程度上源于終端用戶(hù)參與內(nèi) 容創(chuàng)作的發(fā)展前景。個(gè)人內(nèi)容創(chuàng)作是促使用戶(hù)積極參與而非被動(dòng)觀察的關(guān)鍵所在。 然而，目前仍然沒(méi)有實(shí)現(xiàn)這一概念的基本機(jī)制。盡管手機(jī)的交互方法得到了極大 改進(jìn)，但在沒(méi)有精準(zhǔn)全局環(huán)境模型的條件下，如何使用 2D 界面方便、精準(zhǔn)地注 冊(cè) 6 自由度內(nèi)容，這個(gè)問(wèn)題仍未得到解答。就拿增強(qiáng)建筑物里面的一扇窗戶(hù)舉 例，目前的方法甚至都無(wú)法搞定簡(jiǎn)單的標(biāo)記任務(wù)。尚沒(méi)有在開(kāi)放空間內(nèi)輸入任意 3D 位置的機(jī)制，更別說(shuō)明確指出方向了。目前決定標(biāo)簽的做法通常利用的是用 戶(hù)（不精準(zhǔn)的）GPS 位置，而不是興趣物體本身。對(duì)于終端用戶(hù)創(chuàng)作真實(shí)、理想 的內(nèi)容而言，在用戶(hù)附近對(duì)任意位置進(jìn)行精準(zhǔn)注冊(cè)一定要簡(jiǎn)單而健壯——然而， 這又是一個(gè)超出 CV 基本范疇的研究難題。第六章：順應(yīng) AR 潮流近些年，AR 引起了市場(chǎng)營(yíng)銷(xiāo)人員的注意，因?yàn)樗赡芨淖兿M(fèi)者的購(gòu)物體驗(yàn)， 例如尋找新產(chǎn)品以及決定購(gòu)買(mǎi)哪個(gè)產(chǎn)品。AR 技術(shù)可以通過(guò) HoloLens 或谷歌眼 鏡或通過(guò)智能手機(jī)上的攝像頭來(lái)將虛擬的元素（例如信息和圖片）疊加在真實(shí)的 物理環(huán)境之上。但是，要發(fā)揮 AR 的潛力，公司應(yīng)該克制草率開(kāi)發(fā) AR 應(yīng)用程序的沖動(dòng)，而把注 意力放到深入理解消費(fèi)者與 AR 技術(shù)互動(dòng)的方式上來(lái)。設(shè)計(jì)和執(zhí)行有價(jià)值的 AR 應(yīng)用程序必須遵守以下幾點(diǎn)：深入理解消費(fèi)者如何使用 AR 技術(shù)；加強(qiáng)電腦專(zhuān)家、設(shè)計(jì)師和市場(chǎng)營(yíng)銷(xiāo)人員之間的合作；在消費(fèi)者現(xiàn)有購(gòu)物體驗(yàn)中整合 AR 應(yīng)用程序。AR 技術(shù)的獨(dú)特性首