【正文】 室內(nèi)布置的獨(dú)巨匠心 ，非但是計算機(jī)所難以模擬，就算可以幾何再現(xiàn)，也是一項宏大的“工程”。 基于幾何的 VR 與基于圖象的 VR 目前虛擬現(xiàn)實(shí)應(yīng)用方面存在的問題是：質(zhì)量的可接受性。在論文后面討論 的 IBMR 建模和繪制方法中都將用到計算機(jī)視覺中的理論和方法。九十年代中后期國際上躍然興起了一股新的研究熱潮 —— 基于圖象的建模與繪制技術(shù)（ ImageBased Modeling and Rendering—— IBMR），它企圖從根本上打破傳統(tǒng)繪制模式的禁錮，這無疑將是圖形學(xué)史上第一章 引 言 3 的一次飛躍。目前最流行的是頭盔顯示器 HMD（ HeadMounted Display）。 作為虛擬現(xiàn)實(shí)系統(tǒng)的組成，包括視覺顯示設(shè)備、跟蹤系統(tǒng)、輸入設(shè)備、語音系統(tǒng)、觸覺反饋裝置、圖形與計算硬件、軟件環(huán)境與軟件工具等。當(dāng)然，目前的技術(shù)水平還不能使人們在操作 VR 設(shè)備時象生活在真實(shí)世界中那樣自然、方便，但這并不能阻礙 VR 的發(fā)展與應(yīng)用。相反， 正是 VR 技術(shù)的應(yīng)用使人們能夠仿真模擬各種復(fù)雜、危險、代價高的實(shí)驗(yàn)情況，從而節(jié)省了大量的財力、物力和人力，并保證了人的生命安全。因此虛擬現(xiàn)實(shí)的研究涉及到計算機(jī)科學(xué)、認(rèn)知科學(xué)、工程學(xué)、神經(jīng)生理學(xué)、心理學(xué)、聲學(xué)以及力學(xué)等許多領(lǐng)域的關(guān)鍵技術(shù)。這也相應(yīng)地要求繪制系統(tǒng)能同時生成一對（左、右眼）立體視圖。本論文將主要涉及 IBMR 的討論，在下一節(jié)里還將對這兩種模式作詳細(xì)的比較和分析。 另外， VR 的出現(xiàn)還引入了很多新的輸入設(shè)備，如數(shù)據(jù)手套、空間球、各種傳感器等，需要研究新的交互技術(shù)。即系統(tǒng)所生成的圖象復(fù)雜度能否滿足對真實(shí)世界進(jìn)行模擬的要求？如果從建模和繪制角度來劃分， VR系統(tǒng)可以總的分為基于幾何的 VR 和基于圖象的 VR。 ? 繪制的速度：主要指一幅圖象合成所需要的時間。傳統(tǒng)的繪制方法無論從理論上還是方法上都無法滿足 VR 系統(tǒng)的要求，因此限制了 VR 的應(yīng)用發(fā)展。 圖形學(xué)中利用照片 /圖象由來已久， 典型的例子就是紋理映射技術(shù)（ Texture mapping）。與基于幾何的建模和繪制模式相比， IBMR 有以下突出的優(yōu)點(diǎn)： ? 建模容易：不需耗費(fèi)大量的精力和技巧，因?yàn)榕臄z照片是比較容易的。相反， IBMR 方法只需要離散的相片采樣，繪制時也只要對與當(dāng)前視點(diǎn)相鄰的圖象進(jìn)行處理。“走樣”是由于連續(xù)信號的離散化、采樣設(shè)備的精度和質(zhì)量、噪聲等多種因素的影響而產(chǎn)生的；IBMR 方法不可避免地要對圖象進(jìn)行多重采樣，由此產(chǎn)生的累積誤差使走樣問題更為嚴(yán)重。 綜上所述，基于幾何方法的最大特點(diǎn)是數(shù)據(jù)表示完整和精確，具有系統(tǒng)的理論體系。圖象處理是對圖象本身的操作，包括去噪、平滑、增強(qiáng)等。 圖 IBMR 與計算機(jī)圖形學(xué)和視覺的關(guān)系 事實(shí)上，正是視覺技術(shù)的研究成果為 IBMR 的實(shí)現(xiàn)提供了理論依據(jù)；反過來，計算機(jī)圖形學(xué) 計算機(jī)視覺 圖象 幾何 圖象 IBMR ：方法 ：狀態(tài) 浙江大學(xué)博士論文 8 IBMR 又使計算機(jī)視覺走出了實(shí)驗(yàn)室，進(jìn)入實(shí)用領(lǐng)域。場景中的元素首先被分成小平面面片；這些面片接著從幾何基元所在的標(biāo)準(zhǔn)模型坐標(biāo)系變換到理想的場景位置；然后根據(jù)光源和視點(diǎn)決定每個面片的顏色；如果面片的某部分落在觀察的視域范圍之內(nèi)，則將面片相應(yīng)頂點(diǎn)的三維坐標(biāo)投影到視平面上；最后的圖象是通過在整數(shù)網(wǎng)格上取樣面片的內(nèi)部點(diǎn)而得到的。第四章將會詳細(xì)介紹繪制流程里每一環(huán)節(jié)的具體實(shí)現(xiàn)。 IBMR 的基本方法 基于圖象技術(shù)的最早嘗試要算電影映象系統(tǒng) (moviemap system) [Lippman80]，它把幾千幅圖象存儲在可交互的視頻光盤上，這些圖象可以根據(jù)視點(diǎn)的變換隨機(jī)地顯示，但是 moviemap 不能合成新的圖象。 基于立體視覺的方法 圖 基于立體和變形的視圖合成 基于立體視覺的視圖合成方 法主要利用立體視覺 (stereo vision)技術(shù)從已知的參考圖象中合成相對于新視點(diǎn)的理想圖象。他們利用了計算機(jī)視覺中的許多新成果，例如用一特殊的投影幾何結(jié)構(gòu) —— 極幾何 (epipolar geometory)來約束一幅參考圖象的重投影；用基本矩陣(fundamental matrix)來描述兩幅參考圖象間對應(yīng)的 幾何關(guān)系，等等。這些方法利用視覺技術(shù)（如 stereo from motion）從很多參考圖象對中抽取立體信息，并恢復(fù)出 3D 場景的幾何結(jié)構(gòu)。與其不同 ，基于視圖插值 (view interpolation, 也叫圖象插值 )的方法要求新視點(diǎn)位于兩參考圖象視點(diǎn)所決定的直線 (稱基線， baseline)上，于是新視圖可由參考圖線性插值產(chǎn)生。另外，他們還討論了一種簡單的解決可見性問題的方法，但該方法假設(shè)所有參考視點(diǎn)都朝著相同的目標(biāo)，而且合成圖的視點(diǎn)位置被限制在視角 90 度的變化范圍內(nèi)。 圖象拼合和分層的方法 將同一場景的多張有重疊的圖象組合成一幅較大圖象的處理叫做拼合第一章 引 言 13 (mosaic)。為解決這個問題，要么施加額外的約束，要么利用更多參考圖象來增加輸入變量。Adelson 介紹了怎樣用運(yùn)動分割方法 [Wang93]來計算視頻系列的分層表示[Adelson95]。因此，可以說全視函數(shù)描述了觀察點(diǎn)（而非物體或光源）接收到的所有可見光輻射的能量。另一方面，同時考慮所有七個參數(shù)比較困難，故目前所 有的方都通過增加約束來簡化全視函數(shù)。并且如前所述，該方法也利用立體視覺技術(shù)來解決對應(yīng)問題，并通過插值合成新的柱面全景圖。 Wong, ，使它能夠考慮動態(tài)的、變化光源的場景表示 [Wong97]。這主要出于以下幾方面 考慮： 首先，基于圖象的方法自始至終都在對圖象進(jìn)行操作，而圖象本身可看作是一個連續(xù) /離散的二維信號，因此啟發(fā)我們?nèi)ソ梃b信號處理的成果。 對于上面所提出的基于小波的建模和繪制機(jī)制的詳細(xì)討論和理論分析我們將在第二章和以后的章節(jié)中具體闡述。該方法用于圖象整合算法 大大地降低了數(shù)據(jù)和計算的復(fù)雜度，用于壓縮可獲得不同細(xì)節(jié)的控制。接下來的一章里，我們將闡述基于小波的 IBMR 機(jī)制產(chǎn)生的理論依據(jù)，包括小波的概念，基本的小波理論和特點(diǎn)，小波在圖形學(xué)中的成功應(yīng)用等。 第四章介紹基于小波的視圖變形方法。該算法利用立體視覺中的極約束和基本矩陣關(guān)系，實(shí)現(xiàn)了基于小波的視圖變形算法。 論文的貢獻(xiàn)主要體現(xiàn)在以下幾個方面： 第一章 引 言 17 ? 對 IBMR方法進(jìn)行了綜述，分析了 IBMR方法與基于幾何方 法的各自特點(diǎn)，比較了已有的 IBMR 方法；對小波的基本理論、特點(diǎn)和它在圖形學(xué)中的應(yīng)用進(jìn)行了綜述。但如果把圖象信號變換到頻率空間，這些特征便變得一目了然。作者也只給出擬合場景的例子。 QuickTime VR提供方便的著作工具和環(huán)境瀏覽工具，但是它只能通過熱點(diǎn) (Hot spots)在不同的環(huán)境映照之間切換。例如考慮視點(diǎn)處 360176。 Adelson 和 Bergen 將全視函數(shù)定義在一個七維的參數(shù)空間上： ),( tVVVP le n o p t i