【導讀】1．查找文獻，學習和掌握三維重建方法；2．完成三維重建的MATLAB編程，并對實驗數(shù)據(jù)進行相關(guān)分析；4．通過OpenGL和MATLAB聯(lián)合編程，完成三維重建；12月10日----12月31日查閱相關(guān)資料，熟悉題目要求，3月10日---5月15日通過實例編程實現(xiàn)基于OpenGL的三維重建。6月10日—6月25日撰寫畢業(yè)論文，準備答辯。[2]張廣軍.機器視覺[M].北京：科學出版社,2020.三維重建一直是計算機視覺的重要研究領(lǐng)域之一。究取得了巨大的進步，新技術(shù)新方法不斷涌現(xiàn)。造價低的優(yōu)點，是目前研究最多、應用最廣泛的技術(shù)之一。之一，其中主要包括兩個子問題:特征提取和特征匹配。線特征主要是指圖像邊緣。上求二階方向?qū)?shù)的零交叉的方法。Mary-Hildretch提出的LOG算子邊緣檢測法是。Canny最佳邊緣檢測算子。2)特征匹配以灰度相似性為基礎(chǔ)，輔以極線幾何約束及其它約束進行搜索。用于實際三維物體形狀匹配的三維景物分析系統(tǒng)，系統(tǒng)的輸入為深度圖像。維簡圖到物體三維表面描述以至實現(xiàn)物體識別的實時處理方法。

　　

【正文】 在介紹三維重建的背景的前提下，介紹三維重建應用和發(fā)展，分析它們的優(yōu)點和不足，以及三維重建的未來發(fā)展趨勢，總結(jié)本文研究三維重建的重要意義和研究目的。 第二章 介紹三維重建的基礎(chǔ)理論知識，視圖是如何形成的以如何進行二維的視圖投影；關(guān)于三維形體是如何構(gòu)成的，三維重建的基本原理和存在的問題，以及計算機實現(xiàn)三維重建的方法。 第三章 分別利用 MatLab,OpenGL ,以及 MatLab 和 OpenGL 的混合編程來實現(xiàn)從二維圖形到三維圖形的轉(zhuǎn)換其中，其中重點通過對 MatLab 的編程及程序講解，使人明白具體的二維到三維的轉(zhuǎn)化過程。最后呈現(xiàn)轉(zhuǎn)化結(jié)果以及一些自我見解。 其中對于 OpenGL，由于之前的不熟悉，將會對其作出概念性的解說，而聯(lián)合編程方面，則只進行 MatLab 與 OpenGL 的接口介紹。 6 第四章 總結(jié)和展望。總結(jié)本文的研究成果和創(chuàng)新點以及不足之處，對未來的三維重建的研究進行展望。 本章總結(jié) 在本章中通過對三維重建的起源、發(fā)展、應用范圍，國內(nèi)外研究現(xiàn)狀以及存在問 題的分析，清晰勾勒出三維重建的實現(xiàn)意義與研究價值，說明該課題的選擇方向。 7 第二章雙目立體視覺與三維重建實現(xiàn)原理 立體視覺三維重建的基本原理是通過從兩個視點去觀察同一景物，以獲取同一物體在不同視角下的圖像，通過使用三角測量原理來計算獲取圖像像素間的位置偏差 (即視差 )進一步通過計算測量來獲得實物的三維信息，這一過程與我們視覺的立體感知過程相似。 雙目立體視覺平臺的構(gòu)建原理 理想的平行放置的雙目視覺模型是最簡單的雙目視覺模型。當兩臺照相機完完全全相同時，沿 x 軸相距為 b 的位置上并列放置，并且具有互相平行的光軸，并且 x 軸相互重合。 xy 平面與圖像平面平行，設(shè)攝像機光軸在 z 軸方向上，如圖 1 所示。 圖 1 平行雙目立體視覺 運用視差測距量原理可以獲取平行雙目立體視覺的三維信息。原理如下圖： 8 圖 2 視差測試原理 由三角形相似原理可推導出。 設(shè) 分別為 與 ， b 為 與 之間的距離， f 為相機焦距。設(shè) 、 點 P 在左右兩個相機圖像的平面上的對應投影點， d 為 P 到 間連線的距離，過點 , 分別向圖像的平面作垂足分別為點 垂線，過 P 向圖像的平面作垂足為點 B 的垂線，令 | B|=a ，| |= ， | |= ，則由三角形相似原理可得： 通過上式變化可得： 點 P 在左右兩幅圖像平面上形成的視差為 ，用其來表示點 P 在左、右兩幅圖像中成像點的位置之間存在的差異?？梢钥闯錾疃?d 僅與兩相機之間 9 的距離 b、 有關(guān)。由于 b 和 f 是已知的，因此視差 就是要求得的點 P 的深度關(guān)鍵。實際上因為攝像機光軸無法看到，所以根本無法得到理想情況 —— 圖 1。而我們通常采都是使雙目視覺模型的任意放置，如圖 3。 圖 3 立體視覺三維重建基本原理圖 P 為該空間內(nèi)任意存在的一點，點 P 在照相機 上的成像點分別為點p p2，照相機 的光心分別是點 。如果只用單個照相機去觀察點 P，我們是根本無法獲得點 P 的深度的，由于點 p1 可以是 連線上的任意一點 P`的圖像點。但是如果點 P 被點 兩個照相機同時觀察時，點 P 既在直線 上又在直線 P 上，此時點 P 是直線 和 P 的交點，它的三維位置是惟一確定的。因此在這種模型 下找出 的獲取三維信息關(guān)鍵。 1 三維重建方法及原理 空間點的重建 以點為的三維重建之基，既是也是最簡單的，最基本的。我們可以通過立 1 10 體匹配的工作，使空間內(nèi)任意一點 P 在兩個照相機 上的圖像點對被分別從兩個圖像中檢測出 2來，照相機 也己經(jīng)被標定完成，設(shè)它們的投影矩陣。于是可得： = = 其中，點 在各自圖像中的圖像齊次坐標分別為 ( ， 1)與( ， 1)。 P 點在三維坐標系下的齊次坐標為 (X, Y, Z,1)， Mk 的第 i 行與第j 列的元素分別為 (k=1,2。i=1… ,3。j=1… 4)。在上式中，通過消去 或 ，便可以得到關(guān)于 X、 Y、 Z 三個未知數(shù)的四個線性方程 : （ 1 式） （ 2 式） （ 3 式） （ 4 式） 由解析幾何可求的，在三維空間中的平面方程仍然為線性方程，當兩個平面方程聯(lián)立時，便形成空間直線的方程，前兩個表達式的幾何意義是過（或 )兩點的直線。 2 11 因為空間點 P 是 與 的交點，它必然會同時滿足式 1 與 2。所以，我們可以將式 1 與 2 聯(lián)立去求出 P 點的坐標 (X,Y,Z)?？墒聦嵣?，式 1 與 2 為包含 (X,Y,Z)三個變量的四個線性方程組，我們只需要任意取出其中三個式子 就可以解出 X, Y, Z 的值。即，式 1 與試 2 中，只有三個相互獨立的方程，這是由于我們已經(jīng)假設(shè)點 p1 與點 p2 為空間同一點 P 的對應點，所以已經(jīng)提前假設(shè)了直線 ，與直線 一定會相交，或者說，這四個方程必定會有解，它們解是唯一確定的。但是在實際應用過程中，我們同樣可以用最小二乘法來求取 X , Y， Z。 綜上所述，可以實現(xiàn)從二維到三維的重建過程。 三維重建的計算機編程思路 立體視覺是通過對多幅的圖像來分析處理從而從中提取出實物的三維圖像相關(guān)的幾何信息，恢復三維實物 可視表面的完整信息是立體視覺的最終目標。但特征匹配和三維坐標的計算卻只能得到一些離散特征點的相關(guān)視差，我們需要根據(jù)所得到的離散點處的表面數(shù)據(jù)信息來對三維圖形的表面進行重建，并恢復三維信息。 從理論上來說，可能有無窮多個表面通過已知的分散點。因此，我們需要去重建一個與圖像所得信息相一致的最佳的擬合表面。 Grimson 指出，符合上述要求的一個最佳的擬合表面是可以存在并找到的的．并且我們所得的這個最佳擬合表面可以滿足下列的二次變分函數(shù)的。 θ S = 其中 S 是任意過上述分散點一個 表面。 求取上式的最小值問題可以看成一個求解優(yōu)化問題，而且我們還已知了分散的相關(guān)數(shù)據(jù)．因而我們可以通過使用數(shù)學規(guī)劃法的方法來進行表面的優(yōu)化。 數(shù)學規(guī)劃法：通過使用迭代的求解過程從而尋找目標面上的那些相關(guān)的最低點。 過程如下： 12 ① 在目標面上任取一個點作為迭代的起始點。 ② 通過對目標面上該檢測點的一個局部的鄰域進行檢測，從而找到該鄰域中的那些最低點。 ③ 選取一個最低點來作為一個新的迭代起始點。 ④ 跳至第一條，迭代進行，直到我們最終要求被滿足為止。 我們將表面分割成一個 mXm 的網(wǎng)格。把上式轉(zhuǎn)化為一個與之相等價 等價的離散級數(shù)形式，即我們可以可得到一個目標函數(shù)的級數(shù)表達式，如下所示： 物體的表面重建就轉(zhuǎn)化為求這個目標函數(shù)的最小值。 該目標函數(shù)所具有的級數(shù)約束條件如下 θ = 其中Φ ={(i， j)為網(wǎng)格點 (i， j)上的一個深度已經(jīng)確定的點集 }，其對目標函數(shù)產(chǎn)生線性約束。因此我們可以將目標函數(shù)的求最小值問題轉(zhuǎn)化為梯度投影法問題。我們通過上邊的梯度投影法，可以在目標面上來計算當前點的一組梯度向量，然后我們可以沿該梯度向量的副值的方向，把當前點向前移動直至所求得的最低點。并且我們根據(jù)最終確定的目標函數(shù)來進行差分運 算和雙重求和運算。其中我們可以通過模板來對梯度向量的那些分量進行最后的卷積運算。 而在計算機上，顯然很容易進行上述卷積運算。 本章總結(jié) 在本章中重點介紹了雙目立體視覺的實現(xiàn)原理，與三維重建的實現(xiàn)方法，其中雙目立體視覺通過圖文并述的方式，闡述了雙目立體視覺的概念與其在三維重建中充當?shù)慕巧６S重建則重點介紹了點的三維重建以及三維重建在計算機上實現(xiàn)的基本方法與原理，為后續(xù)編程打好了基礎(chǔ)。 13 第三章雙目立體視覺與三維重建三種編程方法及實現(xiàn)結(jié)果 基于 MatLab 對三維重建的實現(xiàn) 該部分以具體程序為 引導，具體介紹是哪位重建在電腦上的實現(xiàn)過程以及中間應用的參數(shù)及實驗結(jié)果。 具體程序及演示過程如下： 初始的兩張圖片 糾正 X 和 Y 位移 兩個圖像在 X 和 Y directions 存在巨大差異。首先， X 和 Y 方向排隊兩個圖像的重心將得到糾正。 方法：首先面具從背景圖像，然后找到重心的形象。最后中心基于其質(zhì)心的形象 14 核心可移動圖像二進制提取圖 由 XY 數(shù)據(jù)轉(zhuǎn)換坐標的 Theta半徑坐標 本節(jié)變換的圖像，每個像素，在給定角度的重心輻射成為一個新的形象的垂直線。這些圖像，然后可以 39?；?39。左跨右彼 此找到圖像之間的相關(guān)性最高。 15 查找使用頻域數(shù)學的角位移 快速傅利葉變換有一些很好的性質(zhì)，使相關(guān)性最高的角度進行快速和干凈。可以用來作為一個功能的角度和半徑的三個相關(guān)的三維積找出角位移產(chǎn)生的兩個圖像之間的相關(guān)性最高。 通過圖形，可以看出，大部分的半徑已達到應采用角位移 1 consenus 半徑較小的角度，但往往不同。因為較小的半徑有更少的像素，他們的匹配差異就更大了，所以必須給予重量輕，最終決定以適當?shù)慕嵌绒D(zhuǎn)變。 16 查找峰值的相關(guān)性 糾正 THETA 位移 17 角度決定后，在上一節(jié)一個 IMROTATE 命令 ，這將需要旋轉(zhuǎn)圖像作為輸入?yún)?shù)。 . 最終生成三維圖形如下圖： 基于 OpenGL 對三維重建的實現(xiàn) OpenGL 的特點及功能 OpenGL 軟件是一個專門用于跨平臺、跨編程語言操作的圖形程序接口，該接口具有可伸縮、可靠性高、易用、靈活、可擴展等特點。如果用 OpenGL 進行編程，就必須要使用到最底層制的窗口系統(tǒng)，并且不論對于何種窗口系統(tǒng)和操作系統(tǒng)，均可以使用。與硬件的毫無關(guān)聯(lián)性就是 OpenGL 最大的特點，該特點使得我們可以在不同的硬件編程平臺之間 OpenGL 的用程序均可以相互進行移植 。 最后，還能通過 Visual C++與 OpenGL 之間的緊密結(jié)合，從而實現(xiàn)較為復雜的圖形學相關(guān)算法，并且還可以保證這種算法的正確性和可靠性。 OpenGL 有以下幾個主要功能： ① 通過繪制圖元最終實現(xiàn)物體模型的建立：因為由點、線、多邊形等基本圖元構(gòu)成了所有可顯示的實體，因此，若要改變和繪制不同的圖元，OpenGL 可以通過改變 GL_POINTTS、 GL_LINES 與 GL_POLYGON 等參數(shù)來實現(xiàn)的。 OpenGL 可以通過其自帶的一系列的相關(guān)圖元繪制函數(shù)，來完成對復雜的曲面、曲線以及那些三維實體的立體繪制 。 ② 相關(guān)矩陣的二維到三維的變換：由于用簡單的圖元經(jīng)過一系列的變換可以生成任何形式的圖形。所以 OpenGL 除了可以提供旋轉(zhuǎn)、平移、 18 鏡像和縮放等四種基本的圖形或圖像間的變換之外，還可以支持透視投影與平行投影兩種基本的變換投影方式。我們就通過這樣的運算，來大大減小算法的復雜度，最終大大提高三維圖形的生成速率與代碼的運行速率。 ③ 對生成圖形顏色管理： OpenGL 除了提供了顏色索引和 RGBA 兩種不同的顏色生成模式，并且還可以在條件不足的情況下同時兼顧在硬件等，從而顯示豐富的色彩與友好的界面效果。 ④ 實物紋理的映射：由于 通過繪制基本圖元 我們就可以用 OpenGL 來實現(xiàn)物體的建模，因此，軟件規(guī)定有效的色彩渲染只有基本圖元的才可以獲得，其它通過插值的方法來顯示物體的外表顏色與位置并不夠真實，通過圖像進行貼圖來實現(xiàn)紋理影身將的效果，使生成物體看起來更加的生動逼真。 ⑤ 線段的反走樣：在計算機中我們是通過用一系列的類似正方形的小像素模型來無限逼近的模擬合成線段，當我們對其無限的放大之后，我們會發(fā)現(xiàn)這些線段是呈現(xiàn)出鋸齒的形狀，我們可以通過計算線段對每個像素部分的覆蓋率來最終消除這種不可避免異常走樣問題。 ⑥ 具有雙緩存動畫： OpenGL 可以在前臺進行顯示當前幀效果的同時，在后臺的緩存中完成后續(xù)幀的計算問題，保證動畫播放效果連續(xù)、流暢并且穩(wěn)定。 ⑦ 圖像產(chǎn)生的特效問題：為了是三維場景中的真實感增強， OpenGL 為我們提供了霧化與融合等圖像顯示相關(guān)的特效，用來增強圖形的最終顯示效果。 此外，我們利用 OpenGL 還可以實現(xiàn)對深度的暗示、對運動圖像的模糊處理等一系列特殊的處理效果，從而最終對三維圖形完成消隱算法的應用。 下的 OpenGL 編程 由于簡便易用、跨平臺性且高效等一系列特點在 OpenGL 中的運用，目前其 已經(jīng)被當做圖形繪制的中三維真實感實現(xiàn)的重要標準之一。在 GDI 的通用設(shè)備上和 Windows 環(huán)境中均可調(diào)用相關(guān)的函數(shù)來完成圖形圖像的制作， 19 OpenGL 在三維圖像的繪制過程