【文章內(nèi)容簡(jiǎn)介】 ............13 第4章 總結(jié)與展望第一章 緒論 “計(jì)算機(jī)視覺領(lǐng)域的最突出特點(diǎn)是其多樣性和不完善性。這一領(lǐng)域的先驅(qū)可追溯到更早的時(shí)候，但是直到20世紀(jì)70年代后期，當(dāng)計(jì)算機(jī)的性能提高到足以處理諸如圖像這樣的大規(guī)模數(shù)據(jù)時(shí)，計(jì)算機(jī)視覺才得到了正式的關(guān)注和發(fā)展。然而這些發(fā)展往往起源于其他不同領(lǐng)域的需要，因而何謂“計(jì)算機(jī)視覺問題”始終沒有得到正式定義，很自然地，“計(jì)算機(jī)視覺問題”應(yīng)當(dāng)被如何解決也沒有成型的公式”。 計(jì)算機(jī)視覺研究主要有以下幾個(gè)領(lǐng)域的研究方向相互滲透：人工智能、物理（主要是可見光與紅外的成像）、神經(jīng)生物學(xué)。 除了上面提到的領(lǐng)域，很多研究課題同樣可被當(dāng)作純粹的數(shù)學(xué)問題。例如，計(jì)算機(jī)視覺中的很多問題，其理論基礎(chǔ)便是統(tǒng)計(jì)學(xué)，最優(yōu)化理論以及幾何學(xué)。如何使既有方法通過各種軟硬件實(shí)現(xiàn)，或說如何對(duì)這些方法加以修改，而使之獲得合理的執(zhí)行速度而又不損失足夠精度，是現(xiàn)今電腦視覺領(lǐng)域的主要課題。 當(dāng)前，隨著計(jì)算機(jī)科學(xué)、信號(hào)處理、以及人工智能研究的更一步深入，計(jì)算機(jī)視覺技術(shù)越來越多的得到人們的重視與研究，此外計(jì)算機(jī)視覺的應(yīng)用也更加的廣泛，設(shè)計(jì)到軍事、醫(yī)療等方方面面。 如今對(duì)于計(jì)算機(jī)雙目立體視覺的研究比較熱，也取得了很多進(jìn)展，本文著重對(duì)雙目立體視覺中的算法進(jìn)行高論分析。近年來計(jì)算機(jī)視覺研究的重點(diǎn)與熱點(diǎn)之一是雙目立體視覺。它通過仿生學(xué)的原理模擬人類雙眼成像的機(jī)制原理，利用兩個(gè)攝像機(jī)在不同角度拍的攝同一景物或者物體，通過一個(gè)參考空間來計(jì)算兩幅拍攝圖像中的視差，進(jìn)而獲得對(duì)應(yīng)點(diǎn)的三維坐標(biāo)值信息。 為了便于研究，完整的雙目立體視覺通常會(huì)被按照不同的步驟按照既定的流程來進(jìn)行相關(guān)的研究，它主要流程是首先是左右圖像信息獲取，然后根據(jù)圖像信息進(jìn)行相關(guān)的預(yù)處理方便后續(xù)進(jìn)行分析與研究，接著對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行攝像機(jī)標(biāo)定的過程，隨后就是最重要也是最復(fù)雜的立體匹配過程，最后完成三維重建，其中立體匹配技術(shù)是立體視覺中的重點(diǎn)環(huán)節(jié)。： 雙目立體視覺的處理流程 由于本文主要研究立體匹配的相關(guān)算法，因此不過多對(duì)：圖像的預(yù)處理、相機(jī)標(biāo)定以及三維重建等細(xì)節(jié)進(jìn)行相關(guān)的研究討論。立體匹配（stereo matching）：立體匹配作為立體視覺研究的重點(diǎn)，同時(shí)問題復(fù)雜多樣，它主要是針對(duì)多幅圖像完成在同一副圖像的映射關(guān)系，這種映射關(guān)系通常是特種提取之間的復(fù)雜關(guān)系，從而得到圖像的視差圖像。因?yàn)楝F(xiàn)實(shí)中的大多圖像信息都是三維的，然而攝像機(jī)只能將三維的圖像信息投射到二維的空間，這就使得三維空間中復(fù)雜的信息都只能以單一的像素表現(xiàn)在二維圖像中。因此要完成正確、效率比較高的無歧義匹配難度相當(dāng)?shù)拇?。所以就目前立體匹配研究的方向來看，無論哪一種立體匹配的算法，其步驟和內(nèi)容都主要分為三個(gè)方面，首先是選取恰當(dāng)?shù)钠ヅ涮胤N方法，這一點(diǎn)尤為重要。其二是找打這些特征的本質(zhì)屬性加以研究與分析，最后就是建立穩(wěn)定且高效率的匹配方法?，F(xiàn)如今我們看到的主流的算法都是介于這三個(gè)不走展開的，基于這種方法世界各地也提出了很多各具特色的算法匹配，但是由于立體匹配本身復(fù)雜多樣性，同時(shí)涉及的問題復(fù)雜繁多，所以至今未有一整套成熟通用的算法去解決問題。 本文主要針對(duì)計(jì)算機(jī)視覺中的雙目立體視覺相關(guān)算法的研究與實(shí)現(xiàn)，并且對(duì)立體匹配算法進(jìn)行了詳細(xì)的討論，重點(diǎn)研究了基于動(dòng)態(tài)規(guī)劃理論的立體匹配算法。全文安排如下：第一章，主要介紹現(xiàn)代計(jì)算機(jī)視覺發(fā)展的概況以及雙目立體視覺匹配的一些概念。第二章，主要概述如今常用的一些立體匹配的算法。第三章，重點(diǎn)分析傳統(tǒng)動(dòng)態(tài)規(guī)劃匹配算法的不足，并根據(jù)不足提出改進(jìn)的匹配算法即基于動(dòng)態(tài)規(guī)劃正交立體匹配算法。第四章對(duì)全文進(jìn)行總結(jié)與展望，并提出有待解決的問題。第二章 立體匹配的常用算法Scharstein等提出立體匹配算法可以大致分為四個(gè)步驟：第一步是初始代價(jià)匹配計(jì)算；第二步是對(duì)初始匹配代價(jià)的能量聚合值計(jì)算；第三步是視差的計(jì)算與優(yōu)化；最后則是圖像校正。上述步驟的選取與匹配選用的方法有關(guān)，對(duì)于局部的固定窗口匹配主要是前三步驟即首先計(jì)算初始匹配代價(jià)，然后根據(jù)初始匹配代價(jià)選取適當(dāng)?shù)膲K進(jìn)行最小代價(jià)聚合值的篩選，選取最小代價(jià)聚合值下的視差值作為當(dāng)前像素的視差值。而自適應(yīng)窗口塊匹配算法則將前兩部相結(jié)合，后續(xù)步驟相同。局部算法具有計(jì)算負(fù)責(zé)度低、算法效率高等特點(diǎn)，它最突出的特點(diǎn)是對(duì)于初始匹配代價(jià)計(jì)算和對(duì)匹配代價(jià)聚合值的計(jì)算，這兩個(gè)步驟尤為重要，方法是首先確定視差的搜索范圍，每個(gè)視差值對(duì)應(yīng)一個(gè)初始的匹配代價(jià)，然后根據(jù)這些初始代價(jià)利用分塊的方法計(jì)算每個(gè)塊中的灰度值之和即匹配代價(jià)聚合值，然后選取匹配代價(jià)聚合值最小的時(shí)候?qū)?yīng)的視差作為當(dāng)前像素的視差，盡管這種方法具有復(fù)雜度低于效率高等特點(diǎn)，但是它僅僅考慮塊內(nèi)的約束條件，缺乏全局的約束，導(dǎo)致匹配的精度較低，誤匹配的情況較大。全局算法在匹配代價(jià)函數(shù)的基礎(chǔ)上，結(jié)合根據(jù)特定的約束條件建立新的代價(jià)函數(shù)，從而構(gòu)成全局能量函數(shù)，然后通過選用的特有的不同方法尋查找使得全局能量最小匹配聚合值。其中，Graph Cut算法和Belief propagation算法是目前公認(rèn)的效果最好的算法，可以獲取高精度的稠密視差圖，但是這兩種算法的時(shí)間復(fù)雜度高，計(jì)算效率低，通常不能用于實(shí)時(shí)處理。相對(duì)而言，動(dòng)態(tài)規(guī)劃算法具有計(jì)算效率高、匹配效果較好的特點(diǎn)，因此成為實(shí)時(shí)處理中最常用的算法之一。 在研究人體視覺理論中，我們知道，人的雙眼可以識(shí)別不同景深的物體。人的左眼和右眼在觀察同一個(gè)物體的時(shí)候，由于雙眼之間總有一定的距離，在觀察同一個(gè)物體的時(shí)候，左眼與右眼總有一定的距離偏移（視差），但在雙眼的聚焦點(diǎn)處偏移為零，比較直觀的體會(huì)是在觀察同一個(gè)物體的時(shí)候，通過分別單獨(dú)遮擋住一只眼睛，可以發(fā)現(xiàn)所觀察的事物有一定的視差。外界事物通過光線反射到達(dá)視網(wǎng)膜，視網(wǎng)膜通過視覺神經(jīng)傳送到大腦皮層，經(jīng)過相應(yīng)處理，形成立體的圖像。因此人可以區(qū)分不同景深的物體。 因此我們根據(jù)人雙眼的視覺原理，可以仿照人眼的機(jī)制，可以使用多臺(tái)攝像機(jī)或者同一個(gè)攝像機(jī)通過移動(dòng)拍攝同一個(gè)物體的時(shí)候，由于視差距離的存在，可以根據(jù)攝像機(jī)成像模型以及攝像機(jī)之間的幾何關(guān)系恢復(fù)出原有物體的三維信息。由于采用平行攝像機(jī)（同一個(gè)攝像機(jī)），外極線是水平的，與圖像掃描線重合，在進(jìn)行匹配點(diǎn)搜索時(shí)可以大大簡(jiǎn)化搜索步驟。然而，實(shí)際情況中很少采用平行配置，因此在進(jìn)行視差匹配前首先需要進(jìn)行外極線校準(zhǔn)的預(yù)處理步驟。鑒于非平行性下的攝像機(jī)配置為題的復(fù)雜性，國(guó)內(nèi)外主要針對(duì)平行攝像機(jī)下的立體匹配做了重點(diǎn)研究，立體匹配的主要的思路就是試圖找到左右圖像在同一幅圖像上對(duì)應(yīng)點(diǎn)。就目前來看，算法的研究主要分為兩類，第一類是是利用局部算法來選取能量函數(shù)，進(jìn)行的算法匹配，典型的有：固定塊匹配、滑動(dòng)窗口匹配等等；另一中是針對(duì)整幅圖像的一些約束條件，在第一種方法的基礎(chǔ)上，利用全局能量函數(shù)最小的條件作為約束，從而得到更加準(zhǔn)確的視差空間，其中比較典型的算法包括：常規(guī)動(dòng)態(tài)規(guī)劃立體匹配算法、Belief Propagation算法等。算法分類分類描述具體算法具體概述局部匹配利用如灰度值、平滑、相位約束等作為局部度量的準(zhǔn)則。在固定的塊區(qū)域進(jìn)行算法匹配。固定塊匹配利用固定的窗口大小，使用整幅圖像遍歷掃描的方法獲取左、右圖像最小能量函數(shù)的視差值。特征匹配由于像素可靠性相對(duì)較低，特征匹配利用圖像的如邊緣特征進(jìn)行算法匹配。網(wǎng)格匹配主要是將圖像劃分為網(wǎng)格狀，通過使用仿射或雙線性模型插值的方法在算節(jié)點(diǎn)處的視差值的基礎(chǔ)上，得到網(wǎng)格內(nèi)的視差值的方法。全局匹配選取最小全局能量函數(shù)，獲取視差空間。動(dòng)態(tài)規(guī)劃利用動(dòng)態(tài)規(guī)劃的方法，通過遞歸，根據(jù)外極線約束條件，搜索能量函數(shù)最小的最佳路徑，從而獲取視差值。Graph Cuts運(yùn)用圖形中的最大流的最小切割原理來估算視差值。Belief Propagation基于馬爾可夫隨機(jī)場(chǎng)構(gòu)建全局函數(shù)，并采用置信傳播算法進(jìn)行函數(shù)最優(yōu)化，計(jì)算視差值。 立體匹配典型算法第三章 分層正交動(dòng)態(tài)規(guī)劃立體匹配算法 我們假設(shè)：左圖像