【文章內(nèi)容簡介】 ............13 第4章 總結(jié)與展望第一章 緒論 “計算機視覺領(lǐng)域的最突出特點是其多樣性和不完善性。這一領(lǐng)域的先驅(qū)可追溯到更早的時候，但是直到20世紀(jì)70年代后期，當(dāng)計算機的性能提高到足以處理諸如圖像這樣的大規(guī)模數(shù)據(jù)時，計算機視覺才得到了正式的關(guān)注和發(fā)展。然而這些發(fā)展往往起源于其他不同領(lǐng)域的需要，因而何謂“計算機視覺問題”始終沒有得到正式定義，很自然地，“計算機視覺問題”應(yīng)當(dāng)被如何解決也沒有成型的公式”。 計算機視覺研究主要有以下幾個領(lǐng)域的研究方向相互滲透：人工智能、物理（主要是可見光與紅外的成像）、神經(jīng)生物學(xué)。 除了上面提到的領(lǐng)域，很多研究課題同樣可被當(dāng)作純粹的數(shù)學(xué)問題。例如，計算機視覺中的很多問題，其理論基礎(chǔ)便是統(tǒng)計學(xué)，最優(yōu)化理論以及幾何學(xué)。如何使既有方法通過各種軟硬件實現(xiàn)，或說如何對這些方法加以修改，而使之獲得合理的執(zhí)行速度而又不損失足夠精度，是現(xiàn)今電腦視覺領(lǐng)域的主要課題。 當(dāng)前，隨著計算機科學(xué)、信號處理、以及人工智能研究的更一步深入，計算機視覺技術(shù)越來越多的得到人們的重視與研究，此外計算機視覺的應(yīng)用也更加的廣泛，設(shè)計到軍事、醫(yī)療等方方面面。 如今對于計算機雙目立體視覺的研究比較熱，也取得了很多進展，本文著重對雙目立體視覺中的算法進行高論分析。近年來計算機視覺研究的重點與熱點之一是雙目立體視覺。它通過仿生學(xué)的原理模擬人類雙眼成像的機制原理，利用兩個攝像機在不同角度拍的攝同一景物或者物體，通過一個參考空間來計算兩幅拍攝圖像中的視差，進而獲得對應(yīng)點的三維坐標(biāo)值信息。 為了便于研究，完整的雙目立體視覺通常會被按照不同的步驟按照既定的流程來進行相關(guān)的研究，它主要流程是首先是左右圖像信息獲取，然后根據(jù)圖像信息進行相關(guān)的預(yù)處理方便后續(xù)進行分析與研究，接著對預(yù)處理后的數(shù)據(jù)進行攝像機標(biāo)定的過程，隨后就是最重要也是最復(fù)雜的立體匹配過程，最后完成三維重建，其中立體匹配技術(shù)是立體視覺中的重點環(huán)節(jié)。： 雙目立體視覺的處理流程 由于本文主要研究立體匹配的相關(guān)算法，因此不過多對：圖像的預(yù)處理、相機標(biāo)定以及三維重建等細節(jié)進行相關(guān)的研究討論。立體匹配（stereo matching）：立體匹配作為立體視覺研究的重點，同時問題復(fù)雜多樣，它主要是針對多幅圖像完成在同一副圖像的映射關(guān)系，這種映射關(guān)系通常是特種提取之間的復(fù)雜關(guān)系，從而得到圖像的視差圖像。因為現(xiàn)實中的大多圖像信息都是三維的，然而攝像機只能將三維的圖像信息投射到二維的空間，這就使得三維空間中復(fù)雜的信息都只能以單一的像素表現(xiàn)在二維圖像中。因此要完成正確、效率比較高的無歧義匹配難度相當(dāng)?shù)拇?。所以就目前立體匹配研究的方向來看，無論哪一種立體匹配的算法，其步驟和內(nèi)容都主要分為三個方面，首先是選取恰當(dāng)?shù)钠ヅ涮胤N方法，這一點尤為重要。其二是找打這些特征的本質(zhì)屬性加以研究與分析，最后就是建立穩(wěn)定且高效率的匹配方法?，F(xiàn)如今我們看到的主流的算法都是介于這三個不走展開的，基于這種方法世界各地也提出了很多各具特色的算法匹配，但是由于立體匹配本身復(fù)雜多樣性，同時涉及的問題復(fù)雜繁多，所以至今未有一整套成熟通用的算法去解決問題。 本文主要針對計算機視覺中的雙目立體視覺相關(guān)算法的研究與實現(xiàn)，并且對立體匹配算法進行了詳細的討論，重點研究了基于動態(tài)規(guī)劃理論的立體匹配算法。全文安排如下：第一章，主要介紹現(xiàn)代計算機視覺發(fā)展的概況以及雙目立體視覺匹配的一些概念。第二章，主要概述如今常用的一些立體匹配的算法。第三章，重點分析傳統(tǒng)動態(tài)規(guī)劃匹配算法的不足，并根據(jù)不足提出改進的匹配算法即基于動態(tài)規(guī)劃正交立體匹配算法。第四章對全文進行總結(jié)與展望，并提出有待解決的問題。第二章 立體匹配的常用算法Scharstein等提出立體匹配算法可以大致分為四個步驟：第一步是初始代價匹配計算；第二步是對初始匹配代價的能量聚合值計算；第三步是視差的計算與優(yōu)化；最后則是圖像校正。上述步驟的選取與匹配選用的方法有關(guān)，對于局部的固定窗口匹配主要是前三步驟即首先計算初始匹配代價，然后根據(jù)初始匹配代價選取適當(dāng)?shù)膲K進行最小代價聚合值的篩選，選取最小代價聚合值下的視差值作為當(dāng)前像素的視差值。而自適應(yīng)窗口塊匹配算法則將前兩部相結(jié)合，后續(xù)步驟相同。局部算法具有計算負責(zé)度低、算法效率高等特點，它最突出的特點是對于初始匹配代價計算和對匹配代價聚合值的計算，這兩個步驟尤為重要，方法是首先確定視差的搜索范圍，每個視差值對應(yīng)一個初始的匹配代價，然后根據(jù)這些初始代價利用分塊的方法計算每個塊中的灰度值之和即匹配代價聚合值，然后選取匹配代價聚合值最小的時候?qū)?yīng)的視差作為當(dāng)前像素的視差，盡管這種方法具有復(fù)雜度低于效率高等特點，但是它僅僅考慮塊內(nèi)的約束條件，缺乏全局的約束，導(dǎo)致匹配的精度較低，誤匹配的情況較大。全局算法在匹配代價函數(shù)的基礎(chǔ)上，結(jié)合根據(jù)特定的約束條件建立新的代價函數(shù)，從而構(gòu)成全局能量函數(shù)，然后通過選用的特有的不同方法尋查找使得全局能量最小匹配聚合值。其中，Graph Cut算法和Belief propagation算法是目前公認的效果最好的算法，可以獲取高精度的稠密視差圖，但是這兩種算法的時間復(fù)雜度高，計算效率低，通常不能用于實時處理。相對而言，動態(tài)規(guī)劃算法具有計算效率高、匹配效果較好的特點，因此成為實時處理中最常用的算法之一。 在研究人體視覺理論中，我們知道，人的雙眼可以識別不同景深的物體。人的左眼和右眼在觀察同一個物體的時候，由于雙眼之間總有一定的距離，在觀察同一個物體的時候，左眼與右眼總有一定的距離偏移（視差），但在雙眼的聚焦點處偏移為零，比較直觀的體會是在觀察同一個物體的時候，通過分別單獨遮擋住一只眼睛，可以發(fā)現(xiàn)所觀察的事物有一定的視差。外界事物通過光線反射到達視網(wǎng)膜，視網(wǎng)膜通過視覺神經(jīng)傳送到大腦皮層，經(jīng)過相應(yīng)處理，形成立體的圖像。因此人可以區(qū)分不同景深的物體。 因此我們根據(jù)人雙眼的視覺原理，可以仿照人眼的機制，可以使用多臺攝像機或者同一個攝像機通過移動拍攝同一個物體的時候，由于視差距離的存在，可以根據(jù)攝像機成像模型以及攝像機之間的幾何關(guān)系恢復(fù)出原有物體的三維信息。由于采用平行攝像機（同一個攝像機），外極線是水平的，與圖像掃描線重合，在進行匹配點搜索時可以大大簡化搜索步驟。然而，實際情況中很少采用平行配置，因此在進行視差匹配前首先需要進行外極線校準(zhǔn)的預(yù)處理步驟。鑒于非平行性下的攝像機配置為題的復(fù)雜性，國內(nèi)外主要針對平行攝像機下的立體匹配做了重點研究，立體匹配的主要的思路就是試圖找到左右圖像在同一幅圖像上對應(yīng)點。就目前來看，算法的研究主要分為兩類，第一類是是利用局部算法來選取能量函數(shù)，進行的算法匹配，典型的有：固定塊匹配、滑動窗口匹配等等；另一中是針對整幅圖像的一些約束條件，在第一種方法的基礎(chǔ)上，利用全局能量函數(shù)最小的條件作為約束，從而得到更加準(zhǔn)確的視差空間，其中比較典型的算法包括：常規(guī)動態(tài)規(guī)劃立體匹配算法、Belief Propagation算法等。算法分類分類描述具體算法具體概述局部匹配利用如灰度值、平滑、相位約束等作為局部度量的準(zhǔn)則。在固定的塊區(qū)域進行算法匹配。固定塊匹配利用固定的窗口大小，使用整幅圖像遍歷掃描的方法獲取左、右圖像最小能量函數(shù)的視差值。特征匹配由于像素可靠性相對較低，特征匹配利用圖像的如邊緣特征進行算法匹配。網(wǎng)格匹配主要是將圖像劃分為網(wǎng)格狀，通過使用仿射或雙線性模型插值的方法在算節(jié)點處的視差值的基礎(chǔ)上，得到網(wǎng)格內(nèi)的視差值的方法。全局匹配選取最小全局能量函數(shù)，獲取視差空間。動態(tài)規(guī)劃利用動態(tài)規(guī)劃的方法，通過遞歸，根據(jù)外極線約束條件，搜索能量函數(shù)最小的最佳路徑，從而獲取視差值。Graph Cuts運用圖形中的最大流的最小切割原理來估算視差值。Belief Propagation基于馬爾可夫隨機場構(gòu)建全局函數(shù)，并采用置信傳播算法進行函數(shù)最優(yōu)化，計算視差值。 立體匹配典型算法第三章 分層正交動態(tài)規(guī)劃立體匹配算法 我們假設(shè)：左圖像