【正文】 素的數(shù)目必須是一樣的,使順序比較)。在[19]用強(qiáng)度比較來進(jìn)行關(guān)鍵點(diǎn)檢測。為了獲得更好的魯棒性，米塔爾和拉梅什[17]考慮像素強(qiáng)度間的變化來增大與原始強(qiáng)度值相匹配的原始值。當(dāng)兩個(gè)圖像的相對像素的尺寸反轉(zhuǎn)時(shí)，Bhat和Nayar[15]的距離測量。圖像匹配在轉(zhuǎn)換空間中被執(zhí)行。給兩個(gè)相同的尺寸塊,而不是在原來的像素強(qiáng)度空間工作,這些算法都是相對于像素的相對尺寸。觀察報(bào)告表明雖然像素的強(qiáng)度由于相應(yīng)位置的變化可能會(huì)改變照明和捕捉參數(shù)、相對尺寸，局部點(diǎn)像素。然而，像素范圍內(nèi)的點(diǎn)來說，當(dāng)目標(biāo)在變化的時(shí)候，對于直方圖的估算通常是錯(cuò)誤的。此外，由于邊緣檢測過程依賴于光照條件（梯度的閾值映射到邊緣），邊緣特性是不隨光的改變而變化的。例如，尺度不變特征變換（SIFT）[12]使用梯度方向幅度加權(quán)作為特征描述符，形狀方面[13]邊緣作為描述符。然而，像仿射模型這樣的簡單模型可能是不夠的，因?yàn)楣庹盏淖兓赡芨鼮閺?fù)雜。另外，還有一些算法試圖估算亮度的變化。許多方法已經(jīng)被提出來處理亮度的變化，互相關(guān)的歸一化或自適應(yīng)的互相關(guān)歸一化[7]嘗試通過歸一化強(qiáng)度來刪除光內(nèi)聚，但對于復(fù)雜的光變化來說，歸一化強(qiáng)度是非常具有挑戰(zhàn)性的。亮度反轉(zhuǎn)（其中暗像素映射到亮像素）對于視頻中的連續(xù)幀來說是罕見的或者不同的立體視角點(diǎn)特別是在考慮到局部點(diǎn)的像素強(qiáng)度時(shí)，也是罕見的。請注意，許多的亮度變化，如仿射，平方根，平方和其他非線性亮度變化都屬于這類別。后來，我們發(fā)現(xiàn)我們的局部特征描述符對任何光照的變化都是不變的，只要亮度變化函數(shù)對于局部像素點(diǎn)是單調(diào)遞增。當(dāng)在兩個(gè)或更多的攝像機(jī)出現(xiàn)光照不一致或捕捉的參數(shù)變化時(shí)，這些問題也可能會(huì)發(fā)生在立體匹配應(yīng)用中。如用光學(xué)流量估計(jì)，假設(shè)沿著運(yùn)動(dòng)軌跡幀之間的像素強(qiáng)度保持不變。請注意，許多眾所周知的特性如SIFT，伴隨著亮度的變化是不變的，只有當(dāng)亮度變化函數(shù)的形式為： I2 = f(I1) = k1* I1 + k2,，其中k1和k2是常數(shù)。為了定量在現(xiàn)實(shí)場景中亮度是如何變化的，我們定義了亮度變化的函數(shù)，I2 = f(I1)，正如函數(shù)的模型，在一個(gè)點(diǎn)（或圖像）的像素強(qiáng)度(I1)如何映射到另一圖像上的相應(yīng)的像素強(qiáng)度( I2) 從一個(gè)視頻跟蹤運(yùn)動(dòng)軌跡的情況下看，兩個(gè)圖像也許在一個(gè)視頻連續(xù)幀內(nèi)。第三章 基于序空間強(qiáng)度分布的特征描述構(gòu)造 序空間強(qiáng)度分布概述對于許多應(yīng)用，如目標(biāo)跟蹤，目標(biāo)，識別，圖像檢索，圖像分類，音響，對于伴隨光照或視角變化的特征探測器和描述器來說是非常重要的，同樣對圖像的失真，模糊，或壓縮也是很重要的。第三，視差后處理過程，包括檢測遮擋區(qū)域和基于外插思想的視差填充等。第一，可以利用上一階段計(jì)算得到的視差場，基于鄰域窗口內(nèi)視差出現(xiàn)的頻數(shù)來校準(zhǔn)視差，獲得不包含噪聲、視差邊界精確且足夠平滑的視差圖。局部方法側(cè)重匹配代價(jià)計(jì)算和代價(jià)積聚，這一階段僅僅取對應(yīng)于最小匹配代價(jià)的視差作為計(jì)算結(jié)果。為此人們設(shè)計(jì)移動(dòng)窗口以及自適應(yīng)尺寸窗口的支持區(qū)域。一種方式取長方形或正方形窗口的支持區(qū)域，并直接以支持區(qū)域內(nèi)匹配代價(jià)的平均值作為積聚結(jié)果。成本聚合：將周圍像素的匹配代價(jià)積聚到中心像素的匹配代價(jià)上。由于圖像間存在全局亮度變化(如，由于增益和曝光差異等)和局部亮度變化(如，由于漸暈、非朗伯表面和照明變化等)以及噪聲等因素，設(shè)計(jì)一種合適的匹配代價(jià)并不容易。 稠密立體匹配方法稠密立體匹配方法通常都具有四個(gè)步驟：匹配代價(jià)計(jì)算（matching cost putation）、成本聚合（cost aggregration）、視差計(jì)算或優(yōu)化（disparity putation/optimization）、視差精細(xì)化處理（disparity refinement），將匹配方法分為相對獨(dú)立的四個(gè)模塊，并根據(jù)不同算法在每一步驟的不同處理進(jìn)行分類。這兩個(gè)約束條件進(jìn)一步限定對應(yīng)問題的解空間，使得對應(yīng)問題的求解成為可能。唯一性指一幅圖像中的任意點(diǎn)只能與另一圖像中的一個(gè)點(diǎn)相對應(yīng)，也就是圖像中的任意點(diǎn)只能有唯一確定的視差。一個(gè)假設(shè)認(rèn)為物理表面上的給定點(diǎn)在任一時(shí)刻都具有唯一確定的空間位置，另一個(gè)假設(shè)認(rèn)為被觀察物質(zhì)具有內(nèi)聚性，它可以被分為若干物體，相對于物體離攝像機(jī)的距離而言，每個(gè)物體的表面是連續(xù)的。因此僅僅依據(jù)顏色選擇對應(yīng)點(diǎn)并不可靠，必須結(jié)合其它信息確定對應(yīng)點(diǎn)。若場景表面為非朗伯表面，色彩恒性不滿足，真正對應(yīng)像素可能具有不同顏色，而非對應(yīng)像素反而可能具有相同顏色。首先，假設(shè)場景表面為朗伯漫反射表面，場景中各個(gè)小片區(qū)域的顏色不隨觀察方向變化而變化，因此在不同圖像中具有相同顏色，此即色彩恒性(Color Constancy)。任意點(diǎn)的視差d取值范圍為Ds={0, Dmax}。因此，立體匹配中經(jīng)常使用深度圖(depth map)和視差場兩種表達(dá)形式，它們之間很容易進(jìn)行相互轉(zhuǎn)換。 視差與深度的關(guān)系，兩攝像機(jī)的沿極限相距T，攝像機(jī)焦距為f，空間點(diǎn)P的像分別在左、右圖像平面上的投影是p和p’，則視差定義為d = x x’。第二章 稠密立體匹配的基本理論 視差場與深度圖立體視覺系統(tǒng)經(jīng)過立體校正后得到標(biāo)準(zhǔn)的平行光軸配置，對應(yīng)點(diǎn)p、p’位于同一掃描行，d = x x’稱為p和p’之間的視差。第五章主要對實(shí)驗(yàn)結(jié)果進(jìn)行比較分析。第三章提出了基于序空間強(qiáng)度特征描述子的構(gòu)造，首先介紹討論了OSID的相關(guān)背景簡介，接著闡述并OSID描述子的構(gòu)造。本文安排如下：第一章簡要概括了三維立體視覺系統(tǒng)的概念和基本特征，接著介紹并闡述了立體視覺技術(shù)的研究歷史和研究現(xiàn)狀以及光照對圖像的影響，最后給出論文的主要內(nèi)容和組織結(jié)構(gòu)。測度水平極線上的區(qū)域特征OSID描述子的不相似性構(gòu)造初始匹配代價(jià)，依次在水平和垂直方向上采用并行雙通式或基于測地線方法的自適應(yīng)成本聚合策略，基于WTA選取視差范圍內(nèi)的最優(yōu)視差值，從而得到分段光滑、精度高的稠密視差場。本文實(shí)現(xiàn)了一種基于復(fù)雜光照變化無關(guān)特征的稠密立體匹配算法，基于OSID特征描述，含有非常高的信息量，能有利于匹配各種變化的外界光照條件下獲取的圖像特征，具有較強(qiáng)的魯棒性。其中后兩類算法一般有相當(dāng)高的計(jì)算復(fù)雜度和很多難于合理設(shè)置的參數(shù)。經(jīng)過幾十年的發(fā)展，己經(jīng)產(chǎn)生了很多的立體匹配算法[3]。在另一種圖像檢索/分類應(yīng)用中，用于系統(tǒng)的大量圖像數(shù)據(jù)庫通過各種數(shù)碼相機(jī)的一些未知的，非線性的成像管道時(shí)，通常被抓獲一些參數(shù)并且被處理。在另一個(gè)立體聲的情景中，光度反應(yīng)的差異或捕捉多臺(tái)攝像機(jī)之間的參數(shù)可能會(huì)導(dǎo)致像素強(qiáng)度要明顯差異。（即Iout = k Iin，Iout γ校正之前和之后的像素強(qiáng)度）被應(yīng)用在相機(jī)的成像管道。此外，捕獲的參數(shù)的變化，如增益和曝光時(shí)間，處理成像的像素管線的強(qiáng)度的非線性過程中可能會(huì)導(dǎo)致亮度要經(jīng)過復(fù)雜的非線性變化。同樣的物理點(diǎn)可能有不同的像素點(diǎn)，由于光源的屬性和位置的變化（相對于物體），以及光源的幾何形狀和觀看視角的變化。所以盡量克服光照對圖像帶來的影響一直是以圖像為研究對象的眾多科研和應(yīng)用工作中不可缺少的部分。光源的方向，陰暗程度，色彩強(qiáng)度，以及亮度都會(huì)對圖像產(chǎn)生影響。最典型的稠密匹配是標(biāo)準(zhǔn)的稠密立體匹配。目前比較流行的匹配算法主要是基于特征點(diǎn)[2]，如基于Harris角點(diǎn)，SIFT (Scaleinvariant feature transform)，MSER (Maximally stable extreme regions)，HessianAffine等的匹配方法，這些方法一般只能得到比較稀疏的匹配，通過它們只能恢復(fù)出三維空間中的稀疏點(diǎn)云，不能有效表達(dá)三維物體的空間形狀，視覺效果差。近年來，隨著三維重建在數(shù)字地球、數(shù)字考古、數(shù)字娛樂等領(lǐng)域應(yīng)用的不斷發(fā)展，物體表面結(jié)構(gòu)的視覺效果己成為三維重建越來越關(guān)注的一個(gè)問題。特別是20世紀(jì)80年代，美國麻省理工學(xué)院的M arr提出了一種視覺計(jì)算理論并應(yīng)用在雙目匹配上，使兩張有視差的平面圖產(chǎn)生具有深度的立體圖形，從而奠定了雙目立體視覺發(fā)展的理論基礎(chǔ)。內(nèi)插和擬合方法以稀疏特征為數(shù)據(jù)，結(jié)果直接依賴于稀疏特征對應(yīng)，不可靠的特征對應(yīng)往往會(huì)產(chǎn)生不理想的結(jié)果。另一方面，稀疏特征的不規(guī)則分布給三維場景的描述帶來困難，往往需要進(jìn)行后處理以確切描述三維場景。特征匹配旨在建立稀疏圖像特征之間的對應(yīng)關(guān)系。 圖像匹配匹配問題是立體視覺中最為重要的問題，可以說正確的匹配是獲得場景正確深度信息和分割理解的基礎(chǔ)所在。這種方法具有良好的區(qū)分性，能在一定很大程度上抵抗諸如遮擋、亮度、尺度等因素影響，不隨圖像變換而變化，具有縮放不變、仿射不變或者亮度不變等性質(zhì)，典型算法包括SIFT、SURF等算法。一般來說，基于局部不變量的特征提取分成特征檢測和特征描述兩部分。在立體匹配中，常用的特征包括頂點(diǎn)、直線、邊界、區(qū)域等等，研究者也依據(jù)這些特征提出了大量方法。但未標(biāo)定方法的結(jié)果可能由于場景結(jié)構(gòu)等問題造成結(jié)果不夠魯棒，并且在一般情況下重建的精度不高，使得傳統(tǒng)的攝像機(jī)標(biāo)定方法目前仍然是高精度二維重建中非常有效的手段。未標(biāo)定情況下的三維重建方法在不需要高精度重建的情況下特別有用，比如虛擬現(xiàn)實(shí)、視頻會(huì)議等，在這些場合主要考慮的是視覺效果。另一方面，在稠密匹配中，人們也可以利用極線幾何約束首先校正立體圖像，使得圖像間匹配點(diǎn)保持在同一掃描行上，從而使對應(yīng)點(diǎn)的搜索從二維空間降為一維空間，大大簡化對應(yīng)點(diǎn)搜索，并且提高匹配可靠性。極線幾何對立體匹配有著重要影響，它將匹配對應(yīng)點(diǎn)的位置限定在一維極線上，是很強(qiáng)的幾何約束。任意視圖中任意像點(diǎn)在另一個(gè)視圖中都有一條極線與之對應(yīng)，這種關(guān)系稱為極線幾何，是兩個(gè)視圖之間的重要幾何關(guān)系。因?yàn)閮梢晭缀问荖視圖幾何的特例和基礎(chǔ)，所以人們深入研究了兩視幾何關(guān)系。分層重建的方法采用適宜的幾何表達(dá)使計(jì)算的每一階段所需要的參數(shù)更加明晰，從而避免了計(jì)算那些對最終結(jié)果沒有影響的參數(shù)，并得到更簡單的算法。 攝像機(jī)建模傳統(tǒng)立體視覺研究者認(rèn)為只有在攝像機(jī)預(yù)先標(biāo)定的基礎(chǔ)上才能進(jìn)行匹配計(jì)算和三維重建，因此對每個(gè)攝像機(jī)都需要先用己知幾何的物體的圖像進(jìn)行標(biāo)定。 在立體視覺的六大步驟中，攝像機(jī)建模和深度確定屬于多視圖幾何關(guān)系問題，目前已經(jīng)有比較完善的理論解決，特征提取一定程度上服務(wù)于圖像匹配，而內(nèi)插是對重建結(jié)果的進(jìn)一步完善，所以在這些步驟中圖像匹配是關(guān)鍵步驟，其結(jié)果的好壞直接決定立體視覺系統(tǒng)的重建質(zhì)量。特別是Marr創(chuàng)立的視覺計(jì)算理論對立體視覺的發(fā)展產(chǎn)生了巨大的影響，現(xiàn)已形成從圖像獲取到最終的景物可視表面重建的完整體系。 立體視覺研究歷史和研究現(xiàn)狀立體視覺的開創(chuàng)性工作是從60年代中期開始的。深度確定步驟根據(jù)建立起來的對應(yīng)特征點(diǎn)nl和nr以及攝像機(jī)模型重建場景模型。特征提取則從圖像中檢測出顯著特征，如nl和nr，顯著特征包含豐富的紋理信息，為特征點(diǎn)的可靠匹配奠定基礎(chǔ)。20世紀(jì)80年代初，Bornard等歸納和剖析已有立體視覺方法，認(rèn)為立體視覺方法通常執(zhí)行圖像獲取(image acquisition)、攝像機(jī)建模(camera modeling)，特征提取(feature acquisition)、圖像匹配(image matching)、深度確定(depthdetermination)和內(nèi)插(interpolation)等六個(gè)步驟，這一思想對后續(xù)研究產(chǎn)生很大影響。人之所以有深度感知的能力，就是因?yàn)榭梢愿兄@種差別。左眼看到物體的左邊會(huì)多一些，右眼看到物體的右邊會(huì)多一些。本章首先簡要介紹立體視覺的研究背景、研究現(xiàn)狀，然后介紹本文主要研究內(nèi)容和論文組織結(jié)構(gòu)。從影像中提取場景的二維結(jié)構(gòu)是計(jì)算機(jī)視覺幾十年來一直在研究的問題，這方面的研究成果使計(jì)算機(jī)視覺的應(yīng)用領(lǐng)域不斷拓展。由于這個(gè)原因，立體視覺成了計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究重點(diǎn)和熱點(diǎn)。目前，它已成為一門與數(shù)學(xué)和計(jì)算機(jī)科學(xué)都有很強(qiáng)聯(lián)系的學(xué)科。然而，事與愿違時(shí)至今日這項(xiàng)任務(wù)仍然沒有很好的被解決并且似乎還很艱難。視覺的研究源遠(yuǎn)流長，而從工程的角度研究視覺問題則起始于上世紀(jì)60年代。視覺的最終目的從狹義的觀點(diǎn)來說是要對場景作出對觀察者有意義的解釋和描述，而從廣義的觀點(diǎn)來看則是在上述解釋和描述的基礎(chǔ)上依據(jù)觀察者的意愿進(jìn)一步做出相應(yīng)的行為規(guī)劃或決策。 disparity value目