【文章內(nèi)容簡介】 ，其中k1和k2是常數(shù)。亮度的復(fù)雜變化引起了許多視覺運用方面的問題。如用光學(xué)流量估計，假設(shè)沿著運動軌跡幀之間的像素強(qiáng)度保持不變。，當(dāng)他們發(fā)生的時候，這樣的一個算法的性能并不能精確的計算出復(fù)雜的光照變化的惡化程度。當(dāng)在兩個或更多的攝像機(jī)出現(xiàn)光照不一致或捕捉的參數(shù)變化時，這些問題也可能會發(fā)生在立體匹配應(yīng)用中。 一個魯棒的局部特性描述符被提出，它不隨著復(fù)雜光照而變化。后來，我們發(fā)現(xiàn)我們的局部特征描述符對任何光照的變化都是不變的，只要亮度變化函數(shù)對于局部像素點是單調(diào)遞增。假設(shè)Ii，Ij是兩個亮度值， 對于所有的Ii ≥ Ij當(dāng)且僅當(dāng) f(Ii) ≥ f(Ij)，亮度變化函數(shù)f是單調(diào)增加的。請注意，許多的亮度變化，如仿射，平方根，平方和其他非線性亮度變化都屬于這類別。單調(diào)遞增的亮度變化函數(shù)的要求是能準(zhǔn)確地反映現(xiàn)實世界的情景，并且亮度轉(zhuǎn)移或仿射亮度變化函數(shù)（許多必要條件假設(shè)）是不夠的。亮度反轉(zhuǎn)（其中暗像素映射到亮像素）對于視頻中的連續(xù)幀來說是罕見的或者不同的立體視角點特別是在考慮到局部點的像素強(qiáng)度時，也是罕見的。請注意，對于單調(diào)增加亮度變化函數(shù)的要求僅僅運用于局部點的像素，而不是所有圖像的像素。許多方法已經(jīng)被提出來處理亮度的變化，互相關(guān)的歸一化或自適應(yīng)的互相關(guān)歸一化[7]嘗試通過歸一化強(qiáng)度來刪除光內(nèi)聚，但對于復(fù)雜的光變化來說，歸一化強(qiáng)度是非常具有挑戰(zhàn)性的。處理光照易變的另一個辦法是通過光照度估計和色彩恒定，就是將一個圖像分為光照度和反射兩部分并且處理反射圖像，一些工作是屬于這個范疇的包括Retinex方法[8]色域映射[9]相關(guān)顏色算法 [10]而，這些方法并不是很健壯的，因為光照度的估算，來自圖像的反射甚至一系列的圖像是不準(zhǔn)確的。另外，還有一些算法試圖估算亮度的變化。例如，Jin et al. [11]設(shè)了一個仿射光照變化模型，同時優(yōu)化光照度和特征軌跡的運動參數(shù)。然而，像仿射模型這樣的簡單模型可能是不夠的，因為光照的變化可能更為復(fù)雜。另一個亮度“不變”算法類是依靠梯度或邊緣的圖像特性。例如，尺度不變特征變換（SIFT）[12]使用梯度方向幅度加權(quán)作為特征描述符，形狀方面[13]邊緣作為描述符。盡管圖像梯度通常認(rèn)為是不隨亮度改變而變化的，當(dāng)亮度變化函數(shù)僅存在強(qiáng)度度轉(zhuǎn)移時，它們才是不變的。此外，由于邊緣檢測過程依賴于光照條件（梯度的閾值映射到邊緣），邊緣特性是不隨光的改變而變化的。直方圖均衡可能被用來作為預(yù)處理步驟中用來減輕亮度變化的問題。然而，像素范圍內(nèi)的點來說，當(dāng)目標(biāo)在變化的時候，對于直方圖的估算通常是錯誤的。為了處理更多的亮度變化問題，建議使用像素強(qiáng)度的相對尺寸而不是原來的強(qiáng)度。觀察報告表明雖然像素的強(qiáng)度由于相應(yīng)位置的變化可能會改變照明和捕捉參數(shù)、相對尺寸，局部點像素。如果亮度變化函數(shù)是單調(diào)遞增的，使用像素強(qiáng)度的相對尺寸的方法已經(jīng)被運用于特征匹配的任務(wù)中。給兩個相同的尺寸塊,而不是在原來的像素強(qiáng)度空間工作,這些算法都是相對于像素的相對尺寸。統(tǒng)計調(diào)查變換和它的不同的二進(jìn)制模式[14]被給的像素中通過比較此像素和它的相鄰像素創(chuàng)建一個矢量。圖像匹配在轉(zhuǎn)換空間中被執(zhí)行。然而,這些方法深深地依賴于中心點的像素以及中心點像素強(qiáng)度有任何微小的變化就可能對描述符產(chǎn)生巨大的影響。當(dāng)兩個圖像的相對像素的尺寸反轉(zhuǎn)時，Bhat和Nayar[15]的距離測量。Scherer[16]過設(shè)計更多的區(qū)別的匹配函數(shù)進(jìn)行了改進(jìn)。為了獲得更好的魯棒性，米塔爾和拉梅什[17]考慮像素強(qiáng)度間的變化來增大與原始強(qiáng)度值相匹配的原始值。在[18]普塔和米塔爾在極值區(qū)域選擇兩個極值點，并且基于順序反轉(zhuǎn)的數(shù)目定義了一個距離函數(shù)。在[19]用強(qiáng)度比較來進(jìn)行關(guān)鍵點檢測。這些方法一般有幾個主要的局限性。他們工作在原始順序空間和有很多限制(例如：兩圖像窗口之間的像素的數(shù)目必須是一樣的,使順序比較)。同時,光照不變性高度取決于距離測量，因此需要精心設(shè)計來解釋原始信息。最后所有的像素點的空間信息對于圖像匹配來說都是非常重要的，而不需要考慮距離函數(shù)。為了克服上述限制,我們創(chuàng)建一個二維直方圖，像素強(qiáng)度被分解為順序和空間兩者。提出的描述符主要性質(zhì)和貢獻(xiàn):特征描述符具有精煉性和魯棒性(不隨著單調(diào)增加的亮度化而變化)。空間信息通過子塊的配置被編入新的描述符來增強(qiáng)描述符的辨別能力。注意,簡單的像素強(qiáng)度順序一維直方圖丟失空間信息，然而這些信息對于特征的辨別力是非常重要的。二維直方圖對于圖像變形比以前原始的像素排序方法具有更強(qiáng)的魯棒性. OSID局部特征描述符1．圖像預(yù)處理和特征提取 在計算特性之前，圖像用高斯濾波器進(jìn)行平滑來消除噪聲，因為像素強(qiáng)度的相對順序很容易受噪聲影響。然后，特征點或關(guān)鍵點需要進(jìn)行定位。請注意，OSID不需要一個特定的檢測器，任何現(xiàn)有的探測器都能夠用在這里。為了充分利用OSID的亮度不變的性質(zhì)優(yōu)點， 極值檢測器可能也許是一個好的選擇。對于每一個被檢測的特征點來說，在d*d大小的區(qū)域內(nèi)的一些點被提取，d的大小選擇為41，但是它可能會有不同的圖像分辨率和形狀。2. 順序分配和空間分配 對于有序分布，在每個點的像素被分成N個區(qū)間，每個區(qū)間的像素都和有序像素強(qiáng)度相似。不同于傳統(tǒng)的直方圖具有n個區(qū)間，每個區(qū)間代表有序的幅度而不是原來像素的強(qiáng)度的幅度。例如，假如有400個強(qiáng)度值和5個區(qū)間，每個區(qū)間有80個強(qiáng)度值（180,81160,161240,241320,321400）。請注意原始的像素強(qiáng)度值不再使用了，因為它們在幀之間或者在相片和相片之間也許已經(jīng)改變了。像素被他們所屬的區(qū)間號所標(biāo)記。 這一過程的一個自然的實現(xiàn)是將所有的像素強(qiáng)度排序和將基于指數(shù)的像素分組，產(chǎn)生的復(fù)雜度為： (快速排序) [17]其中n是像素數(shù)目。我們寧愿用一個選擇算法[17]n個區(qū)間的邊界元素（例如，80，160，240，320和400）。這降低了復(fù)雜度：。對于空間分布，在的區(qū)域被分為n個空間子。有很多種子塊分配可能，（3）所示適合我們的特征的分配，其中圓劃分成幾塊。請注意，一個像素分配給一個子塊是要進(jìn)行預(yù)計算來節(jié)省計算時間。3. 二維直方圖和柵格化 我們?yōu)槊恳粋€局部點創(chuàng)建了一個2維直方圖，其中X軸代表像素的亮度分布以及像素強(qiáng)度的相對順序，Y軸代表空間分布。在二維直方圖中（x，y）這一點的值，代表y方向擁有x軸方向的像素順序的子塊像素的數(shù)目。例如，如果x代表原始最亮的點，那么（x，y）點的值代表子塊中有多少像素是屬于最強(qiáng)亮度的。在二維直方圖中的每一行在一個一維直方圖中代表像素在被給予子塊的順序空間中是如何分布的，（例如，圓形圖）。這是一個n個圓形維度向量，其中每個維度代表有多少個像素是順序的，二維直方圖的每一列代表相同強(qiáng)度的像素是如何被分布在子塊中的。為每個塊創(chuàng)建了一個順序空間的二維直方圖后，我們對直方圖進(jìn)行柵格化，形成維的向量作為大小塊的描述符。起始區(qū)間和柵格的方向可以是任意的，但需要預(yù)先定義。例如，我們選擇開始從橫向的分塊開始進(jìn)行一個逆時針的遍歷（如用徑向進(jìn)行分割，可以從內(nèi)到外）?；蛘?，起始區(qū)間在塊中可以動態(tài)的選擇。例如，起始行總是可以代表暗/亮子塊或是代表有最高梯度能量的子塊。請注意，這些限制可能被結(jié)合達(dá)到更高的精度。自適應(yīng)柵格化已經(jīng)被使用確保特征描素符對于視角的改變更加健壯。最后，對特征矢量用像素點的數(shù)目進(jìn)行歸一化從而消除對描述符的影響。因此，子塊的大小也許被分成一個個特征點。（1）（2）（3）（4） (5)（1）圖像塊（2）排序所得的順序標(biāo)簽（3）空間標(biāo)簽（4）二維直方圖（5）將直方圖進(jìn)行柵格化第四章 基于區(qū)域特征的稠密快速立體匹配 給定已經(jīng)外極線校正的立體圖像對，對各自圖像內(nèi)每一像素點，可以穩(wěn)健地基于特征分布來計算可靠的局部特征描述，比如上面提到的基于上下文結(jié)構(gòu)的局部特征信息（序空間強(qiáng)度分布描述符（OSID)）。然后，可以基于分布描述得到的特征向量，來初始化立體圖像對中極線上的每一匹配點對之間的匹配成本。假設(shè)基準(zhǔn)圖像中像素的坐標(biāo)為 (x, y)，而關(guān)于某一視差d 待匹配圖像中像素的坐標(biāo)為(x d, y)，則初始匹配成本設(shè)為或 c(x, y, d) （以基準(zhǔn)圖像為例）。由于OSID等局部信息描述是由直方圖表示的特征向量，因此，可以選擇著名的 距離來構(gòu)造初始匹配成本。 （） （） （）其中()和() 分別表示各自立體圖像中 點和 點的單位向量經(jīng)縮放至幅度為255的OSID直方圖中的第k 個 bin。立體圖像預(yù)處理階段中，若僅采用OSID描述局部紋理，則初始匹配成本可表達(dá)為 c(,) =(,)==。 基于測地線距離的改進(jìn)型自適應(yīng)權(quán)重化的成本聚合．匹配窗的選取定義方形窗口中的任一點和中心點之間的最短路徑為 ()定義為p和c之間的所有路徑。p定義為p的空間的8個相關(guān)的鄰點。那么一個路徑的代價是： ()被定義為顏色差異： ()其中r，g，b是RGB三基色的值，假如在這些點之間沿著顏色變化的方向存在一個路徑，那么測地線距離是小的，我們認(rèn)為這些特性是有相關(guān)性的。較小的測地線距離將會有一個較高的權(quán)重： ()定義為結(jié)果分片的長度。則測地線距離為： Cp?minq∈KpCq+dCp,q () C(p)是窗口內(nèi)p點的成本。2005年Yoon和Kweon提出一種自適應(yīng)權(quán)值的方法[20]，逐漸引起人們重視。該算法對窗口中每個像素根據(jù)距離中心點的顏色差異和空間距離賦予一個相對中心像素的權(quán)值，通過該權(quán)值與匹配代價乘積累積代價，該算法能有效避免局部算法中常見的“前景擴(kuò)張”現(xiàn)象。雖然自適應(yīng)支持權(quán)值策略在各種累積方法中表現(xiàn)最好，但是完整的自適應(yīng)策略計算代價太大，因此我們對其進(jìn)行了簡化處理。首先，忽略匹配圖像中含彩色分割單目線索的權(quán)重項。計算對極線上每一個不同的視差假設(shè)時，當(dāng)前同一像素使用匹配窗中同一個權(quán)重系數(shù)，從而使得在不同視差假設(shè)時可以并行地聚合匹配成本。其次，在以當(dāng)前點pb為中心的矩形匹配窗口內(nèi)，采用雙通地在當(dāng)前點為中心先后在水平和垂直方向上進(jìn)行權(quán)重化操作，來逼近整個匹配窗口內(nèi)匹配成本的權(quán)重化平均。該模塊計算復(fù)雜度將會大大降低。鑒于上述兩項改進(jìn)，稱為“并行雙通式”成本聚合。匹配窗選取后，采用雙通SASW成本聚合策略(Twopass cost aggregation with SASW)，將權(quán)重化平均計算拆分成水平和垂直方向上兩個獨立的組件，從而得到某點p和待匹配點qm,d之間的匹配代價。即在以（2Wa+1）為窗口尺寸且以當(dāng)前點pb為中心的矩形匹配窗口（2Wa+1）（2Wa+1）內(nèi)，先在水平方向內(nèi)將上述初始匹配成本與相應(yīng)的權(quán)重值進(jìn)行內(nèi)積，并歸一化于相應(yīng)的權(quán)重值本身的累計和；再以即得的匹配成本，在垂直方向上與相應(yīng)的權(quán)重值進(jìn)行內(nèi)積，并歸一化于相應(yīng)的權(quán)重值本身的累積和： () () 其中w(x,y,u,0)或w(x,y,0,v)分別表示水平和垂直方向上相對于當(dāng)前點的單目圖像內(nèi)相應(yīng)權(quán)重；φ(x,y,d)表示聚合之前輸入的匹配成本C(x,y,d)在水平方向上進(jìn)行內(nèi)積并歸一化得到的匹配代價，而Caggr(x,y,d)表示以φ(x,y,d)為基礎(chǔ)在垂直方向上進(jìn)行內(nèi)積并歸一化得到最終的匹配代價。(C(x,y,d), Caggr(x,y,d)即c(,))通過矩形窗來聚合這些像素點的差異性，離中心點c距離為d的聚合匹配代價為