【導(dǎo)讀】體的三維坐標(biāo)，而其中基于兩幅圖像的雙目視覺(jué)技術(shù)則是一個(gè)研究熱點(diǎn)。合于制造現(xiàn)場(chǎng)的在線、非接觸產(chǎn)品檢測(cè)和質(zhì)量控制。雙目立體視覺(jué)的基本原理與。一個(gè)完整的雙目視覺(jué)系統(tǒng)包括多個(gè)部分。本論文主要研究攝像機(jī)標(biāo)定和圖像。特征提取、立體匹配這方面的內(nèi)容。根據(jù)選的立體視覺(jué)成像系統(tǒng)模型簡(jiǎn)單闡述了

　　

【正文】 , f x y f x yf x y xy??? ? ??? （ ） 其離散形式定義為 ? ? ? ? ? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ?? ?2 , , 1 , , , 1 , 1 , , , 1f x y L x y f x y f x y f x y f x yf x y f x y f x y f x y? ? ? ? ? ? ? ?? ? ? ?? ? ? ?? ? ? ? ? ?? ? ? ?? ? ? ?（ ） 也可寫成 ? ? ? ? ? ? ? ? ? ? ? ?, 1 , 1 , , 1 , 1 4 ,L x y f x y f x y f x y f x y f x y? ? ? ? ? ? ? ? ?（ ） Laplacian算子的卷積核為 0 1 0 1 4 1 0 1 0 23 也可用 1 1 1 1 8 1 1 1 1 與前兩種一階微分算子相比較，二階微分 Laplacian算子對(duì)噪聲更敏感，它使噪聲成分加強(qiáng)，因此在實(shí)際使用中，常常先對(duì)圖像進(jìn)行平滑，再進(jìn)行二階微分。 （ 2）邊緣細(xì)化 邊緣細(xì)化的目的是將有一定寬度的邊緣變窄，并保持其形狀的拓?fù)浣Y(jié)構(gòu)不變，可以大大減少邊緣的數(shù)據(jù)量。這里主要介紹 Hilditch細(xì)化算法和 Sobel細(xì)化算法。 Hilditch細(xì)化算法適用于輸入 圖像為 0和 1的二值圖像。像素值為 1的區(qū)域是需要細(xì)化的部分，像素值為 0的區(qū)域是背景。 Hilditch細(xì)化算法可描述如下： 設(shè) P為被檢測(cè)的像素， f(P)為像素 P的灰度值 ( 1,2 ,8)ini? 為 P的 8鄰域像素，in 的位置如圖所示。 圖 4． 3像素 P的 8鄰域 設(shè)集合 I={1)表示需要細(xì)化的像素子集，集合 N={g│gm≤ 0}表示背景像素子集，集合 R={m)表示在第 m次減薄時(shí)， I中被減掉的像素。 圖像細(xì)化的減薄條件為： ? ? ? ?1 f p I? ? ? ? ? ? ?? ?1 3 5 72 1 , ,10iiiU p U p a a a a af n Na? ? ? ? ???? ??其 中 這 里 為其 它 24 ? ? ? ? ? ? 13 2 , 1n iiV p p a?? ? ??其 中 V ? ? ? ? ? ?? ?14 1 , ,10niiiiiW p W p cf n Ic?????? ???其 中 這 里 c 為其 它 ? ? ? ? ? ?? ? ? ? ? ?412 1 2 2 15 1 , ,10iiii i iix p x p b bf n N f n I R f n I Rb?????? ? ? ? ? ?? ???其 中 這 里 為并 且 或其 它 ? ? ? ? ? ? ? ? ? ?? ?6 1 , 3 , 5 ,.i i if n R x p i x p p ixp? ? ?或 其 中 表 示 對(duì) 的 第 個(gè) 鄰 域像 素 的 Sobel細(xì)化算法適用于邊緣檢測(cè)后的邊緣圖像， Sobel細(xì)化算法可描述如下： 對(duì)邊緣圖作 Sobel邊緣檢測(cè)可得到兩側(cè)的邊界，邊緣圖像與對(duì)其進(jìn)行 Sobel處理后的圖像相減可使波形更加尖銳，使邊緣得到增強(qiáng)。這樣即提高了定位的精度，又得到用其他方法難以得到的模 糊邊緣和微弱邊緣。 有些圖像邊緣比較模糊，邊界區(qū)域的過(guò)渡極為平坦，用一次 Sobel細(xì)化還不能達(dá)到要求，這時(shí)可重復(fù) 2～ 3次。由于細(xì)化處理會(huì)使信號(hào)強(qiáng)度減弱，已達(dá)到細(xì)化要求的部分在后面的細(xì)化過(guò)程中使其保留原來(lái)結(jié)果，不需要再做處理。 3． 2特征點(diǎn)的提取 兩眼立體視覺(jué)中左右眼圖象的對(duì)應(yīng)特征計(jì)算是立體視覺(jué)中很重要的問(wèn)題。為圖像上的每個(gè)象素找出對(duì)應(yīng)點(diǎn)通常是不實(shí)際的。例如一幅圖像上灰度相同的一個(gè)區(qū)域中的點(diǎn)可能與另一個(gè)圖像上相應(yīng)區(qū)域中的許多點(diǎn)對(duì)應(yīng)。提取特征點(diǎn)就是為了解決這一問(wèn)題從而實(shí)現(xiàn)唯一的匹配。 如果對(duì)左右立體圖象對(duì)的所有 點(diǎn)都進(jìn)行相關(guān)計(jì)算，其計(jì)算量將會(huì)同基于面積的匹配一樣很大。為了提高處理速度，人們進(jìn)行了大量研究。其中利用邊界方向的對(duì)應(yīng)特征性質(zhì)減少對(duì)應(yīng)候補(bǔ)的數(shù)目，然后通過(guò)加局部約束和重復(fù)使用概率松弛法提高對(duì)應(yīng)計(jì)算的可信度。但這種方法在選擇遞推計(jì)算次數(shù)的評(píng)價(jià)函數(shù)時(shí)遇到困難。與此同時(shí)奧富和三浦分別提出利用不同觀察點(diǎn)的兩眼立體視數(shù)據(jù)的融合消除 25 3D視覺(jué)信號(hào)中的模糊性。 特征點(diǎn)的提取與它周圍區(qū)域灰度變化有關(guān)。如果一個(gè)點(diǎn)的周圍區(qū)域灰度級(jí)有顯著變化，則有可能將此點(diǎn)作為特征點(diǎn)。找特征點(diǎn)實(shí)際上是對(duì)圖像進(jìn)行微分運(yùn)算，對(duì)數(shù)字圖像而言，微分運(yùn)算可用 差分來(lái)近似，設(shè)原圖像為 f(x,y)，特征圖像為 g(i,j)，則可選擇下列三個(gè)定義式之一來(lái)確定微分值 g(ij)。 ? ? ?? ?? 22,jijig ? ?? ? ? ?gg yjxijijijfifjigjig??????????????????,m a x,其中： 上面第一式為原定義，由于要計(jì)算開方比較費(fèi)時(shí)，接下來(lái)的式是其簡(jiǎn)化形式，一般考慮計(jì)算量的原因常采用后面的兩個(gè)式子。通常方是用一個(gè)對(duì)灰度變化敏感的算子作用到圖像上，來(lái)提取特征點(diǎn)。常用的三種微分 算子： Prewitt算子， Sobel算子， Roberts算子。 特征圖像 g(i,j)，可通過(guò)求算子 g，來(lái)求，即： ? ? ? ?, 0 xxf i j g Gg i j gG???? ? ??? （ ） 其中 G為固定的閾值。通過(guò)改變 G的大小，可以決定提取特征點(diǎn)的多少。 提取特征點(diǎn)的另一方法是：先求得 gx, gy，按后兩式得到 g(i,j)的特征圖像 (梯度大小圖像 )，而從 h(i， j)=gx/gy，得到另一特征圖像 (梯度方向圖像 )，將左圖像與右圖像相 匹配，把滿足 (3． 18)、 (3． 19)條件的點(diǎn)作為候選匹配點(diǎn)。 ? ? ? ? 1,irg i j g i j T?? （ ） ? ? ? ? 2,irh i j h i j T?? （ ） 其中 T1,T2為固定的閾值。通過(guò)改變 T的大小，可以決定提取征點(diǎn)的多少。 在進(jìn)行特征點(diǎn)提取時(shí)，一般方法是對(duì)二維圖像中的每個(gè)象素作水平、垂直及對(duì)角 4個(gè)方向的相關(guān)運(yùn)算來(lái)確定特征點(diǎn)，計(jì)算量大。為此，文獻(xiàn)提出了只需對(duì)二維圖像中的象素點(diǎn)作水平 (或垂直 )方向上的灰度 差值運(yùn)算的二維圖像特征點(diǎn)快速提取算法。采用文獻(xiàn)對(duì)圖像進(jìn)行特征點(diǎn)提取，存在合理選擇閾值問(wèn)題，但在文 26 獻(xiàn)中，對(duì)閾值的選取沒(méi)有作詳細(xì)的討論。在機(jī)器視覺(jué)系統(tǒng)中，由于視覺(jué)系統(tǒng)的自主性能要求，因此必須進(jìn)行自動(dòng)閾值選擇。 圖像中的特征點(diǎn)是某區(qū)域中具有較大灰度變化的點(diǎn)，特征點(diǎn)所有方向上的灰度方差通常比較大。典型的特征點(diǎn)檢測(cè)算法有 Bamard特征點(diǎn)選擇算法和 Harris角點(diǎn)檢測(cè)算法。算法首先將大小為 M N的圖像分為 p g個(gè) m n的窗口 wm n，從每個(gè)小窗口中按要求選取一個(gè)特征點(diǎn)，最后對(duì) p q個(gè)特征點(diǎn)進(jìn)行選擇，剔除特征不明顯的點(diǎn) ，或從中留下指定的 K個(gè)特征點(diǎn)． 在每個(gè) mxn廳窗口中，求出每個(gè)像素四個(gè)不同方向上與相臨像素灰度差的平方和。例如水平方向： ? ? ? ? ? ? ? ? ? ?22, , , 1 , , 1hS i j g i j g i j g i j g i j? ? ? ? ? ?? ? ? ?? ? ? ? （ ） 其他還有：垂直方向 Sv(i， j)，左對(duì)角方向 Sid(i， j)，右對(duì)角線方向 Srd(i,j)該點(diǎn)處方向平方和最小值為： ? ? ? ? ? ? ? ? ? ?? ?, m in , , , , , , ,h w id n dO i j s i j s i j s i j s i j? （ ） 在 wm n小窗口內(nèi)查找 O(i， j)最大值點(diǎn) ? ?? ? ? ?? ?m in, m a x ,i j WO I J O i j??得到的特征點(diǎn)(I， J)在四個(gè) 方向上的灰度方差最小值是窗口內(nèi)最大的，即該點(diǎn)的各個(gè)方向上的灰度變化最顯著。移動(dòng) wm n的位置，不重復(fù)地對(duì)未覆蓋區(qū)域繼續(xù)處理，直到把整幅圖像全部覆蓋處理完畢，全部得到 p g個(gè)特征點(diǎn)．將所有的特征點(diǎn)按大小順序排列，保留前 K個(gè)特征點(diǎn)，得到特征點(diǎn)圖。該特征點(diǎn)檢測(cè)算法的優(yōu)點(diǎn)是可根據(jù)原始圖像的特點(diǎn)通過(guò)改變窗口 wm n的大小控制特征點(diǎn)的選擇。 3． 3立體匹配 立體匹配是尋找同一空間景物在不同視點(diǎn)下投影圖像中像素間的一一對(duì)應(yīng)關(guān)系。與普通的圖像模板匹配不同，立體匹配是在兩幅或多幅存在視點(diǎn)差異、幾何和灰度畸變以及噪聲干擾的圖像 對(duì)之間進(jìn)行的，不存在任何標(biāo)準(zhǔn)模板。當(dāng)空間三維場(chǎng)景被投影為二維圖像時(shí)，受場(chǎng)景中諸多因素，如光照條件、景物幾何形狀和物理特牲、噪聲干擾和畸變以及攝像機(jī)特性等的影響，同一景物在不同視點(diǎn)下的圖像會(huì)有很大不同，要準(zhǔn)確地對(duì)包含了如此多不利因素的圖像進(jìn)行無(wú)歧義的匹配是不容易的。 27 目前，對(duì)立體匹配的研究可歸納為兩個(gè)方向：一個(gè)方向是從理解人類視覺(jué)的立體融合機(jī)制出發(fā)，試圖建立通用的人類雙目視覺(jué)計(jì)算模型。盡管已取得一些研究成果，但是就目前的研究而言，要構(gòu)造出與人類視覺(jué)一樣靈活的機(jī)器人視覺(jué)系統(tǒng)還有待于進(jìn)一步的研究。另一個(gè)方向是從實(shí) 際應(yīng)用和要求出發(fā)，致力于建立適用于專門領(lǐng)域的和面向?qū)ο蟮膶?shí)用立體視覺(jué)系統(tǒng)，通過(guò)強(qiáng)調(diào)場(chǎng)景和任務(wù)的約束等手段來(lái)降低視覺(jué)處理問(wèn)題的難度，從而增加系統(tǒng)的實(shí)用性。 立體匹配方法的有效性有賴于三個(gè)問(wèn)題的解決，即選擇正確的匹配特征、尋找相應(yīng)的匹配準(zhǔn)則以及建立能夠正確匹配所選特征的穩(wěn)定算法。立體匹配的研究基本上都是圍繞這三個(gè)方面的工作進(jìn)行的，并已出現(xiàn)了大量各具特色的匹配方法。但是由于立體匹配涉及的問(wèn)題太多，至今仍未得到很好的解決，特別是在復(fù)雜場(chǎng)景中，如何提高算法的去歧義匹配和抗干擾能力，如何降低計(jì)算的運(yùn)算量，仍需要進(jìn)行更深 入的探索和研究。 對(duì)于任何一種立體匹配方法的設(shè)計(jì)，都必須解決以下三個(gè)方面問(wèn)題： (1)基元選擇：選擇適當(dāng)?shù)膱D像特征作為匹配基元，如點(diǎn)、直線、區(qū)域、相位等； (2)匹配準(zhǔn)則：將關(guān)于物理世界的某些固有特性表示為匹配所必須遵循的若干規(guī)則，使匹配結(jié)果能真實(shí)反映景物的本來(lái)面目； (3)算法結(jié)構(gòu)：利用適當(dāng)?shù)臄?shù)學(xué)方法設(shè)計(jì)能正確匹配所選基元的穩(wěn)定算法。 匹配基元是指用以進(jìn)行匹配的圖像特征。由于立體成像的視點(diǎn)差異以及噪聲干擾等因素的影響，要對(duì)圖像中所有的像素都進(jìn)行無(wú)歧義的匹配是很困難的，為此，應(yīng)該選擇能表征景物屬性的特征作為 匹配基元。 目前，常用的匹配基元主要有：點(diǎn)狀特征、線狀特征和區(qū)域特征等。其中，點(diǎn)狀特征是最基本、最簡(jiǎn)單的特征基元，區(qū)域基元具有最好的全局屬性，線狀基元 (包括直線和曲線 )介于二者之間。一般來(lái)講，點(diǎn)狀特征具有定位準(zhǔn)確、檢測(cè)和描述容易以及重建精度高的優(yōu)點(diǎn)，但它所含圖像信息較少，在圖像中的數(shù)目較多，因而在匹配時(shí)需要較強(qiáng)的約束準(zhǔn)則和匹配策略，以克服歧義匹配和提高運(yùn)算效率。線狀基元和區(qū)域基元?jiǎng)t含有更豐富的圖像信息，在圖像中的數(shù)目較少，易于實(shí)現(xiàn)快速匹配。但它們?cè)谔卣魈崛『兔枋鰰r(shí)比較困難，需要進(jìn)行復(fù)雜的預(yù)處理，而且定位精度 較差。 28 匹配準(zhǔn)則是根據(jù)所選匹配基元將現(xiàn)實(shí)物理世界的某些固有屬性表示成匹配所必須遵循的若干規(guī)則，用以提高系統(tǒng)的去歧義匹配能力和計(jì)算效率。 Marr提出的唯一性約束、相容性約束和連續(xù)性約束被認(rèn)為是匹配控制中最一般、最基本的物理約束。在這三個(gè)基本約束的基礎(chǔ)上，針對(duì)處理景物的特點(diǎn)和應(yīng)用要求，通過(guò)附加某些先驗(yàn)知識(shí)能夠引伸出一些特定的匹配控制準(zhǔn)則。下面簡(jiǎn)單描述一些常用的匹配準(zhǔn)則。 唯一性約束：一般情況下，一幅圖像上的每一個(gè)特征點(diǎn)最多只能與另一幅圖像上的一個(gè)特征點(diǎn)對(duì)應(yīng)。 連續(xù)性約束：物體表面一般都是光滑的，因此物體表面上各 點(diǎn)在圖像上的投影是連續(xù)的，其視差也是連續(xù)的。但是，在物體邊界處，比如邊界兩側(cè)的兩個(gè)點(diǎn)，連續(xù)性約束并不成立。 相容性約束：物體表面上一點(diǎn)在兩幅或多幅圖像上的投影在某些物體度量上(如灰度、灰度梯度變化等 )或幾何形狀上具有相似性。比如空間某一個(gè)多面體的頂點(diǎn)，它在圖像中的投影應(yīng)是某一多邊形的頂點(diǎn)。 極線約束：一幅圖像上的任一點(diǎn)，在另一幅圖像的對(duì)應(yīng)點(diǎn)只可能位于一條特定的被稱為極線的直線上。這個(gè)約束極大地降低了待驗(yàn)證的可能匹配點(diǎn)對(duì)的數(shù)量，把一個(gè)點(diǎn)在另一幅圖像上可能匹配點(diǎn)的分布從二維降到了一維。 順序一致性約束：一幅圖像 的一條極線對(duì)應(yīng)著另一幅圖像中的一條極線，而且它們上面的對(duì)應(yīng)點(diǎn)的排列順序是不變的。但是，如果視點(diǎn)的方位變化很大，這個(gè)約束條件可能不被滿足。 實(shí)現(xiàn)匹配的算法結(jié)構(gòu)是和匹配基元的選擇以及匹配準(zhǔn)則緊密相關(guān)的，一般應(yīng)該兼顧有效性和計(jì)算量。立體匹配實(shí)質(zhì)上是在匹配準(zhǔn)則下的最佳搜索問(wèn)題，許多數(shù)學(xué)中的最優(yōu)化技術(shù)都可應(yīng)用于立體匹配，如動(dòng)態(tài)規(guī)劃方法、松弛法以及遺傳算法等。 3． 4立體匹配方法