【文章內(nèi)容簡(jiǎn)介】 地剝離二值圖象的邊界象素，但是剝離邊界象素必須保持目標(biāo)的連通性而且使之最終成為單象素寬的圖象骨架，即細(xì)化就是將一個(gè)曲線形物體細(xì)化為一條單像素寬的線。本文引入細(xì)化是將其應(yīng)用于特征線的提取。收縮是指一種以不觸及單像素物體的執(zhí)行方式進(jìn)行腐蝕。當(dāng)物體總數(shù)必須保持不變時(shí),這種方法很有用。本文引入收縮是將其應(yīng)用于特征點(diǎn)的提取。、特征線提取方法本論文主要是引入了數(shù)學(xué)形態(tài)學(xué)算法來(lái)提取編碼圖像中的特征點(diǎn)與特征線。、特征線提取的總體思路。 特征點(diǎn)的提取方法首先對(duì)CCD攝像機(jī)拍攝到的三維場(chǎng)景圖像中的四種顏色的特征點(diǎn)進(jìn)行初步的RGB顏色范圍統(tǒng)計(jì)，找到各自的RGB顏色范圍的上下限，對(duì)這些范圍進(jìn)行顏色區(qū)分，以提取出各自顏色特征點(diǎn)的范圍。提取出的結(jié)果分成4幅分量圖像，分別表示紅、黃、藍(lán)、綠特征點(diǎn)范圍，尤其注意的是提取的過(guò)程其實(shí)也是二值化的過(guò)程，因?yàn)橛眯螒B(tài)學(xué)方法來(lái)處理圖像都必須在二值圖像中進(jìn)行。在特征點(diǎn)范圍提取出來(lái)后，此時(shí)得到的那些圖像中都包含一定的噪聲，因此利用數(shù)學(xué)形態(tài)學(xué)中的開(kāi)運(yùn)算可以去除圖像中的外部噪聲，利用閉運(yùn)算去除特征區(qū)域的內(nèi)部漏洞。如果噪聲比較大，可先多腐蝕幾次再進(jìn)行膨脹，但腐蝕的次數(shù)應(yīng)該以不丟失特征點(diǎn)為界限。對(duì)去除了噪聲后的特征點(diǎn)圖像進(jìn)行收縮運(yùn)算，使特征區(qū)域收縮為特征點(diǎn)，并提取各特征點(diǎn)的位置。在四幅圖像都提取出了特征點(diǎn)后，對(duì)這四幅圖像分別乘以不同的系數(shù)來(lái)對(duì)這些點(diǎn)進(jìn)行膨脹。不同的系數(shù)代表了不同的顏色，即用系數(shù)來(lái)對(duì)二值圖像上不同顏色的點(diǎn)進(jìn)行區(qū)分。膨脹后用邏輯或把四幅圖像合并到一幅二值圖像中，就得到了一幅只包含有所有三維圖像特征點(diǎn)的二值圖像。CCD拍攝到的圖像特征點(diǎn)范圍提取紅色特征點(diǎn)范圍特征線范圍提取綠色特征點(diǎn)范圍黃色特征點(diǎn)范圍藍(lán)色特征點(diǎn)范圍紅色特征點(diǎn)綠色特征點(diǎn)黃色特征點(diǎn)藍(lán)色特征點(diǎn)特征點(diǎn)特征線 特征點(diǎn)、特征線提取方法示意圖以上的方法用于處理絕大部分理想的特征點(diǎn)，但在實(shí)際情況中會(huì)碰到一些復(fù)雜的情況，比如在投影時(shí)，如果三維場(chǎng)景由于不連續(xù)而產(chǎn)生陰影或三維場(chǎng)景中物體表面顏色不單一或者投影光線不均勻、柔和等，會(huì)影響到實(shí)際采集下來(lái)圖像中特征點(diǎn)的RGB顏色范圍，比如黃色和綠色，它們的標(biāo)準(zhǔn)RGB值為（255，255，0）和（0，255，0），一般對(duì)這兩種顏色范圍的取值為[100,255]，[200，255]，[0，100]和[0，90]，[200，255]，[0，100]，顯然，這兩種顏色范圍沒(méi)有交叉，即兩種顏色能很容易區(qū)分出來(lái)。但當(dāng)投影時(shí)由于光線問(wèn)題黃色特征點(diǎn)處于較暗的環(huán)境下，很有可能它的RGB顏色范圍會(huì)受到影響變?yōu)閇70，255]，[120，255]，[0，80]，對(duì)比綠色特征點(diǎn)RGB范圍發(fā)現(xiàn)顏色出現(xiàn)了交叉，即通過(guò)計(jì)算機(jī)會(huì)把一些黃色特征點(diǎn)誤認(rèn)為綠色特征點(diǎn)進(jìn)行提取，所以不能只用一般的方法處理整幅圖像。對(duì)于上面提到的問(wèn)題，考慮對(duì)圖像引入特殊區(qū)域進(jìn)行補(bǔ)償?shù)姆椒▉?lái)處理這些問(wèn)題，即對(duì)比較暗的部分采用另一種顏色范圍進(jìn)行提取，對(duì)于這些較暗的部分，應(yīng)該對(duì)它們進(jìn)行單獨(dú)的顏色范圍統(tǒng)計(jì)，統(tǒng)計(jì)出各特征點(diǎn)顏色范圍的上下限，然后補(bǔ)充到之前的一般范圍中，這幾種范圍使用邏輯或組合起來(lái)對(duì)特征點(diǎn)區(qū)域進(jìn)行提取。特征點(diǎn)的提取直接關(guān)系到后面特征點(diǎn)匹配的精度，甚至關(guān)系到整個(gè)三維歐氏重構(gòu)的精度。而依照上述方法，一般都能很理想地提取出絕大部分的特征點(diǎn)，并且都把這四種顏色特征點(diǎn)區(qū)分開(kāi)來(lái)，能保證足夠的精度要求。 特征線的提取方法特征線的提取方法和特征點(diǎn)的提取方法類似，但一般無(wú)需用到特殊區(qū)域的補(bǔ)償方法，只需對(duì)整個(gè)圖像進(jìn)行處理。在具體的提取過(guò)程中，不是像特征點(diǎn)提取那樣對(duì)提取的范圍設(shè)置為白色（值為1），而其余背景設(shè)置為黑色（值為0），而是反過(guò)來(lái)對(duì)圖像中的非黑色區(qū)域設(shè)置為白色，即背景色為白色。簡(jiǎn)單的說(shuō)，在特征點(diǎn)提取中是在黑色背景上涂上白色特征區(qū)域（或特征點(diǎn)）來(lái)構(gòu)造二值圖像的，而在特征線提取中是在白色背景上涂上黑色區(qū)域來(lái)構(gòu)造二值圖像的。這是由實(shí)際處理時(shí)的多次比較得出的結(jié)論，這樣的方法更利于特征線的提取，并且程序也較簡(jiǎn)單。對(duì)于處理出來(lái)的特征線范圍依舊利用形態(tài)學(xué)方法中的腐蝕、膨脹操作對(duì)噪聲進(jìn)行濾波處理，利用開(kāi)操作、閉操作消除特征線區(qū)域的外部噪聲以及內(nèi)部空洞，然后進(jìn)行一定的收縮操作使特征線范圍細(xì)化為特征線。使用上述方法提取的特征線經(jīng)實(shí)驗(yàn)驗(yàn)證能達(dá)到很好的效果，基本沒(méi)有斷裂現(xiàn)象的存在，對(duì)特征點(diǎn)的匹配起到了良好的輔助作用。在由二維到三維的重構(gòu)過(guò)程中，首先提取特征點(diǎn)，然后把這些提取出來(lái)的特征點(diǎn)在圖像上的二維坐標(biāo)與編碼模板中相應(yīng)的點(diǎn)的二維坐標(biāo)[11]對(duì)應(yīng)起來(lái)，即把拍攝圖像上的特征點(diǎn)與編碼模板中的特征點(diǎn)一一匹配，換句話說(shuō)就是圖像上的點(diǎn)到底對(duì)應(yīng)模板中的哪個(gè)點(diǎn)。但事實(shí)上要把兩組坐標(biāo)精確的匹配起來(lái)是不容易的。原本設(shè)計(jì)出來(lái)的模板中任意兩點(diǎn)的間隔是一個(gè)常數(shù)（假設(shè)為a），而由于三維場(chǎng)景表面的復(fù)雜性，當(dāng)模板投影到三維物體上時(shí)，特征點(diǎn)的位置基本都會(huì)發(fā)生一定的偏移。任意兩點(diǎn)間的距離有的大于a，而有的小于a，這就為點(diǎn)的匹配帶來(lái)了很大的麻煩。如何能精確的找到相鄰的六個(gè)點(diǎn)（或者八個(gè)點(diǎn)）是一個(gè)關(guān)鍵問(wèn)題，前人研究過(guò)的許多模板中就有一些在這個(gè)問(wèn)題上并沒(méi)有找到很好的答案，原因就是模板中的特征點(diǎn)被孤立了。當(dāng)遇到三維表面曲線波動(dòng)比較大時(shí)，孤立的點(diǎn)被一個(gè)個(gè)分開(kāi)了，很難判斷是否是相鄰的點(diǎn)。但引入特征線后就能比較好的解決這個(gè)問(wèn)題。特征線的作用，簡(jiǎn)單講就是為了把一個(gè)個(gè)孤立的特征點(diǎn)串接起來(lái)，當(dāng)要尋找相鄰的特征點(diǎn)時(shí)，就沿著特征線來(lái)尋找，這樣就解決了由于特征點(diǎn)發(fā)生偏移而在尋找同一窗口中相鄰特征點(diǎn)時(shí)發(fā)生錯(cuò)誤的問(wèn)題。 特征點(diǎn)位置發(fā)生偏移該問(wèn)題解決后，就可以開(kāi)始對(duì)提取出來(lái)的特征點(diǎn)進(jìn)行匹配了。一般是采用下面的方法來(lái)對(duì)特征點(diǎn)進(jìn)行匹配：(1)先對(duì)彩色偽隨機(jī)編碼模板根據(jù)窗口大小建立一張位置與顏色排列的索引表。(2)對(duì)提取出來(lái)的四種顏色的特征點(diǎn)分別乘以相關(guān)系數(shù)進(jìn)行膨脹，乘一個(gè)系數(shù)的作用是為了把四種顏色的點(diǎn)區(qū)分開(kāi)來(lái)，這一步可以在之前的特征點(diǎn)提取中進(jìn)行。(3)在圖像上提取與窗口大小一致的相鄰的六個(gè)點(diǎn)，然后在索引表中掃描一次得到相同的顏色組合，即匹配成功，接著就能確定這個(gè)窗口中的六個(gè)特征點(diǎn)的匹配坐標(biāo)了。用這樣的方法可以對(duì)圖像中的大部分特征點(diǎn)進(jìn)行匹配，但為了得到更精確的效果，在實(shí)際操作中還進(jìn)行了一定的改進(jìn)處理[30]。其方法是采用了相鄰的上下兩個(gè)窗口相互驗(yàn)證的思想方法來(lái)保證匹配精度。具體方法如下描述：在采用了上下窗口驗(yàn)證的思想后，根據(jù)偽隨機(jī)編碼原理進(jìn)行編碼時(shí)，如果原來(lái)設(shè)定的檢測(cè)窗口大小為，此時(shí)總的檢測(cè)窗口就變成了。這時(shí)從圖像上最左上的特征點(diǎn)出發(fā)，沿特征線尋找它右側(cè)的臨近特征點(diǎn)，然后沿特征線向下分別找出這兩列下方的三個(gè)特征點(diǎn)，即能找出上下兩個(gè)窗口共八個(gè)特征點(diǎn)。在找特征點(diǎn)的過(guò)程中會(huì)記下其各自的顏色值，這樣根據(jù)上下兩個(gè)窗口中的顏色組合，可以分別求出這兩個(gè)窗口中個(gè)特征點(diǎn)在投影儀投影平面上的坐標(biāo)。然后判斷兩個(gè)窗口在投影儀投影平面上的位置是否上下相鄰，若是，說(shuō)明匹配結(jié)果正確，記下個(gè)特征點(diǎn)在投影平面上的坐標(biāo)，若不是，說(shuō)明窗口位于不連續(xù)平面的相交處或解碼過(guò)程偶然出現(xiàn)錯(cuò)誤而被檢測(cè)到，此時(shí)個(gè)特征點(diǎn)在投影平面上的坐標(biāo)不被記下。按照這種算法，對(duì)圖像中所有特征點(diǎn)依次處理，得到其在投影平面上的坐標(biāo)。采用相鄰窗口相互驗(yàn)證的方法后不僅能很好的解決由于不連續(xù)平面相交而經(jīng)常導(dǎo)致圖像中編碼圖案錯(cuò)位的問(wèn)題，而且還可以檢測(cè)到解碼過(guò)程中偶然會(huì)出現(xiàn)的由于特征點(diǎn)識(shí)別錯(cuò)誤或特征線連接錯(cuò)誤導(dǎo)致的解碼錯(cuò)誤，從而使解碼結(jié)果準(zhǔn)確可靠。在特征點(diǎn)匹配過(guò)程中，有時(shí)會(huì)出現(xiàn)垂直方向特征線相連的特征點(diǎn)不足四個(gè)或水平方向不足兩個(gè)的情況，此時(shí)這樣的特殊點(diǎn)是無(wú)法匹配的。 檢測(cè)窗口示意圖針對(duì)這種情況將采用附加的算法對(duì)剩余的特征點(diǎn)進(jìn)行匹配。特征點(diǎn)向左沿特征線搜尋相鄰且已被解碼的特征點(diǎn)，若搜索成功，則可根據(jù)相鄰特征點(diǎn)求此特征點(diǎn)在投影模板上對(duì)應(yīng)的顏色，檢測(cè)此顏色是否與此特征點(diǎn)顏色相符，若相符，說(shuō)明匹配正確，否則匹配取消，再使特征點(diǎn)沿上、下、右依次匹配，若均匹配錯(cuò)誤，則放棄此特征點(diǎn)。這樣能很好的解決位于圖像邊緣及陰影附近特征點(diǎn)的匹配問(wèn)題。通過(guò)這些手段可以基本對(duì)圖像上的每個(gè)點(diǎn)進(jìn)行匹配，給出相對(duì)應(yīng)的兩組坐標(biāo)，并且經(jīng)后續(xù)重構(gòu)驗(yàn)證，匹配結(jié)果均比較可靠，能達(dá)到精度要求。 本章小節(jié)本章是整篇論文的核心部分，首先先介紹了形態(tài)學(xué)圖像處理技術(shù)的相關(guān)知識(shí)，繼而借助這個(gè)技術(shù)，詳細(xì)介紹了如何對(duì)特征點(diǎn)、特征線進(jìn)行提取。在對(duì)特征點(diǎn)提取出來(lái)后，就涉及到如何能把圖像中的特征點(diǎn)和模板中的特征點(diǎn)一一精確的匹配起來(lái)，本章的第三小節(jié)就對(duì)這個(gè)問(wèn)題展開(kāi)了討論。綜上所述，：1. 根據(jù)特征點(diǎn)顏色的不同提取出各特征點(diǎn)所在的特征區(qū)域。2. 對(duì)特征區(qū)域的二值圖像依次進(jìn)行開(kāi)運(yùn)算、閉運(yùn)算或者腐蝕和膨脹操作組合以消除噪聲。3. 進(jìn)一步進(jìn)行收縮運(yùn)算，提取出各特征點(diǎn)所在的位置。4. 根據(jù)特征線的顏色范圍提取特征線所在的區(qū)域5. 對(duì)特征線所在特征區(qū)域的二值圖像依次進(jìn)行開(kāi)運(yùn)算和閉運(yùn)算以消除噪聲。6. 進(jìn)一步進(jìn)行細(xì)化運(yùn)算，提取出圖像中的特征線。7. 按照相鄰上下窗口相互驗(yàn)證的思想對(duì)圖像中所有特征點(diǎn)依次處理，準(zhǔn)確地得到絕大多數(shù)特征點(diǎn)在投影平面上的坐標(biāo)。8. 按照附加的算法繼續(xù)處理，得到剩余特征點(diǎn)在投影平面上的坐標(biāo)。開(kāi)始結(jié)束掃描出左上第一個(gè)點(diǎn)作為出發(fā)點(diǎn)沿特征線找出相鄰八個(gè)點(diǎn)附加算法放棄此組特征點(diǎn) 坐標(biāo)不被記下是否能找到八個(gè)點(diǎn)是否能沿特征線找到已知坐標(biāo)點(diǎn)根據(jù)坐標(biāo)判斷上下兩窗口是否相鄰記下上下兩窗口中的顏色組合和八個(gè)點(diǎn)在圖像上的坐標(biāo)根據(jù)顏色組合查找索引表中相同的顏色組合、坐標(biāo)記下相應(yīng)兩組坐標(biāo)值是否結(jié)束掃描下一個(gè)點(diǎn)作為出發(fā)點(diǎn)放棄此組特征點(diǎn)，坐標(biāo)不被記下 特征點(diǎn)匹配程序流程圖第四章 彩色偽隨機(jī)編碼投影實(shí)驗(yàn)與圖像處理上面已經(jīng)詳細(xì)介紹過(guò)了彩色偽隨機(jī)編碼模板的設(shè)計(jì)和相應(yīng)的特征點(diǎn)提取和匹配方法。下面通過(guò)一些實(shí)驗(yàn)來(lái)進(jìn)一步驗(yàn)證這些方法的正確性。實(shí)驗(yàn)主要分兩大部分：特征點(diǎn)、特征線提取實(shí)驗(yàn)和特征點(diǎn)匹配實(shí)驗(yàn)，分別采用圓球和人像石膏模型作為三維場(chǎng)景中的重構(gòu)物體，其中人像石膏模型由于比圓球石膏模型更復(fù)雜，所以將重點(diǎn)進(jìn)行討論。另外由于實(shí)驗(yàn)過(guò)程比較簡(jiǎn)單，將著重討論后續(xù)處理過(guò)程。 彩色偽隨機(jī)編碼投影實(shí)驗(yàn)彩色偽隨機(jī)編碼投影系統(tǒng)的實(shí)驗(yàn)設(shè)備包括一臺(tái)CCD攝像機(jī)和一臺(tái)LCD投影儀，投射的對(duì)象分別為一個(gè)圓球石膏模型和一個(gè)男性頭像石膏模型。實(shí)驗(yàn)要求在比較暗的環(huán)境下進(jìn)行，光線要盡量柔和，確保投影出的圖像各部分亮度差別不大，投影儀最好正對(duì)三維模型進(jìn)行投影。模型表面顏色要求單一，使用純白色石膏模型。，這樣石膏模型就被白色的特征線交叉著紅、黃、藍(lán)、綠的特征區(qū)域所覆蓋，這時(shí)由CCD攝像機(jī)把圖像拍攝下來(lái)。而后就分別以這兩幅圖像為基礎(chǔ)進(jìn)行數(shù)據(jù)處理。 圓球石膏模型投影圖像 人像石膏模型投影圖像、特征線提取與圖像處理所有數(shù)據(jù)處理都是在Matlab 。對(duì)特征點(diǎn)、特征線的提取，都是建立在圖像形態(tài)學(xué)相關(guān)知識(shí)的基礎(chǔ)上進(jìn)行的。運(yùn)用形態(tài)學(xué)方法來(lái)提取特征點(diǎn)、特征線，具有算法簡(jiǎn)單、處理速度快、精度較高等優(yōu)點(diǎn)。下面將結(jié)合具體實(shí)驗(yàn)來(lái)說(shuō)明如何提取特征點(diǎn)、特征線。、特征線提取的圖像處理首先拿到一幅圖像要做的第一件事就是對(duì)各顏色的RGB值進(jìn)行統(tǒng)計(jì)，得到各顏色的RGB值大致的范圍，然后根據(jù)這個(gè)范圍來(lái)區(qū)分各顏色。下面以圓球石膏模型圖像為例，對(duì)各顏色的RGB值進(jìn)行統(tǒng)計(jì)，同時(shí)也驗(yàn)證下特征點(diǎn)的四種顏色選擇的準(zhǔn)確性。對(duì)紅、黃、藍(lán)、綠、黑、白隨機(jī)選取十個(gè)點(diǎn)，：通過(guò)統(tǒng)計(jì)發(fā)現(xiàn)紅色的RGB值主要在([60,255],[0,110],[0,90])范圍內(nèi)，黃色為([100,255],[200,255],[0,100]),藍(lán)色為([0,60],[0,150],[170,255])，綠色為([0,90],[200,255],[0,100])，黑色為([0,60],[0,120],[0,60])，白色為([90,255],[170,255],[61,255])。比較得出紅、黃、藍(lán)、綠四種顏色范圍無(wú)兩兩交叉，所以選擇這四種顏色來(lái)代表編碼中的四個(gè)基元是完全可行的。顏色范圍統(tǒng)計(jì)出來(lái)以后，就可以依據(jù)此范圍來(lái)對(duì)四種顏色特征點(diǎn)進(jìn)行提取，以紅色為例，要提取紅色特征點(diǎn)區(qū)域，首先令RGB值在([60，255]， [0，110]， [0，90])范圍內(nèi)的像素點(diǎn)為1，其余為0，(a)。對(duì)圖像依次進(jìn)行腐蝕和膨脹組合操作，以去除特征區(qū)域的外部噪聲和內(nèi)部漏洞。如果噪聲比較大，可以對(duì)圖像多腐蝕（erode）幾次再進(jìn)行膨脹(dilate)，腐蝕的次數(shù)應(yīng)以不丟失特征點(diǎn)為界限，具體多少次由提取效果決定。(b)為使用形態(tài)學(xué)處理操作去噪后的效果圖，由圖看出實(shí)際提取效果還是很理想的。 RGB顏色范圍統(tǒng)計(jì)紅色黃色藍(lán)色綠色黑色白色1（87，68，51）（115，210，72）（32，93，222）（68，209，75）（28，51，48）（96，204，228）2（89，74，52）（126，210，85）（38，104，246）（76，210，71）（32，61，52）（104，211，211）3（102，97，69）（133，206，84）（35，97，207）（89，212，90）（34，70，47）（115，201，187）4（92，99，75）（170，210，107）（47，127，255）（75，208，74）（30，51，40）（107，213，217）5（88，64，42）（143，210，82）（38，99，206）（67，204，78）（41，82，63）（98，202，190）6（92，75，55）（99，191，72）（34，74，107）（71，206，70）（31，62，51）（100，208，207）7（82，77，67）（115，216，77）（37，106，222）（69，205，70）（30，61，48）（93，195，189）8（86，102，75）（102，201，83）（36，96，210）（62，200，66）