【文章內(nèi)容簡介】 地剝離二值圖象的邊界象素，但是剝離邊界象素必須保持目標的連通性而且使之最終成為單象素寬的圖象骨架，即細化就是將一個曲線形物體細化為一條單像素寬的線。本文引入細化是將其應用于特征線的提取。收縮是指一種以不觸及單像素物體的執(zhí)行方式進行腐蝕。當物體總數(shù)必須保持不變時,這種方法很有用。本文引入收縮是將其應用于特征點的提取。、特征線提取方法本論文主要是引入了數(shù)學形態(tài)學算法來提取編碼圖像中的特征點與特征線。、特征線提取的總體思路。 特征點的提取方法首先對CCD攝像機拍攝到的三維場景圖像中的四種顏色的特征點進行初步的RGB顏色范圍統(tǒng)計，找到各自的RGB顏色范圍的上下限，對這些范圍進行顏色區(qū)分，以提取出各自顏色特征點的范圍。提取出的結果分成4幅分量圖像，分別表示紅、黃、藍、綠特征點范圍，尤其注意的是提取的過程其實也是二值化的過程，因為用形態(tài)學方法來處理圖像都必須在二值圖像中進行。在特征點范圍提取出來后，此時得到的那些圖像中都包含一定的噪聲，因此利用數(shù)學形態(tài)學中的開運算可以去除圖像中的外部噪聲，利用閉運算去除特征區(qū)域的內(nèi)部漏洞。如果噪聲比較大，可先多腐蝕幾次再進行膨脹，但腐蝕的次數(shù)應該以不丟失特征點為界限。對去除了噪聲后的特征點圖像進行收縮運算，使特征區(qū)域收縮為特征點，并提取各特征點的位置。在四幅圖像都提取出了特征點后，對這四幅圖像分別乘以不同的系數(shù)來對這些點進行膨脹。不同的系數(shù)代表了不同的顏色，即用系數(shù)來對二值圖像上不同顏色的點進行區(qū)分。膨脹后用邏輯或把四幅圖像合并到一幅二值圖像中，就得到了一幅只包含有所有三維圖像特征點的二值圖像。CCD拍攝到的圖像特征點范圍提取紅色特征點范圍特征線范圍提取綠色特征點范圍黃色特征點范圍藍色特征點范圍紅色特征點綠色特征點黃色特征點藍色特征點特征點特征線 特征點、特征線提取方法示意圖以上的方法用于處理絕大部分理想的特征點，但在實際情況中會碰到一些復雜的情況，比如在投影時，如果三維場景由于不連續(xù)而產(chǎn)生陰影或三維場景中物體表面顏色不單一或者投影光線不均勻、柔和等，會影響到實際采集下來圖像中特征點的RGB顏色范圍，比如黃色和綠色，它們的標準RGB值為（255，255，0）和（0，255，0），一般對這兩種顏色范圍的取值為[100,255]，[200，255]，[0，100]和[0，90]，[200，255]，[0，100]，顯然，這兩種顏色范圍沒有交叉，即兩種顏色能很容易區(qū)分出來。但當投影時由于光線問題黃色特征點處于較暗的環(huán)境下，很有可能它的RGB顏色范圍會受到影響變?yōu)閇70，255]，[120，255]，[0，80]，對比綠色特征點RGB范圍發(fā)現(xiàn)顏色出現(xiàn)了交叉，即通過計算機會把一些黃色特征點誤認為綠色特征點進行提取，所以不能只用一般的方法處理整幅圖像。對于上面提到的問題，考慮對圖像引入特殊區(qū)域進行補償?shù)姆椒▉硖幚磉@些問題，即對比較暗的部分采用另一種顏色范圍進行提取，對于這些較暗的部分，應該對它們進行單獨的顏色范圍統(tǒng)計，統(tǒng)計出各特征點顏色范圍的上下限，然后補充到之前的一般范圍中，這幾種范圍使用邏輯或組合起來對特征點區(qū)域進行提取。特征點的提取直接關系到后面特征點匹配的精度，甚至關系到整個三維歐氏重構的精度。而依照上述方法，一般都能很理想地提取出絕大部分的特征點，并且都把這四種顏色特征點區(qū)分開來，能保證足夠的精度要求。 特征線的提取方法特征線的提取方法和特征點的提取方法類似，但一般無需用到特殊區(qū)域的補償方法，只需對整個圖像進行處理。在具體的提取過程中，不是像特征點提取那樣對提取的范圍設置為白色（值為1），而其余背景設置為黑色（值為0），而是反過來對圖像中的非黑色區(qū)域設置為白色，即背景色為白色。簡單的說，在特征點提取中是在黑色背景上涂上白色特征區(qū)域（或特征點）來構造二值圖像的，而在特征線提取中是在白色背景上涂上黑色區(qū)域來構造二值圖像的。這是由實際處理時的多次比較得出的結論，這樣的方法更利于特征線的提取，并且程序也較簡單。對于處理出來的特征線范圍依舊利用形態(tài)學方法中的腐蝕、膨脹操作對噪聲進行濾波處理，利用開操作、閉操作消除特征線區(qū)域的外部噪聲以及內(nèi)部空洞，然后進行一定的收縮操作使特征線范圍細化為特征線。使用上述方法提取的特征線經(jīng)實驗驗證能達到很好的效果，基本沒有斷裂現(xiàn)象的存在，對特征點的匹配起到了良好的輔助作用。在由二維到三維的重構過程中，首先提取特征點，然后把這些提取出來的特征點在圖像上的二維坐標與編碼模板中相應的點的二維坐標[11]對應起來，即把拍攝圖像上的特征點與編碼模板中的特征點一一匹配，換句話說就是圖像上的點到底對應模板中的哪個點。但事實上要把兩組坐標精確的匹配起來是不容易的。原本設計出來的模板中任意兩點的間隔是一個常數(shù)（假設為a），而由于三維場景表面的復雜性，當模板投影到三維物體上時，特征點的位置基本都會發(fā)生一定的偏移。任意兩點間的距離有的大于a，而有的小于a，這就為點的匹配帶來了很大的麻煩。如何能精確的找到相鄰的六個點（或者八個點）是一個關鍵問題，前人研究過的許多模板中就有一些在這個問題上并沒有找到很好的答案，原因就是模板中的特征點被孤立了。當遇到三維表面曲線波動比較大時，孤立的點被一個個分開了，很難判斷是否是相鄰的點。但引入特征線后就能比較好的解決這個問題。特征線的作用，簡單講就是為了把一個個孤立的特征點串接起來，當要尋找相鄰的特征點時，就沿著特征線來尋找，這樣就解決了由于特征點發(fā)生偏移而在尋找同一窗口中相鄰特征點時發(fā)生錯誤的問題。 特征點位置發(fā)生偏移該問題解決后，就可以開始對提取出來的特征點進行匹配了。一般是采用下面的方法來對特征點進行匹配：(1)先對彩色偽隨機編碼模板根據(jù)窗口大小建立一張位置與顏色排列的索引表。(2)對提取出來的四種顏色的特征點分別乘以相關系數(shù)進行膨脹，乘一個系數(shù)的作用是為了把四種顏色的點區(qū)分開來，這一步可以在之前的特征點提取中進行。(3)在圖像上提取與窗口大小一致的相鄰的六個點，然后在索引表中掃描一次得到相同的顏色組合，即匹配成功，接著就能確定這個窗口中的六個特征點的匹配坐標了。用這樣的方法可以對圖像中的大部分特征點進行匹配，但為了得到更精確的效果，在實際操作中還進行了一定的改進處理[30]。其方法是采用了相鄰的上下兩個窗口相互驗證的思想方法來保證匹配精度。具體方法如下描述：在采用了上下窗口驗證的思想后，根據(jù)偽隨機編碼原理進行編碼時，如果原來設定的檢測窗口大小為，此時總的檢測窗口就變成了。這時從圖像上最左上的特征點出發(fā)，沿特征線尋找它右側的臨近特征點，然后沿特征線向下分別找出這兩列下方的三個特征點，即能找出上下兩個窗口共八個特征點。在找特征點的過程中會記下其各自的顏色值，這樣根據(jù)上下兩個窗口中的顏色組合，可以分別求出這兩個窗口中個特征點在投影儀投影平面上的坐標。然后判斷兩個窗口在投影儀投影平面上的位置是否上下相鄰，若是，說明匹配結果正確，記下個特征點在投影平面上的坐標，若不是，說明窗口位于不連續(xù)平面的相交處或解碼過程偶然出現(xiàn)錯誤而被檢測到，此時個特征點在投影平面上的坐標不被記下。按照這種算法，對圖像中所有特征點依次處理，得到其在投影平面上的坐標。采用相鄰窗口相互驗證的方法后不僅能很好的解決由于不連續(xù)平面相交而經(jīng)常導致圖像中編碼圖案錯位的問題，而且還可以檢測到解碼過程中偶然會出現(xiàn)的由于特征點識別錯誤或特征線連接錯誤導致的解碼錯誤，從而使解碼結果準確可靠。在特征點匹配過程中，有時會出現(xiàn)垂直方向特征線相連的特征點不足四個或水平方向不足兩個的情況，此時這樣的特殊點是無法匹配的。 檢測窗口示意圖針對這種情況將采用附加的算法對剩余的特征點進行匹配。特征點向左沿特征線搜尋相鄰且已被解碼的特征點，若搜索成功，則可根據(jù)相鄰特征點求此特征點在投影模板上對應的顏色，檢測此顏色是否與此特征點顏色相符，若相符，說明匹配正確，否則匹配取消，再使特征點沿上、下、右依次匹配，若均匹配錯誤，則放棄此特征點。這樣能很好的解決位于圖像邊緣及陰影附近特征點的匹配問題。通過這些手段可以基本對圖像上的每個點進行匹配，給出相對應的兩組坐標，并且經(jīng)后續(xù)重構驗證，匹配結果均比較可靠，能達到精度要求。 本章小節(jié)本章是整篇論文的核心部分，首先先介紹了形態(tài)學圖像處理技術的相關知識，繼而借助這個技術，詳細介紹了如何對特征點、特征線進行提取。在對特征點提取出來后，就涉及到如何能把圖像中的特征點和模板中的特征點一一精確的匹配起來，本章的第三小節(jié)就對這個問題展開了討論。綜上所述，：1. 根據(jù)特征點顏色的不同提取出各特征點所在的特征區(qū)域。2. 對特征區(qū)域的二值圖像依次進行開運算、閉運算或者腐蝕和膨脹操作組合以消除噪聲。3. 進一步進行收縮運算，提取出各特征點所在的位置。4. 根據(jù)特征線的顏色范圍提取特征線所在的區(qū)域5. 對特征線所在特征區(qū)域的二值圖像依次進行開運算和閉運算以消除噪聲。6. 進一步進行細化運算，提取出圖像中的特征線。7. 按照相鄰上下窗口相互驗證的思想對圖像中所有特征點依次處理，準確地得到絕大多數(shù)特征點在投影平面上的坐標。8. 按照附加的算法繼續(xù)處理，得到剩余特征點在投影平面上的坐標。開始結束掃描出左上第一個點作為出發(fā)點沿特征線找出相鄰八個點附加算法放棄此組特征點 坐標不被記下是否能找到八個點是否能沿特征線找到已知坐標點根據(jù)坐標判斷上下兩窗口是否相鄰記下上下兩窗口中的顏色組合和八個點在圖像上的坐標根據(jù)顏色組合查找索引表中相同的顏色組合、坐標記下相應兩組坐標值是否結束掃描下一個點作為出發(fā)點放棄此組特征點，坐標不被記下 特征點匹配程序流程圖第四章 彩色偽隨機編碼投影實驗與圖像處理上面已經(jīng)詳細介紹過了彩色偽隨機編碼模板的設計和相應的特征點提取和匹配方法。下面通過一些實驗來進一步驗證這些方法的正確性。實驗主要分兩大部分：特征點、特征線提取實驗和特征點匹配實驗，分別采用圓球和人像石膏模型作為三維場景中的重構物體，其中人像石膏模型由于比圓球石膏模型更復雜，所以將重點進行討論。另外由于實驗過程比較簡單，將著重討論后續(xù)處理過程。 彩色偽隨機編碼投影實驗彩色偽隨機編碼投影系統(tǒng)的實驗設備包括一臺CCD攝像機和一臺LCD投影儀，投射的對象分別為一個圓球石膏模型和一個男性頭像石膏模型。實驗要求在比較暗的環(huán)境下進行，光線要盡量柔和，確保投影出的圖像各部分亮度差別不大，投影儀最好正對三維模型進行投影。模型表面顏色要求單一，使用純白色石膏模型。，這樣石膏模型就被白色的特征線交叉著紅、黃、藍、綠的特征區(qū)域所覆蓋，這時由CCD攝像機把圖像拍攝下來。而后就分別以這兩幅圖像為基礎進行數(shù)據(jù)處理。 圓球石膏模型投影圖像 人像石膏模型投影圖像、特征線提取與圖像處理所有數(shù)據(jù)處理都是在Matlab 。對特征點、特征線的提取，都是建立在圖像形態(tài)學相關知識的基礎上進行的。運用形態(tài)學方法來提取特征點、特征線，具有算法簡單、處理速度快、精度較高等優(yōu)點。下面將結合具體實驗來說明如何提取特征點、特征線。、特征線提取的圖像處理首先拿到一幅圖像要做的第一件事就是對各顏色的RGB值進行統(tǒng)計，得到各顏色的RGB值大致的范圍，然后根據(jù)這個范圍來區(qū)分各顏色。下面以圓球石膏模型圖像為例，對各顏色的RGB值進行統(tǒng)計，同時也驗證下特征點的四種顏色選擇的準確性。對紅、黃、藍、綠、黑、白隨機選取十個點，：通過統(tǒng)計發(fā)現(xiàn)紅色的RGB值主要在([60,255],[0,110],[0,90])范圍內(nèi)，黃色為([100,255],[200,255],[0,100]),藍色為([0,60],[0,150],[170,255])，綠色為([0,90],[200,255],[0,100])，黑色為([0,60],[0,120],[0,60])，白色為([90,255],[170,255],[61,255])。比較得出紅、黃、藍、綠四種顏色范圍無兩兩交叉，所以選擇這四種顏色來代表編碼中的四個基元是完全可行的。顏色范圍統(tǒng)計出來以后，就可以依據(jù)此范圍來對四種顏色特征點進行提取，以紅色為例，要提取紅色特征點區(qū)域，首先令RGB值在([60，255]， [0，110]， [0，90])范圍內(nèi)的像素點為1，其余為0，(a)。對圖像依次進行腐蝕和膨脹組合操作，以去除特征區(qū)域的外部噪聲和內(nèi)部漏洞。如果噪聲比較大，可以對圖像多腐蝕（erode）幾次再進行膨脹(dilate)，腐蝕的次數(shù)應以不丟失特征點為界限，具體多少次由提取效果決定。(b)為使用形態(tài)學處理操作去噪后的效果圖，由圖看出實際提取效果還是很理想的。 RGB顏色范圍統(tǒng)計紅色黃色藍色綠色黑色白色1（87，68，51）（115，210，72）（32，93，222）（68，209，75）（28，51，48）（96，204，228）2（89，74，52）（126，210，85）（38，104，246）（76，210，71）（32，61，52）（104，211，211）3（102，97，69）（133，206，84）（35，97，207）（89，212，90）（34，70，47）（115，201，187）4（92，99，75）（170，210，107）（47，127，255）（75，208，74）（30，51，40）（107，213，217）5（88，64，42）（143，210，82）（38，99，206）（67，204，78）（41，82，63）（98，202，190）6（92，75，55）（99，191，72）（34，74，107）（71，206，70）（31，62，51）（100，208，207）7（82，77，67）（115，216，77）（37，106，222）（69，205，70）（30，61，48）（93，195，189）8（86，102，75）（102，201，83）（36，96，210）（62，200，66）