【文章內容簡介】 圖像中物體的真正尺度。所以，需要考慮得到的圖像在多尺度下的描述，獲得所感興趣物體尺度。因此，尺度空間的很多處理算子跟哺乳動物視網膜和視覺系統(tǒng)有著極高的相似性。所以，尺度空間理論經常與生物視覺系統(tǒng)相關聯(lián)。這一節(jié)將討論尺度空間的基本概念以及理論基礎。并且利用幾個實際圖像實例來介紹尺度空間理論在場景分析中的應用。 圖像的金字塔化圖像的金字塔化所指的是對圖像進行低通濾波操作。在圖像的金字塔化中被利用的低通濾波器是高斯低通濾波器。具體地說，把一幅圖像和高斯濾波器進行卷積運算后，再對圖像進行橫軸和縱軸的方向進行抽樣。這樣得到的一些列圖像稱之為已金字塔化的圖像序列。不多，它雖然能夠表達出圖像在多尺度下的描述，但它缺少扎實的理論背景，很難分析圖像中物體的各種尺度。早在1983年，Witkin提出信號的尺度空間表達就是利用一系列單參數、款讀遞增的高斯濾波器將原始信號濾波的道德一組低頻信號。說道低通濾波器，雖然其種類很多，但是，Koenderink、Lindeberg、Florack等科學家利用精準的數學理論通過不同途徑證明了高斯核就是實現尺度變換的唯一的變換核。[2,13]由不同高斯核組成的尺度空間是規(guī)范的和現行的，而且滿足一下的若干性質：平移不變性、尺度不變性和旋轉不變性等等。WItkin對尺度空間理論最重要的貢獻之一就是把這些表達與信號在不同尺度上的結構用系統(tǒng)方法關聯(lián)在一起，從而將尺度這個維度很自然的加入到尺度空間表達中，使得跨尺度圖像結構的某些行為能夠被捕獲。[2,13] 高斯尺度空間 SIFT算法是在不同的尺度空間上查找關鍵點，而尺度空間的獲取使用高斯模糊來實現，Lindeberg等人已證明高斯卷積核是實現尺度變換的唯一變換核，并且是唯一的線性核。本節(jié)先介紹高斯模糊算法。 高斯模糊是一種圖像濾波過程。高斯模糊所用到的函數就是高斯函數（正態(tài)分布）計算模糊模板。使用該模板與原圖像進行卷積運算，并且得到一系列模糊圖像。N維空間高斯函數方程為： (21) 其中，是正態(tài)分布的標準差，值越大，圖像越模糊(平滑)。r為模糊半徑，模糊半徑是指模板元素到模板中心的距離。如二維模板大小為m*n，則模板上的元素(x,y)對應的高斯計算公式為： (22)在二維空間中，這個公式生成的曲面的等高線是從中心開始呈正態(tài)分布的同心圓。高斯函數是圓對稱的分布不為零的像素組成的卷積矩陣與原始圖像做變換。每個像素的值都是周圍相鄰像素值的加權平均。原始像素的值有最大的高斯分布值，所以有最大的權重，相鄰像素隨著距離原始像素越來越遠，其權重也越來越小。這樣進行模糊處理比其它的均衡模糊濾波器更高地保留了邊緣效果。理論上來講，圖像中每點的分布都不為零，這也就是說每個像素的計算都需要包含整幅圖像。在實際應用中，在計算高斯函數的離散近似時，在大概3σ距離之外的像素都可以看作不起作用，這些像素的計算也就可以忽略。通常，圖像處理程序只需要計算(+1)*( +1)的矩陣就可以保證相關像素影響。 根據σ的值，計算出高斯模板矩陣的大小(+1)*( +1)，使用公式(12)計算高斯模板矩陣的值，與原圖像做卷積，即可獲得原圖像的平滑(高斯模糊)圖像。為了確保模板矩陣中的元素在[0,1]之間，需將模板矩陣歸一化。5*。 表21下圖是5*5的高斯模板卷積計算示意圖。高斯模板是中心對稱的。 尺度空間（scale space）理論早在1962年被Iijima提出了以后，Witkin 和Koenderink等人的推廣下，漸漸得到了眾多人們的關注，后來在計算機視覺領域內被廣泛使用。尺度空間理論的基本思想是在圖像信息處理領域里引入一個參數（我們稱之為尺度），通過聯(lián)系變化的尺度參數獲取多尺度下的空間序列，并對這些已獲取的序列進行輪廓的提取，以該輪廓作為一個特征向量，實現角點、邊緣檢測以及不同分辨率上的特征提取等。尺度空間方法改變了傳統(tǒng)的單尺度圖像處理技術，進一步實現了尺度連續(xù)變化的圖像動態(tài)分析框架。尺度是自然存在的，不是認為創(chuàng)造的，高斯尺度空間只是表現尺度空間的一種形式。這樣，能夠更容易獲得原圖像的本質特征。尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離目標由近到遠時候的目標在視網膜上的過程。尺度空間要滿足對圖像的分析和圖像的位置、大小、角度以及仿射變換無關，也就是說要滿足平移不變性、歐幾里得不變性、尺度不變性和仿射不變性?？偟膩碚f，要滿足視覺不變性。視覺不變性的解釋如下：比如拿我們人類所擁有的視覺系統(tǒng)解釋。當我們用眼睛觀察一個物體的時候，假如物體所處的背景的光照變化了，我們的視網膜上形成的圖像的對比度和亮度水平就變了，而且我們和物體之間的距離變化的時候，在我們的視網膜上形成的圖像信息不同的，就是說我們的視網膜上形成的圖像的位置、大小、形狀以及角度是不同的。所以，我們所要利用的尺度空間要克服這些變化，總體來說要滿足尺度不變性、歐幾里得不變性、平移不變性以及仿射不變性。下面我們來看尺度空間如何表示.一幅圖像的尺度空間，定義為具有一個變化尺度的高斯函數與原圖像I(x,y)的卷積。即*。 *表示卷積。 上面的公式(23) 下面的公式(24)X,y所指的是原圖像的每個點的像素值，也就是說在圖像坐標的坐標值。指的是尺度空間參數。值越小表示圖像被平滑的越少，相應的尺度也就越小。大尺度對應于圖像的概貌特征，小尺度對應于圖像的細節(jié)特征。m，n表示高斯模板的維度。接下來要構建金字塔，第一步首先利用上述的公式對原圖像進行多尺度的高斯模糊，第二部再進行采樣后得到一系列多尺度下的高斯金字塔。 如同上面的圖，可以看出所謂的金字塔模型就是對原圖像進行降采樣，從大到小，從下到上，把采樣得到的圖像序列排列的。每個金字塔模型里有n層，第一層就是原圖像。金字塔的層數根據所用到的原圖像的大小以及最上面的圖像大小來決定。而且看圖片就可以不難發(fā)現每次濾波的尺度參數值就是前一個參數值的兩倍，而每次采樣時候我們采納了降采樣，就是個點采樣一次。所以大小隨著層次的上升就橫向縱向各取1/2采樣。 關鍵點檢測在這節(jié)里需要定義尺度空間，這尺度空間叫DoG尺度空間。在上述的內容中提到了用函數表示了圖像的尺度空間。它是多尺度的高斯函數和原圖像卷積后得到的。DoG尺度空間的定義如下：K為響亮的兩個尺度空間倍數的常數。DoG在計算上相鄰圖像高斯平滑后的圖像詳見，可見簡化了計算。 這樣獲取的一系列高斯差分圖像是DoG尺度空間。我們只要看出圖像上的像素點變化情況就可以了，也就是說如果像素值變了就說明那個像素點和其領域內存在特征點，如果沒有發(fā)生什么變化，那就說明沒有特征點。這樣找出的特征點連起來，往往都是我們所關心的目標的主輪廓。下面的圖告訴我們DoG尺度空間所表達的信息以及其效果。從下面的一系列DoG圖像來看我們通過DoG空間，能夠獲取目標的（我們所關心的物體）重要信息，比如輪廓。使用DoG對LoG金絲帶來的好處是顯而易見的。第一是LoG需要使用兩個方向的高斯二維微分卷積核，而DoG直接使用高斯卷積核，省去了對卷積核的生成的運算量；第二是DoG保留了哥哥高斯尺度空間的圖像，這樣，在省城某以空間尺度的特征時候，可以直接使用產生的尺度空間圖像，而無需要重新再次聲稱該尺度的圖像；第三是作為LoG的近似和簡化，DoG具有與LoG相同的性質，而且檢測特征點檢測更加穩(wěn)定。[2,81] 嚴密的來說，DoG尺度空間也是金字塔，原因很簡單。DoG尺度空間是從LoG尺度空間金字塔模型中獲取的。將圖像金字塔共分O組（Octave），每組共有S層（Level），下一組的圖像由上一組圖像按照隔點降采樣得到，這樣做的目的是為了減少卷積運算的工作量。[2,81] SIFT特征點空間生成示意圖 上面的圖像就是高斯金字塔與DoG的獲取過程。高斯金字塔的第一組圖片中相鄰的圖像相減得到了對應組的DoG空間第一組，要注意的是，這時候因計算的關系少了一個層次，也就是說高斯金字塔第一組里面共有五幅圖像，到DoG空間金字塔第一組里面變成了四幅圖像。第二組也是這樣得出的。以此類推，能夠得到高斯金字塔對應的DoG圖像金字塔。[2,81] 特征點的檢測是通過同一組內各DoG相鄰層之間比較完成的。[2,84] 為了尋找尺度空間的極值點（極大值和極小值），每個點（這兒的“點”就是采樣的點）必須和它所在的層面上的8個領域點、相鄰的兩個層面上各取18個點，也就是說，要和相鄰的26個相鄰點進行比較，確定是否極值點。所以，要進行比較的領域點形成了3*3*3的立方體領域。這樣獲取的極值點并不是真正意義上的極值點，原因是所得到的極值點畢竟是采樣點，所以我們得到的極值點附近肯定存在連續(xù)圖像上的極值點。我們要用插值的方法進行曲線擬合，并且要找到這極值點作為特征利用。利用已知的離散空間點插值得到連續(xù)空間極值點的方法叫做子像元插值方法。在這兒我們需要利用三元二次函數來擬合完成插值得到連續(xù)的函數，然后根據已得到的極值點來確定真正意義上的極值點。這樣就很正確的定位特征點的位置。 特征點方向確定以及SIFT特征向量的生成通過上面敘述的一系列過程，得到特征點以后，需要給每個特征點賦予其方向，所謂的方向所指的是該特征點的方向參數。特征點方向的確定是一個不可缺少的一個極其重要的環(huán)節(jié)。因為要知道特征點的方向，就可以在后續(xù)的匹配過程中容易找到對應的匹配點（也可以是對象）。這樣得出來的描述子就可以具備旋轉不變性。描述的目的是在關鍵點（特征點）計算后，用一組向量將這個關鍵點（特征點）描述出來，這個描述子不但包括關鍵點（特征點），也包括關鍵點（特征點）周圍對其有貢獻的像素點。用來作為目標匹配的依據，也可使關鍵點（特征點）具有更多的不變性，如光照變化、3D視點變化等。描述的思路：通過對關鍵點周圍圖像區(qū)域分塊，計算塊內梯度直方圖，生成具有獨特性的向量，這個向量是該區(qū)域圖像信息的一種抽象，具有唯一性。下面的兩個式就是（x，y）點地圖的模值和角度（方向）。 () ()對每個特征點，利用上面兩個式進行計算以后，再用直方圖對該特征點領域內所有點的梯度方向進行統(tǒng)計。梯度直方圖范圍為0~360度，我們每10度一個柱來表示直方圖，那就一共36個柱來表示了。主方向，也就是其主峰值對應的方向。峰值大小為主峰值的百分之八十的就是該特征點對應的輔方向。完了上面的整個過程以后，需要生成特征描述符。 8個方向直方圖以及SIFT算法描述子生成示意圖上面是示意圖，首先取8*8大小的領域進行統(tǒng)計，然后四個個4*4大小的領域里進行統(tǒng)計，然后從這已經統(tǒng)計好的四個資料再次進行統(tǒng)計，最后得到該特征點（關鍵點）的直方圖。其中峰值最高的就是該關鍵點（特征點）的主方向（第五個柱），而第二個正是需要的輔方向。這樣得到了關鍵點（特征點）的維數為128維，因為每個點具有8個方向信息，那么每個特征點就對應著128維的向量。這樣獲得的向量就是對應特征點的SIFT特征向量。為了提高匹配的穩(wěn)定性，Lowe建議對每個關鍵點使用4*4共16個種子來描述，這樣對于一個關鍵點就可以產生128維的數據，及最終形成128維的SIFT特征向量。此時的SIFT特征向量已經消除掉了尺度變化、旋轉變化等幾何變形因素的影響，并具備了穩(wěn)定性、獨特性以及各種不變性（尺度不變性、旋轉不變性等）。接下來我們要采用特征點特征向量的歐氏距離來作為兩幅待匹配的圖像中特征點（關鍵點）的相似性進行比較。從左攝像機拍到的圖像中取某個特征點，并找出有攝像機拍下來的圖像中歐氏距離最近的前兩個特征點。在這兩個特征點中，如果最近的距離出一次近的距離小于某個比例閾值，則接受這一對匹配點。如果我們把這閾值設成小一點，就不難想象，SIFT特征匹配點數目就會減少，但是其穩(wěn)定性很高。下一步要進行匹配，具體的匹配方法在一節(jié)中詳細介紹。 SIFT特征點匹配從左右兩個攝像頭拍攝下來的兩幅圖像中，各取各圖片的SIFT特征點后，我們要進行粗匹配。說道粗匹配，其實已經敘述過，在上一節(jié)內容中提到過用BBF搜索法（雖然在上述的內容中沒有這么叫，但嚴格的說是BBF搜索法）確定粗匹配對。但是，這些粗匹配對中正確地匹配也有，錯誤的匹配也存在。只靠最近鄰次近鄰距離比法確定粗匹配關系是可以的，而且已經有很多經典算法問世以后被廣泛利用著。但是，用這些經典算法來得出來的匹配對在后續(xù)的精確匹配工作中會受到很多障礙，因為后續(xù)的精確匹配工作中被利用的算法是RANSAC算法。那么有什么經典的算法、具體的BBF搜索法來得出的粗匹配集到底是什么樣以及為什么要利用RANSAC算法，我們就一個一個地來看看。 BBF搜索法當進行特征點粗匹配的時候，Lowe采用了基于特征點最近鄰次近鄰距離比的BBF（Best Bin First）搜索算法。對特征點集進行各種計算的時候，常常會用到窮盡搜索、分層搜索、牛頓法、最速下降法、動態(tài)規(guī)劃法、遺傳算法、方向加速發(fā)和神經網絡等。 最近鄰次近鄰距離比首先定義兩個特征點特征向量之間的歐氏距離為兩個特征點之間的距離。從兩幅（左右攝像機同步拍下來的）圖像中各取SIFT特征點，這時候兩幅圖像各取