【導(dǎo)讀】圖像配準(zhǔn)是多種圖像處理及應(yīng)用如物體辨識(shí)、變化檢測(cè)、三維建模等的基。間坐標(biāo)變換參數(shù)：最后由坐標(biāo)變換參數(shù)進(jìn)行圖像配準(zhǔn)。本文主要研究?jī)?nèi)容是基于角點(diǎn)的圖象配準(zhǔn)技術(shù)。角點(diǎn)檢測(cè)算法的研究與實(shí)現(xiàn)。Moravec算子、Harris算子、SUSAN算子、Forstner算子、Trajkovic算子以及FAST. 并通過(guò)實(shí)驗(yàn)對(duì)Harris提取算子的性能進(jìn)行分析。利用仿射變換，剛體變換并通過(guò)雙線性插值的重采樣方法對(duì)圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)。原型系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)。型系統(tǒng)開(kāi)發(fā)，并通過(guò)實(shí)際的圖像配準(zhǔn)實(shí)驗(yàn)，驗(yàn)證了所提出方案的性能。

　　

【正文】 仿射變換、投影變換和非線性變換，并對(duì)重 采樣中的插值系數(shù)選擇，差值函數(shù)選擇進(jìn)行分析討論。 第三章 角點(diǎn)檢測(cè) 技術(shù) 基于角點(diǎn)圖像配準(zhǔn)中，角點(diǎn)的提取是圖像配準(zhǔn)的關(guān)鍵步驟。本章中我們將簡(jiǎn)要分析當(dāng)前具有代表性的角點(diǎn)檢測(cè)算子，包括 Morvaec 算子、 SUSAN 算子、廈門(mén)大學(xué)軟件學(xué)院畢業(yè)設(shè)計(jì)論文 15 Forstner 算子、 Trajkovic 算子以及 FAST 算子 ，最后詳細(xì)分析 Harris 算子，并通過(guò)實(shí)驗(yàn)對(duì) Harris 算子的性能進(jìn)行分析。 角點(diǎn)提取 技術(shù) 概述 自從第一個(gè)角點(diǎn)提取算法在上世紀(jì) 70 年代末被提出以來(lái) ， 已經(jīng)有很多的角點(diǎn)提取算法被提出。本章重點(diǎn)介紹在眾多算法中比較普遍的算法，以對(duì)角點(diǎn)的發(fā)展有一定的認(rèn)識(shí)。然而更重要的是至今仍然沒(méi)有比較好的通用的角點(diǎn)提取算子。下圖顯示了角點(diǎn)提取算子的發(fā)展歷史： 圖 31： 角點(diǎn)檢測(cè)算子的發(fā)展歷史 [7] 通過(guò)興趣點(diǎn)提取發(fā)現(xiàn)多幅圖像中的相關(guān)點(diǎn)對(duì)是圖像處理和計(jì)算機(jī)視覺(jué)關(guān)鍵的步驟。角點(diǎn)就是較為重要的興趣點(diǎn)之一。提取角點(diǎn)的算法通常稱(chēng)為角點(diǎn)提取算子，對(duì)于角點(diǎn)提取算子，必須盡量滿(mǎn)足一下標(biāo)準(zhǔn)： （ 1） 能夠提取所有真正的角點(diǎn)； （ 2） 不能提取假角點(diǎn)； （ 3） 角點(diǎn)定位要準(zhǔn)確 ； （ 4） 角點(diǎn)提取算子要有好的重復(fù)率（ repeatability rate） 和 穩(wěn)定性 (good stability)； （ 5） 角點(diǎn)提取算子具有良好的抗噪性 （ 6） 角點(diǎn)提取算子計(jì)算效率較好 角點(diǎn)提取算子提取 所有真角點(diǎn)而不提取假角點(diǎn)很大程度上取決于角點(diǎn)的定義。然而沒(méi)有滿(mǎn)意的角點(diǎn)定義，好在有的圖像的角點(diǎn)在只管上很明顯，因此這些基于角點(diǎn)檢測(cè)的圖像配準(zhǔn)技術(shù)研究 16 圖像可以用來(lái)評(píng)估不同角點(diǎn)提取算子的執(zhí)行效果。 圖 32： 好的定位與不好的定位示意圖 定位涉及到發(fā)現(xiàn)角點(diǎn)位置的準(zhǔn)確性。這項(xiàng)要求在某些需要多幅圖像融合的應(yīng)用中特別重要，例如在圖像配 準(zhǔn)中。圖 32 中紅色的圓圈表示角點(diǎn)，左邊的角點(diǎn)提取定位準(zhǔn)確，而右邊的卻存在偏差。 圖 33： 旋轉(zhuǎn)后丟失一個(gè)角點(diǎn) 角點(diǎn)提取的重復(fù)率（ repeatability rate）是指兩幅圖像之間重復(fù)出現(xiàn)的所有角點(diǎn)的百分比。圖 33 顯示三角形一個(gè)角點(diǎn)在旋轉(zhuǎn)后沒(méi)有被提取到，那么這種變化的重復(fù)率是 2/3。 在某些應(yīng) 用中，圖像噪聲不可避免，所以要求角點(diǎn)提取算子必須具有抗噪性，角點(diǎn)提取算子不能夠把噪聲點(diǎn)當(dāng)成角點(diǎn)，噪聲必須對(duì)于角點(diǎn)提取算子的定位有最小的影響。 許多的應(yīng)用中要求實(shí)時(shí)的處理，因此要求角點(diǎn)提取算子有較高的計(jì)算效率。這些應(yīng)用經(jīng)常選擇比較簡(jiǎn)單的角點(diǎn)提取算子（較低的魯棒性和定位精度）以最小化發(fā)現(xiàn)角點(diǎn)的時(shí)間。很多算子都針對(duì)這個(gè)需求設(shè)計(jì)的。 廈門(mén)大學(xué)軟件學(xué)院畢業(yè)設(shè)計(jì)論文 17 圖 34： 包含許多類(lèi)型角點(diǎn)的人工測(cè)試圖像 圖 35： L 型交叉點(diǎn)， Y 型交叉點(diǎn)， T 型交叉點(diǎn)，箭型交叉點(diǎn)， X 型交叉點(diǎn) 如何去評(píng)估一個(gè)角點(diǎn)提取算子的好壞，本文用比較常見(jiàn)的用于評(píng)估角點(diǎn)提取算子的圖像：一幅人工測(cè)試圖像和兩幅真實(shí)世界的圖像。圖 34 中包含許多的角點(diǎn)（在 圖 35 中描述的 L 型交叉點(diǎn)， Y 型交叉點(diǎn)， T 型交叉點(diǎn)，箭型交叉點(diǎn)， X型交叉點(diǎn)），被廣泛的應(yīng)用于評(píng)估角點(diǎn)提取算子對(duì)不同類(lèi)型角點(diǎn)的響應(yīng)。 主要角點(diǎn)提取算法 Moravec 算子 這個(gè)算法是 Hans P. Moravec 于 1977 為他研究中的 斯坦福運(yùn)貨車(chē)（ Stanford Cart）在擁擠環(huán)境中的導(dǎo)航而開(kāi)發(fā)的。 Moravec 定義 “興趣點(diǎn) ”的概念為圖像中的明顯區(qū)域并且斷定這些興趣點(diǎn)可以用于發(fā)現(xiàn)相鄰幀中的匹配區(qū)域。這是一個(gè)重要的低級(jí)處理步驟，可以讓他判斷在交通工具的環(huán)境（ vehicle39。s environment）中的物基于角點(diǎn)檢測(cè)的圖像配準(zhǔn)技術(shù)研究 18 體和位置。 Moravec 算子 [89]被認(rèn)為是角點(diǎn)提取算子是因?yàn)樗x在各個(gè)方向上灰度值變化大的點(diǎn)為興趣點(diǎn)。這是角點(diǎn)的一個(gè)例子 ， 許多人都將這一概念作為對(duì)角點(diǎn)的寬松定義。至今也沒(méi)有一個(gè)很好的角點(diǎn)定義。 Moravec 算子用一個(gè)方形的窗口（通常是 3x3， 5x5， 7x7 像素）來(lái)計(jì)算某個(gè)點(diǎn) P 的灰度變化值 V。窗口以 P 為中心，沿 8 個(gè)原則上的方向（水平，豎直，四個(gè)斜對(duì)角）上移動(dòng)一個(gè)像素?；叶茸兓稻褪且苿?dòng)后與移動(dòng)前窗口中對(duì)應(yīng)像素灰度差的平方和。圖 36 顯示了一個(gè)理想的角點(diǎn)計(jì)算值：一個(gè)孤立的黑色區(qū) 域（灰度為 0）在白色背景（灰度為 255）。左邊的圖顯示了 P 點(diǎn)向右上方向移動(dòng)一個(gè)像素的灰度變化，紅色的窗口為移動(dòng)前的，藍(lán)色的為移動(dòng)后的。 Moravec 將 8 個(gè)方向上灰度變化的最小值作為該點(diǎn)的角點(diǎn)響應(yīng)值。下面為 Moravec 計(jì)算公式，其中(u， v) = (1,0), (1,1), (0,1), (1, 1)， (1,1), (1,0), (0,1), (1,1)。 ? ? 2,( , ) ( , ) ( , ) ( , )xyE u v w x y I x u y v I x y? ? ? ?? （ ） 圖 36： 用 3x3 窗口計(jì)算右上方向的灰度變化值 為什么 Moravec 可以提取出角點(diǎn)，我們用圖 37 說(shuō)明。圖中顯示，在 A 情形圖像區(qū)域內(nèi)各方向的灰度變化都為 0，角點(diǎn)響應(yīng)值為 0 ，在 B 中，窗口在水平方向灰度變化為 0，角點(diǎn)響應(yīng)值也為 0，在 C 中所有方向灰度變化都很大，既為角點(diǎn)，在 D 中孤立點(diǎn)在各個(gè)方向上的灰度變化也很大，因此被認(rèn)為是角點(diǎn)。由此可見(jiàn)， Moravec 可以提取出角點(diǎn)。 廈門(mén)大學(xué)軟件學(xué)院畢業(yè)設(shè)計(jì)論文 19 圖 37： Moravec 算子的四種情況 Moravec 算子可以對(duì)圖像中的每一像素點(diǎn)給出角點(diǎn)響應(yīng)值（ cornerness）。這個(gè)值是 8 個(gè)方向上灰度變化的最小值。對(duì)圖像中的每個(gè)點(diǎn)使用 Moravec 算子就產(chǎn)生了一個(gè)角點(diǎn)化映射。圖 38 顯示的是用 3x3 窗口產(chǎn)生的角點(diǎn) 化映射。這副圖像說(shuō)明了在 Moravec 中一些重要的點(diǎn) ： （圖 38 中角點(diǎn)化值是被除于 2552） （ 1） 角點(diǎn)是局部最大值。 （ 2） 孤立的像素點(diǎn)的角點(diǎn)化值等于角點(diǎn)的角點(diǎn)化值。 （ 3） 在圖像邊緣的區(qū)域無(wú)法直接適用 Moravec（圖中用 X 表示） 圖 38： Moravec 角點(diǎn)化映射 第一點(diǎn)表明，角點(diǎn)是在角點(diǎn)化（ cornerness）映射中局部最大值。局部最大值可以由抑制局部非最大（ nonmaximal suppression）確定。但是這導(dǎo)致了孤立點(diǎn)被認(rèn)為是角點(diǎn)，因此 Moravec 算子是對(duì)噪聲敏感的。使用一個(gè)更大的窗口可以提高抗噪性。然而即使這樣，孤立點(diǎn)很可能還是局部最大值，因此我們有必要設(shè)置一個(gè)角點(diǎn)閾值以減少假角點(diǎn)。選擇這個(gè)閾值是比較困難的，既要足夠高以避免假角點(diǎn)，又要足夠低以保留較多的真角點(diǎn)。 基于角點(diǎn)檢測(cè)的圖像配準(zhǔn)技術(shù)研究 20 Forstner 算子 Forstner 算子是有效的特征點(diǎn)定位算子，其特點(diǎn)是 精度高且運(yùn)算速度快。Forstner 算子的定位思想是對(duì)角點(diǎn)在最佳窗口內(nèi)通過(guò)每個(gè)像元的 “邊緣直線 ”進(jìn)行加權(quán)重心化，然后對(duì)法方程進(jìn)行代數(shù)求解求出其準(zhǔn)確位置。 Forstner 提取算子是通過(guò)計(jì)算各像素的的 Robert 梯度（圖 39）和以像素為中心的一個(gè)窗口的灰度協(xié)方差矩陣，在影響中選著具有盡可能小而接近圓的點(diǎn)作為特征點(diǎn)。 Robert 梯度的計(jì)算公式如下： 1 , 1 , 1 1 ,u i j i jv i j i jgg g gugg g gv?????? ? ???? ? ?? （ ） 圖 39： Robet 梯度示意圖 灰度協(xié)方差為： 1212u u vv u vg g gQNg g g?? ???? ???????? （ ） SUSAN 算子 SUSAN 算法 [9]是由英國(guó)牛津大學(xué)的 S. M. Smith , J . M. Brady 首先提出的 ，廈門(mén)大學(xué)軟件學(xué)院畢業(yè)設(shè)計(jì)論文 21 它主要是用來(lái)計(jì)算圖像中的角點(diǎn)特征的。 SUSAN 是 “ Smallest Univalue Segment Assimilating Nucleus” 的縮寫(xiě) ， 即同化核分割最小值。 SUSAN 算法的特點(diǎn) ： （ 1） 對(duì)角點(diǎn)的檢測(cè)比對(duì)邊緣檢測(cè)的 效果要好 ， 適用于基于角點(diǎn)匹配的圖像配準(zhǔn) ； （ 2） 無(wú)需梯度運(yùn)算 ， 保證了算法的效率 ； （ 3） 具有積分特性 (在一個(gè)模板內(nèi)計(jì)算 SUSAN 面積 )， 這樣就使得 SUSAN 算法在抗噪和計(jì)算速度方面有較大的改進(jìn)。 SUSAN 算子是 用一個(gè)一定半徑的圓模板放置在圖像上（如圖 310）。如果模板上存在一區(qū)域，使該區(qū)域上對(duì)應(yīng)圖像的每一像素處的灰度值與圓心的灰度值相同（或相近），那么就定義該區(qū)域?yàn)楹酥迪嗨茀^(qū)，即 USAN(Univalue Segment Assimilating Nucleus，即同化核分割相同值區(qū)域 )，其中像素的 個(gè)數(shù)定義為這個(gè)模板的面積。 圖 310： SUSAN 圓形模版 圖 311： SUSAN 的 5 種位置 基于角點(diǎn)檢測(cè)的圖像配準(zhǔn)技術(shù)研究 22 圖 311 的模版面積用白色表示。觀察圖中各個(gè)模版，容易發(fā)現(xiàn)： （ 1） 當(dāng)核位于平坦區(qū)域時(shí)（模版 e）， USAN 面積最大； （ 2） 當(dāng)核位于一條直線邊緣附近時(shí)（模版 c）， USAN 面積較小； （ 3） 當(dāng)核恰好位于一條直線邊緣上時(shí)（模版 b）， USAN 面積減半； （ 4） 當(dāng)核恰好位于角點(diǎn)上時(shí)（模版 b）， USAN 面積為情況 1 的 1/4； 總之， USAN 模版運(yùn)算后得到的 USAN 面積， USAN 面積越小，表明當(dāng)前點(diǎn)時(shí)特征點(diǎn)的可能 越大，也即輸出圖像增強(qiáng)了特征點(diǎn)，而且對(duì)二位特征（如角點(diǎn)）的增強(qiáng)程度大于對(duì)一維特征（直線邊緣）的增強(qiáng)。因此將這種算法稱(chēng)為 SUSAN（ Smallest Univalue Segment Assimilating Nucleus）算法。 在檢測(cè)角點(diǎn)的應(yīng)用中， SUSAN 算法的基本原理是： 在每個(gè)像素移動(dòng)一個(gè)小的圓形模板以檢測(cè)局部信息，并利用預(yù)先設(shè)定的亮度閾值比較模板核及其周?chē)袼氐牧炼戎?，亮度值相同或相近的為一個(gè) USAN，最后通過(guò)面積最小的 USAN 檢測(cè)角點(diǎn)。 Trajkovic 算子 Trajkovic 算 子 [11]是由 M. Trajkovic 和 M. Hedley 在 1998 年提出的。他們的目標(biāo)是只要最小的計(jì)算量達(dá)到現(xiàn)在主流提取算子的重復(fù)率和定位準(zhǔn)確性。把它和Harris 相比重復(fù)率稍微差了一點(diǎn)，但在交叉點(diǎn)類(lèi)型尤其是 L 型的定位有很大進(jìn)步。經(jīng)驗(yàn)表明 Trajkovic 算子比 Harris 快 5 倍，至少比其他算子快 3 倍，包括計(jì)算效率比較高的 SUSAN 算子。 Trajkovic 采用與 Moravec 相同的角點(diǎn)定義：角點(diǎn)就是在所有方向上灰度變化大的點(diǎn)。 Trajkovic 考慮一個(gè)小的圓形窗口和所有穿過(guò)圓心的線。我們用 C 表示圓心，用 P 和 P’分別表示穿過(guò)圓心的線與圓的交點(diǎn)，某點(diǎn) X 的灰度為 Ix。如圖 312 所示： 廈門(mén)大學(xué)軟件學(xué)院畢業(yè)設(shè)計(jì)論文 23 圖 312： Trajkovic 算子的標(biāo)記符號(hào) Trajkovic 的角點(diǎn)化測(cè)量可以用下式表示： 22 39。( , ) m in ( ( ) ( ) ) , , 39。p c p cC x y I I I I P P? ? ? ? ? () 我們通過(guò)圖 313 來(lái)考慮上式在不同情況下的 反應(yīng)： 圖 313： Trajkovic 算子的各種不同情況 1. 當(dāng)圓心在內(nèi)部區(qū)域時(shí)，至少有一條線使得 39。p c pI I I?? ， C（ x， y）較小。 2. 當(dāng)圓心位于邊緣上時(shí)，正好有唯一一條線使得 39。p c pI I I?? ， C（ x， y）較小。 3. 當(dāng)圓心位于 角點(diǎn)上時(shí)，每條穿過(guò)圓心的線至少有一點(diǎn)與圓心的灰度差比較大，所以 C(x， y)比較大。 4. 當(dāng)圓心位于孤立點(diǎn)時(shí)，每條線上的 P 和 P’與圓心的灰度差都比較大，所以 C(x，y)也比較大。 如何計(jì)算 Trajkovic 角點(diǎn)化測(cè)量？由于水平和垂直的灰度變化很容易計(jì)算，我基于角點(diǎn)檢測(cè)的圖像配準(zhǔn)技術(shù)研究 24 們可以暫時(shí)將 C(x， y)簡(jiǎn)化為： 圖 314： 中間像素的位置 m in( , )ABC r r簡(jiǎn)化 ＝ 2239。( ) ( )A A C A Cr I I I I? ? ? ? 2239。( ) ( )B B C B Cr