【正文】 圖像拼接的意義 圖像配準(zhǔn)是圖像融合的基礎(chǔ) ， 而且圖像配準(zhǔn)算法的計(jì)算量一般非常大 ， 因此圖像拼接技術(shù)的發(fā)展很大程度上取決于圖像配準(zhǔn) 技術(shù)的創(chuàng)新。 目前 ， 圖像拼接技術(shù)研究的一個(gè)重要意義就是使我們能夠利用廉價(jià)的成像設(shè)備采集圖像，而后利用圖像處理算法對(duì)圖像失真進(jìn)行校正，并完成圖像的自動(dòng)拼接，這樣就解決了圖像在高分辨率和寬視野二者之間的矛盾，使我們利用普通數(shù)碼相機(jī)和計(jì)算機(jī)就能得到所需的圖像。 圖像拼接 的現(xiàn)狀及 發(fā)展動(dòng)向 在國內(nèi)，圖像拼接技術(shù)研究雖然起步相對(duì)較晚，但發(fā)展迅速。 1997 年王曉睿等人，提出一種應(yīng)用于圖像高精度配準(zhǔn)的自動(dòng)圖像配準(zhǔn)算法，把互相關(guān)系數(shù)作為相似測(cè)度來進(jìn)行配準(zhǔn)，但實(shí)際上只是一種半自動(dòng)的配準(zhǔn)方法 [1]。 2021 年，針對(duì)動(dòng)態(tài)全景圖像拼接，由杜威、李華兩人提出了一種應(yīng)用于動(dòng)態(tài)場(chǎng)景的全景圖表示方法，可以將視頻紋理和全景圖結(jié)合起來，構(gòu)造出動(dòng)態(tài)全景圖 [2]。 2021 年，侯舒維，郭寶龍?zhí)岢隽艘环N圖像自動(dòng)拼接的快速算法，改進(jìn)了現(xiàn)有基于灰度級(jí)相似的圖像拼接方法 [3]。 2021 年，尹麗華、安居白、夏妍妍， 提出基于特征點(diǎn)匹配的圖像拼接算法，能夠得到較理想的拼接結(jié)果 [4]。 2021 年，高健、黃心漢、彭剛、王敏、 東北石油大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 2 吳祖玉撰寫的基于 Harris 角點(diǎn)和高斯差分的特征點(diǎn)提取算法，這種 算法使整個(gè)圖像拼接過程的準(zhǔn)確性和實(shí)時(shí)性兩方面都達(dá)到了明顯的改善 。 隨著人 們對(duì)圖像拼接算法研究的深入，逐漸將稀疏分解矩陣引入圖像拼接領(lǐng)域 [5]。 2021 年，葛仕明、程義民、曾丹、 何兵兵提出的基于稀疏特征匹配和變形傳播的無縫拼接，在該領(lǐng)域取得了巨大突破 [6]。 圖像拼接的流程 圖像拼接的方法很多，不同的算法步驟會(huì)有一定差異，但大致的過程是相同的。一般說來，圖像拼接技術(shù)，按其工作流程主要分為三個(gè)部分：圖像預(yù)處理 ，圖像配準(zhǔn)和圖像線性插值拼接。其中圖像配準(zhǔn)是整個(gè)圖像拼接技術(shù)的核心部分，直接決定了圖像拼接結(jié)果的好壞。 圖像預(yù)處理是圖像拼接技術(shù)的第一步，在進(jìn)行圖像采集時(shí)，往往 不能保證攝像設(shè)備始終保持同一角度和方向、光線的不同也會(huì)造成采集圖像灰度差異大等問題，圖像預(yù)處理主要完成對(duì)待拼接圖像進(jìn)行幾何畸變的校正，包括去除噪聲、邊緣提取、直方圖處理等圖像處理的基本操作、建立圖像的匹配模板，以及對(duì)待處理圖像進(jìn)行傅立葉變換、小波變換、稀疏分解等操作。 圖像配準(zhǔn)主要指對(duì)參考圖像和待拼接圖像中的匹配信息進(jìn)行提取，在提取出的信息中尋 找最佳的匹配 ， 圖像配準(zhǔn)是整個(gè)圖像拼接技術(shù)的核心。 圖 11 圖像拼接流程圖 本設(shè)計(jì)的研究目的及意義 圖像匹配是計(jì)算機(jī)視覺研究領(lǐng)域中 熱點(diǎn)問題，也是視覺理論和應(yīng)用的基礎(chǔ)，基于 Harris 角點(diǎn)匹配算法與基于模板等其他的匹 配拼接算法相比，在沒有增加計(jì)算量的基礎(chǔ)上提高了匹配 速度和精度， 同時(shí)對(duì)亮度差異的抗干擾能力有一定 增強(qiáng)。因此，實(shí)現(xiàn)精確、穩(wěn)定、 快速圖像匹配算法有利于對(duì)視覺信息后續(xù)處理 研究。參考圖像 待拼接圖像 圖像預(yù)處理 圖像預(yù)處理 檢測(cè)角點(diǎn)，篩選合適的角點(diǎn)對(duì)（一般為兩對(duì)） 利用角點(diǎn)對(duì)，線性插值拼接，實(shí)現(xiàn)全景顯示 東北石油大學(xué)本科生 畢業(yè)設(shè)計(jì)（論文） 3 第 2 章 角點(diǎn)檢測(cè)及 MATLAB 實(shí)現(xiàn) 角點(diǎn)定義 圖像匹配的算子，主要是用來提取兩幅配準(zhǔn)圖像中的角點(diǎn)。角點(diǎn)，又稱為興趣點(diǎn)，是像素點(diǎn)在其鄰域內(nèi)的各個(gè)方向上灰度變化量足夠大的點(diǎn)，且大于閾值的點(diǎn)。它是一種重要的圖像特征點(diǎn)，包含了圖 像中豐富的二維結(jié)構(gòu)信息，廣泛應(yīng)用于各種圖像處理技術(shù)中。角點(diǎn)最大的優(yōu)點(diǎn)是：它所代表的局部結(jié)構(gòu)關(guān)系信息不會(huì)因?yàn)橐暯堑牟煌淖?，這在三維物體識(shí)別上很有用。此外，角點(diǎn)特征也常用在漢字識(shí)別，染色體識(shí)別等應(yīng)用系統(tǒng)中。 常用角點(diǎn)檢測(cè)的算法 Harris 算子 Harris 算子是 Harris和 Stephens 提出的一種基于信號(hào)的角點(diǎn)特征提取的算子。其處理過程表示如下 [7]： ??????????22)~(yyxyxx ggg gggsGM （ 21） ~)(*)d e t ( 2 ??? kMtrkMR （ 22） 式中： xg 為 x 方向上的梯度， yg 為 y 方向上的梯度， )~(sG 為高斯模板， det為矩陣的行列式， tr 為矩陣的跡， k 為常數(shù)， R 表示圖中相應(yīng)像素點(diǎn)的興趣值。 小波變換算子 小波變換算子 [8]可以非常有效地用于信號(hào)的多分辨率局部分析 ， 它已經(jīng)被成功的用于許多圖像分析領(lǐng)域。對(duì)于圖像配準(zhǔn)來說，由于兩幅圖像中共同特征往往是大而強(qiáng)的邊緣信息，根據(jù)小波變換能夠反映圖像的階躍型邊緣突變點(diǎn)的性質(zhì)，可以利用小波變換提取用于圖像配準(zhǔn)的特征點(diǎn)。 假設(shè)圖像 P 具有 MM? 個(gè)像素。在 1log 2 ?? MJ 個(gè)尺度上 對(duì) P 進(jìn)行分解，即 東北石油大學(xué)本科生 畢業(yè)設(shè)計(jì)（論文） 4 尺度 Jjs i ??? 1,2 。選擇適當(dāng)?shù)亩S平滑函數(shù) ),( yx? ，定義小波為： x yxyx ??? ),(),(1 ?? （ 23） y yxyx ??? ),(),(2 ?? （ 24） 構(gòu)造出離散濾波器，在尺度 j2 上，采用二維離散小波變換的快速算法計(jì)算每個(gè) 點(diǎn) ),( nm 的離散二進(jìn)小波變換 ),(12 nmfW dj ， ),(22 nmfW dj 。點(diǎn) ),( nm 的模值為： 2222122 ),(),(),( nmfWnmfWnmfM djdjjd ?? （ 25） 相角為： ),( ),(a rc t a n),( 12222 nmfW nmfWnmfA djdjjd ? （ 26） 然而 ， 模極大值點(diǎn)就是該點(diǎn)的模大于在相角方向上的兩個(gè)相鄰位置上模值的點(diǎn)。當(dāng)模極大值點(diǎn)大于所設(shè)定的門限值時(shí)，則該點(diǎn)被認(rèn)為是特征點(diǎn)。 Moravec 算子 Moravec 算子 [9]是 Moravec 提出的利用灰度方差提取點(diǎn)特征的算子。其提取點(diǎn)特征的步驟為： (1)計(jì)算各像元的興趣值 IV（ Interest Value）。在以像素 ),( nm 為中心的 ww? 的圖像窗口中，相鄰 4 個(gè)方向像素灰度差的平方和為： ???? ??? ??1 2,1,1 )(kki nimnim ggV （ 27） ???? ?????? ?? 1 21,1,2 )(k ki iniminim ggV （ 28） ???? ??? ?? 1 21,3 )(k ki inminm ggV （ 29） ???? ?????? ?? 1 21,1,4 )(k ki iniminim ggV （ 210） 式中： )2/int(wk ? 。 取其中最小者作為該像素的興趣值，即： ? ?4321, ,m in VVVVIV nm ? （ 211） 東北石油大學(xué)本科生 畢業(yè)設(shè)計(jì)（論文） 5 (2)給定一經(jīng)驗(yàn)閾值，將興趣值大于該閾值的點(diǎn)作為候選點(diǎn)，閾值的選擇應(yīng)以候選點(diǎn)中包括所需要的特征點(diǎn)，而又不含過多的非特征點(diǎn)為原則。 (3)選取候選點(diǎn)中的極值點(diǎn)作為特征點(diǎn)，在一定大小的窗口內(nèi)（可不同于興趣值計(jì)算窗口），將候選點(diǎn)中興趣值不是最大者去掉，僅留下一個(gè)興趣值最大者，該像素即為一個(gè)特征點(diǎn)。 Forstner 算子 Forstner 算子 [10]是通過計(jì)算各像素的 Robert’s 梯度和以像素 ),( nm 為中心的一個(gè)窗口灰度協(xié)方差矩陣，在圖像中尋找具有盡可能小而接近圓的誤差橢圓的點(diǎn)作為特征點(diǎn)。其步驟為： (1)計(jì)算各像素的 Robert’s 梯度 jijiu ggugg ,1,1 ????? ?? （ 212） jijiv ggvgg ,11, ?? ????? （ 213） (2)計(jì)算 rr? 窗口中灰度的協(xié)方差矩陣 ????????? ?? ???221vuvvuu ggg gggNQ （ 214） 式中： )2/int(rk ? ? ?? ?? ?? ?? ?? ?? ?? 1 1 2,1,12 )(km kmi kn knj jijiu ggg （ 215） ? ?? ?? ?? ?? ?? ?? ?? 1 1 2,11,2 )(km kmi kn knj jijiv ggg （ 216） ? ?? ?? ?? ?? ?? ???? ??? 1 1 ,11,1,1 ))((km kmi kn knj ijjijijivu gggggg （ 217） (3)計(jì)算興趣值 q 和 w tr ND e tNtr Qwtr ND e tNq ??? 1,)(4 2 （ 218） 式中： DetN 代表矩陣 N 的行列式； trN 代表矩陣 N 的跡。 (4)確定待選點(diǎn) 如果興趣值大于給定的閾值，則該像元為待選點(diǎn)，閾值為經(jīng)驗(yàn)值，可參考下 東北石油大學(xué)本科生 畢業(yè)設(shè)計(jì)（論文） 6 列值： ~?qT ??? ??? )5( )~( ccw fwfTcw （ 219） 式中： w 為權(quán)平均值； cw 為本權(quán)的中值。當(dāng) qTq? ，且 wTw? 時(shí)，該像素為待選點(diǎn)。 (5)選取極值點(diǎn) 以權(quán)值 w 為依據(jù)，選擇極值點(diǎn)，即在一個(gè)適當(dāng)窗口中選擇 w 最大的待選點(diǎn)，而去掉其余的點(diǎn)。 常用角點(diǎn)檢測(cè)算法比較 Harris 角點(diǎn)檢測(cè)算法是基于圖像的灰度自相關(guān)函數(shù)的一種算法，該算法直接從原始圖像中檢測(cè)特征點(diǎn)，能夠在圖像發(fā)生灰度變化、旋轉(zhuǎn)和干擾噪聲等情況下檢測(cè)興趣點(diǎn)。相對(duì)于 Moravec 算法，在抗噪能力有了很大提高，而且兼顧了效率和精度兩方面的要求，誤檢測(cè)率低。提取的角點(diǎn)均勻合理，可以定量提取特征點(diǎn)， 計(jì)算量小，易于編程。 基于小波變 換 的特征點(diǎn)提取算法在實(shí)際應(yīng)用中，可以滿足圖像配準(zhǔn)的要求，而且適用性也比較強(qiáng)，但是由于它的計(jì)算量比較大，不利于圖像的快速配準(zhǔn)，用MATLAB 軟件對(duì)其編程，運(yùn)行時(shí)間需要的較多。 Moravec 角點(diǎn)檢測(cè)算法是一種比較傳統(tǒng)的提取興趣點(diǎn)的算法，由于該算法是通過計(jì)算水平、垂直、對(duì)角線、反對(duì)角線四個(gè)方向上灰度方差檢測(cè)角點(diǎn)，該算子各項(xiàng)異性。具有思路簡單，計(jì)算過程易于實(shí)現(xiàn)，判斷條件少的優(yōu)點(diǎn)，但其定位準(zhǔn)確度不高，抗噪能力較低。 Forstner 算子與 Moravec 算子有大多數(shù)的方面相似，都是傳 統(tǒng)的點(diǎn)特征的提取算法，它們對(duì)各個(gè)像素鄰域進(jìn)行一定的梯度或差分運(yùn)算，選擇其極值點(diǎn)（極大或者極?。┗虺^給定閾值的點(diǎn)作為特征點(diǎn)。它們提取的特征點(diǎn)較 強(qiáng)的依賴于局部灰度信息，其適應(yīng)性較差而且計(jì)算量較大，因此，它們 逐步被基于小波變換算子所代替。 根據(jù)本節(jié)對(duì)各類算子的研究，分析，總結(jié)出算子的優(yōu)點(diǎn)和缺點(diǎn) [11]，如表 21所示 ： 表 21 各類角點(diǎn)檢測(cè)算法的比較表 算法 優(yōu)點(diǎn) 缺點(diǎn) Harris 角點(diǎn)檢測(cè) 算法 計(jì)算簡單，魯棒性，穩(wěn)定性較高。角 點(diǎn)提取可靠性高，抗干擾性強(qiáng) 定位性能差，對(duì)角點(diǎn)位置變化比較敏感 ， 閾 值 、 高斯 函數(shù)方差、 k 值沒有確定值。 東北石油大學(xué)本科生 畢業(yè)設(shè)計(jì)（論文） 7 續(xù)表 21 各類角點(diǎn)檢測(cè)算法的比較表 算法 優(yōu)點(diǎn) 缺點(diǎn) 小波變 換 的角點(diǎn)提取算法 適應(yīng)性較強(qiáng)、利于實(shí)際應(yīng)用。 計(jì)算量較大，不利于快速配準(zhǔn)。 Moravec 角點(diǎn)檢 測(cè)算法 思路簡單，計(jì)算過程易于實(shí)現(xiàn)，判斷條件少 定位準(zhǔn)確度不高，抗干擾能力低 Forstner 角點(diǎn)檢測(cè)算法 思路簡單，易于實(shí)現(xiàn)，傳統(tǒng)的角點(diǎn)檢測(cè)算法 適應(yīng)性差，計(jì)算量大，對(duì)局部灰度信息依賴過強(qiáng) Harris 角點(diǎn)檢測(cè) 的 MATLAB 實(shí)現(xiàn)