【導(dǎo)讀】選題來源于科研項目。紅外與可見光圖像由于相關(guān)性小，缺乏一致性特征，因此配準(zhǔn)的難度較大。合實時性場合需要。特征匹配階段根據(jù)圖像物理特性選擇合適的匹配測度及匹配。最終實現(xiàn)一種自動、快速、較高性能的配準(zhǔn)方法?？偨Y(jié)，理解所研究的問題。第3-4周：學(xué)習(xí)掌握OpenCV、圖像配準(zhǔn)的相關(guān)知識。第5-6周：實現(xiàn)Harris角點,ORB或者BRIEF法對圖像特征進(jìn)行提取。第11-12周：用OpenCV實現(xiàn)算法的程序。第13-14周：程序測試。第15-16周：撰寫畢業(yè)設(shè)計論文，準(zhǔn)備論文答辯。西北工業(yè)大學(xué)碩士學(xué)位論。[2]苑津莎，趙振兵，高強(qiáng)等。[9]周成平，蔣煜，李玲玲等。為了檢測結(jié)構(gòu)復(fù)雜的地理空間對象，每。精度，魯棒性，所提出的方。法的有效性通過了實驗結(jié)果進(jìn)行了論證。目標(biāo)檢測是在高分辨率遙感圖像分析中最具挑戰(zhàn)性的任務(wù)之一。這兩個任務(wù)是常見的。區(qū)幾乎是正確的。有意義和有趣的物體使用多個分割提

　　

【正文】 ....................................... 39 畢業(yè)設(shè)計小結(jié) ................................................. 40 本科畢業(yè)設(shè)計論文 1 第一章 緒論 課題的目的和意義 隨著計算機(jī)技術(shù)和通信技術(shù)的飛速發(fā)展，以及信息技術(shù)和計算機(jī)技術(shù)在生活、軍工等各個方面的廣泛使用 [1]，我們越來越離不開計算機(jī)的相關(guān)技術(shù)，控制技術(shù)也是越來越得到了廣泛認(rèn)可和應(yīng)用。如今，在航空方面，計算機(jī)視覺技術(shù)也得到了廣泛使用。如今，在民航方面，計算機(jī)在飛行安全方面起到了至關(guān)重要的作用。紅外與可見光圖像配準(zhǔn)是常見的多模態(tài)圖像配準(zhǔn)，它廣泛應(yīng)用于軍事、遙感等領(lǐng)域，有必要對其進(jìn)行更加深入的研究。國外從 20世紀(jì) 60年代便 是開始進(jìn)行了研究，而國內(nèi)卻是從 20世紀(jì) 90年代才開始涉足這個領(lǐng)域。紅外與可見光圖像配準(zhǔn)是配準(zhǔn)中比較常見的，由于紅外反映景物的輻射信息，而可見光反映的是景物的反射信息，二者輸出圖像具有不同灰度特征，這些特征互為補充，可以融合在一起進(jìn)行目標(biāo)識別，同時，它們由于各自包含了不同的信息，融合在一起后可以比單一的圖像獲得更多的信息，也能發(fā)現(xiàn)更多可能隱藏的信息。 圖像配準(zhǔn) [2]的基本問題是提出一種圖像轉(zhuǎn)換方法，用以校正圖像的坐標(biāo)和形變。比如，對同一場景，不同時在不同視點拍攝的圖像，或多或少會存在平移、旋轉(zhuǎn)的情況，它們是處 于不同的坐標(biāo)系內(nèi)的，需要校正過來。而造成圖像形變的原因多種多樣，例如對于我們這里的紅外與可見光圖像而言，傳感器噪聲、由傳感器視點變化或平臺不穩(wěn)定造成的透視變化、被拍攝物體的移動、變形或生長等變化，以及陰影和云層遮蓋都使圖像產(chǎn)生不同形式的形變。正是圖像形變的原因和形式不同，決定了必須要有不同的圖像配準(zhǔn)技術(shù)與之對應(yīng)。 正是由于上面的原因，我們對于紅外與可見光圖像配準(zhǔn)的研究就十分有必要了。 紅外與可見光圖像配準(zhǔn)技術(shù)研究現(xiàn)狀 [3] 圖像配準(zhǔn)是個極富有挑戰(zhàn)性的研究領(lǐng)域，就是一句相似性度量決定圖像間的變換參數(shù)，使 得兩幅有著各種形變等差異的兩幅圖像變換到同一個坐標(biāo)系下，在像素層次達(dá)到最佳匹配的過程。圖像配準(zhǔn)在我們?nèi)粘Ｉ钪幸呀?jīng)得到了廣泛應(yīng)用。不僅僅在軍事、遙感等領(lǐng)域得到了廣泛的使用，在計算機(jī)視覺，醫(yī)學(xué)上也得 本科畢業(yè)設(shè)計論文 2 到了應(yīng)用和發(fā)展。國外從 20世紀(jì) 60年代便是進(jìn)行了研究，國內(nèi)卻是從 90年代初才開始涉足。雖然單模態(tài)的問題已經(jīng)基本解決，但是多模態(tài)的問題還是有著很遠(yuǎn)的路需要走。 多模態(tài)圖像由于來源于不同的成像設(shè)備，所以能提供比單模態(tài)圖像更加豐富和全面的信息。而紅外月可見光圖像配準(zhǔn)是常見的多模態(tài)圖像配準(zhǔn)。紅外反映了輻射信息，可見光反映了 反射信息，它們之間具有不同的灰度特征，但是卻互為補充。紅外與可見光圖像配準(zhǔn)可以用于實現(xiàn)在背景中定位高溫物體的功能，但是，目前大多數(shù)用于實現(xiàn)圖像配準(zhǔn)的方法在紅外與可見光圖像的配準(zhǔn)中效果都不好，任需要我們進(jìn)行深入的研究。 由于同一場景拍攝的圖像是真實的三維世界在當(dāng)時的時刻向成像平面的投影，而圖像和圖像之間有著較大的相關(guān)性和信息冗余，所以無論圖像發(fā)生了何種變化，或者是由何種模態(tài)成像的，我們總可以運用圖像中不變的部分、共性的部分去完成配準(zhǔn)，然后再去處理變換的部分。典型的圖像配準(zhǔn)方法的基本不走包括：特征檢測、特征匹配 、變換模型參數(shù)估計以及圖像重采樣與變換。目前，國內(nèi)外對于圖像配準(zhǔn)的研究已經(jīng)產(chǎn)生了不少的圖像配準(zhǔn)的方法，各有各的特點和應(yīng)用的領(lǐng)域，但是可以大概分為兩大類：基于圖像區(qū)域的方法和基于圖像特征的方法。 基于圖像區(qū)域的配準(zhǔn)方法： 此類方法常用圖像的某一區(qū)域或者整幅圖像去估計圖像之間的幾何變換參數(shù)，常見的有相關(guān)類方法、相位相關(guān)法、概率型測度法等。常見的概率型測度方法有圖像聯(lián)合直方圖、圖像聯(lián)合熵、互信息法以及歸一化互信息法等。而且中基于香農(nóng)信息論的互信息法在多模態(tài)圖像配準(zhǔn)領(lǐng)域得到了廣泛的關(guān)注和研究。因為它不需要對多模態(tài)圖 像灰度間的關(guān)系作假設(shè)，也不需分割和預(yù)處理，但是卻忽略了圖像的空間信息和結(jié)果信息，且計算時間長，對噪聲魯棒性不強(qiáng)。 基于圖像特征的配準(zhǔn)方法： 上面的基于圖像區(qū)域的配準(zhǔn)方法在多模態(tài)圖像配準(zhǔn)中常常因為多模態(tài)圖像的灰度特征往往不一致而很難運用。而基于圖像特征的配準(zhǔn)方法中對比例、旋轉(zhuǎn)、光照等保持不變的特征，利用了圖像的高層信息，因為適合多模態(tài)圖像的配準(zhǔn)分析。 1988年， Harris[4]對 Moravec[5]算法進(jìn)行了改進(jìn)，提出了至今仍然被廣泛使用的 Harris角點檢測子，它是基于由二階矩陣特征值，然而 Harris角 點不是尺度不變的。之后，人們在此基礎(chǔ)上又進(jìn)行了研究，得到了更具重復(fù)性的魯棒和尺度不變特征檢測子。到目前為止，已經(jīng)有了大量不同類型的特征描述子被提出，例如，矩不變量、復(fù)雜濾波器等。 2021年， Lowe總結(jié)了現(xiàn)有的基于不變量急速的檢測方法，并正式提出了 SIFT[6]（ scale invariant feature transform）算法，此算法通過對圖像進(jìn)行不同程度的模糊與縮放，在不同比例的圖像中提取特征，這種方法對于旋轉(zhuǎn)、縮放、視角改變以及噪聲干擾軍具有良好的穩(wěn)定性。在 SIFT的基礎(chǔ)上， 本科畢業(yè)設(shè)計論文 3 Bay等人在 2021年 5月提出了 SURF[7]（ speeded up robust features）算法，它的性能超過了 SIFT并且能夠有更快的速度。 SURF的計算速度可以比 SIFT快 3倍。 其后的一段時間內(nèi)，又出現(xiàn)了 Brief[8]和 ORB[9]算法。他們的速度更快，識別率更高。 國外對紅外與可見光圖像配準(zhǔn)的研究主要開始于 20世紀(jì) 90年代初，而國內(nèi)關(guān)于紅外與可見光圖像配準(zhǔn)的研究就相對于國外要晚一些，大部分工作都是 2021年以后發(fā)表的，且研究深度還遠(yuǎn)遠(yuǎn)不夠。由于紅外與可見光各自的特性，到目前為止，有效的方法還比較少，大部分都 是針對特定應(yīng)用而獨立研究的一些方法。所以，對于紅外與可見光圖像配準(zhǔn)的還需要我們的繼續(xù)深入研究。 課題研究內(nèi)容 選題來源于科研項目。紅外與可見光圖像由于相關(guān)性小，缺乏一致性特征，因此配準(zhǔn)的難度較大。針對紅外與可見光圖像配準(zhǔn)的研究，擬采用基于特征的圖像配準(zhǔn)算法。配準(zhǔn)算法中核心的部分在于特征的提取和特征的匹配兩個部分。特征提取擬采用 SURF或者 SIFT檢測算法，這兩種算法穩(wěn)定性好，也適合實時性場合需要（同時也可以采用 ORB或者 BRIEF法）。特征匹配階段根據(jù)圖像物理特性選擇合適的匹配測度及匹配算法。最終實現(xiàn) 一種自動、快速、較高性能的配準(zhǔn)方法。 本文主要內(nèi)容如下： 較為詳細(xì)地學(xué)習(xí)了圖像配準(zhǔn)中需要的圖像知識，并在 OpenCV編程平臺上，采用直方圖均衡化和規(guī)定化以及高斯濾波等方法對原始圖像進(jìn)行處理，得到了細(xì)節(jié)更加清晰的圖像。 對圖像配準(zhǔn)的基本理論及國內(nèi)外現(xiàn)有的一般方法進(jìn)行了深入學(xué)習(xí)研究，總結(jié)對比其各自的特點，最后采用并實現(xiàn)基于圖像特征匹配的配準(zhǔn)方法。 深入學(xué)習(xí)和研究了 ORB、 BRIEF特征提取方法原理，并且通過 OpenCV實現(xiàn)了 SIFT， SURF， ORB， BRIEF算法代碼，總結(jié)分析各自的特點。 對基于點特征提取的 ORB圖像方法進(jìn)行了深入學(xué)習(xí)，并采用簡單的仿射變換來實現(xiàn)兩幅圖像位置關(guān)系的確定和配準(zhǔn)。在 OpenCV的環(huán)境下編程實現(xiàn)相關(guān)的處理，利用紅外與可見光圖像實現(xiàn)對方法效果的研究。 本文工作及章節(jié)安排 本文主要研究了基于特征的圖像配準(zhǔn)及拼接方法。章節(jié)安排如下： 第一章，緒論。主要介紹了圖像特征提取與配準(zhǔn)技術(shù)的應(yīng)用前景和國內(nèi)外的 本科畢業(yè)設(shè)計論文 4 研究現(xiàn)狀，并對當(dāng)前基本的配準(zhǔn)方法進(jìn)行了比較分析，簡要敘述了本文的工作，給出了文章組織結(jié)構(gòu)。 第二章，圖像配準(zhǔn)概述。詳細(xì)介紹了圖像配準(zhǔn)的概念以及圖像配準(zhǔn)中常用到的幾種 方法即模型（例如仿射變換），對于如何去獲取特征點我們也做了方法的介紹，當(dāng)然對于這些方法的特點也是少不了的。 第三章，圖像配準(zhǔn)的相關(guān)方法。給出了圖像配準(zhǔn)中特征提取的三種方法，分別是 SIFT檢測算法、 BRIEF檢測算法、 ORB檢測算法。比較詳細(xì)的介紹了 SIFT算法和 BRIEF算法，對于他們各自的特點都有所提及。 第四章，基于 ORB的特征提取的配準(zhǔn)算法。主要是對于原始的 ORB算法結(jié)合廣義距離進(jìn)行改進(jìn)，通過廣義距離對特征點之間的距離進(jìn)行測量，以此為基準(zhǔn)來尋找匹配點。最后，通過仿真來實現(xiàn)對于該算法的檢驗。 第五章，總 結(jié)和展望?？偨Y(jié)本文所做的工作，分析存在的問題和不足，對以后需要改進(jìn)的方面提出展望。 本科畢業(yè)設(shè)計論文 5 第二章 圖像配準(zhǔn) [2]概述 圖像配準(zhǔn)定義 圖像配準(zhǔn)是指對同一目標(biāo)在不同條件下獲得的兩幅（或者兩幅以上）圖像進(jìn)行匹配的圖像處理過程，是圖像處理中的一個基本問題。 假設(shè)兩幅待配準(zhǔn)圖像 1I 和 2I ，其中 1I 為參考圖像， 2I 為待配準(zhǔn)圖像。圖像配準(zhǔn)的問題可以定義為這兩幅圖像像素坐標(biāo)和灰度值上的雙重映射。 ),(1 yxI 和),(2 yxI 分別表示兩幅圖像相應(yīng)位置 ),( yx 上的灰度值，那么兩幅圖像間在數(shù)學(xué)上的變換關(guān)系如下： )),((),( 12 yxfIgyxI ? (21) 其中，函數(shù) f 表示一個二維空間的坐標(biāo)變換，函數(shù) g 表示一個灰度變換。 圖像配準(zhǔn)就是尋找最優(yōu)的空間和灰度變換，通?；叶茸儞Q在圖像預(yù)處理階段就得到了校正，所以通常解決圖像 配準(zhǔn)的關(guān)鍵問題就是尋找最佳的空間或幾何變換，這一變換常常被表示為兩個參數(shù)變量的單值函數(shù) xf ， yf ： )),(),((),( 12 yxfyxfIyxI yx? (22) 圖像的變換類型 在圖像配準(zhǔn)技術(shù)中，其最根本的問題就是找出適當(dāng)?shù)膱D像變換或映射類型用來將兩幅圖像進(jìn)行正確的匹配。每幅圖像中都會出現(xiàn)很多 種變形，圖像配準(zhǔn)技術(shù)必須選擇適合的變換類型消除圖像間的變形。主要的變換類型有剛體變換（ Rigid body transformation）、仿射變換（ Affine transformation） 、投影變換（ Projective transformation）、非線性變換（ Nonlinear transformation）和透視變換（ Perspective transformation）。表 21 表示了前四種圖像變換模型所滿足的條件。 本科畢業(yè)設(shè)計論文 6 表 21 圖像的變換模型（其中●代表滿足條件） 反轉(zhuǎn) 旋轉(zhuǎn) 平移 縮放 投影 扭曲 剛體變換 ● ● ● 仿射變換 ● ● ● ● 投影變換 ● ● ● ● ● 非線性變換 ● ● ● ● ● ● 剛體變換 如果第一幅圖像中任意兩點之間的距離變換到第二幅圖像后仍保持不變，那 么這種變換稱為剛體變換。剛體變換是平移、旋轉(zhuǎn)與反轉(zhuǎn)（鏡像）的組合。在二 維空間里，點 ),( yx 經(jīng)剛體變換到點 ),( yx ?? 的變換公式為： ??????????????????? ????????? yxttyxc os θsin θ sin θc os θy39。x39。 (23) 其中 θ 為旋轉(zhuǎn)角度， ??????yxtt為平移量。圖 21 是對源圖像進(jìn)行了剛體變換： 圖 21 剛體變換 仿射變換 如果經(jīng)過變換后第一幅圖像上的直線映射到第二幅圖像上仍為直線，并保持平行關(guān)系，那么這種變換稱為仿射變換。仿射變換是平移、旋轉(zhuǎn)、反轉(zhuǎn)（鏡像）和縮放的組合。仿射變換可以分解為線性（矩陣）變換和平移變換。在二維空間里，點 ),( yx 經(jīng)仿射變換到點 ),( yx ?? 的變換公式為： ??????????????????? ????????? yxttyxc os θsin θ sin θc os θσy39。x39。 (24) 本科畢業(yè)設(shè)計論文 7 其中 θ 為旋轉(zhuǎn)角度， ??????yxtt為平移量 ,σ 為縮放尺度。一般的二維仿射變換公式下： ?????????????????????????? yx2221 1211 ttyxaa aay39。x39。 (25) 其中 ??????22211211 aa aa為實數(shù)矩陣。圖 22 是對源圖像進(jìn)行了仿射變換： 圖 22 仿射變換 投影變換 如果經(jīng)過變換后第一幅圖像上的直線映射到第二幅圖像上仍為直線，但基本不保持平行關(guān)系，那么這種變換稱為投影變換。投影變換可以用高維空間上的線性（矩陣）變換來表示，在高