【導(dǎo)讀】選題來源于科研項(xiàng)目。紅外與可見光圖像由于相關(guān)性小，缺乏一致性特征，因此配準(zhǔn)的難度較大。合實(shí)時(shí)性場合需要。特征匹配階段根據(jù)圖像物理特性選擇合適的匹配測(cè)度及匹配。最終實(shí)現(xiàn)一種自動(dòng)、快速、較高性能的配準(zhǔn)方法。總結(jié)，理解所研究的問題。第3-4周：學(xué)習(xí)掌握OpenCV、圖像配準(zhǔn)的相關(guān)知識(shí)。第5-6周：實(shí)現(xiàn)Harris角點(diǎn),ORB或者BRIEF法對(duì)圖像特征進(jìn)行提取。第11-12周：用OpenCV實(shí)現(xiàn)算法的程序。第13-14周：程序測(cè)試。第15-16周：撰寫畢業(yè)設(shè)計(jì)論文，準(zhǔn)備論文答辯。西北工業(yè)大學(xué)碩士學(xué)位論。[2]苑津莎，趙振兵，高強(qiáng)等。[9]周成平，蔣煜，李玲玲等。為了檢測(cè)結(jié)構(gòu)復(fù)雜的地理空間對(duì)象，每。精度，魯棒性，所提出的方。法的有效性通過了實(shí)驗(yàn)結(jié)果進(jìn)行了論證。目標(biāo)檢測(cè)是在高分辨率遙感圖像分析中最具挑戰(zhàn)性的任務(wù)之一。這兩個(gè)任務(wù)是常見的。區(qū)幾乎是正確的。有意義和有趣的物體使用多個(gè)分割提

　　

【正文】 ....................................... 39 畢業(yè)設(shè)計(jì)小結(jié) ................................................. 40 本科畢業(yè)設(shè)計(jì)論文 1 第一章 緒論 課題的目的和意義 隨著計(jì)算機(jī)技術(shù)和通信技術(shù)的飛速發(fā)展，以及信息技術(shù)和計(jì)算機(jī)技術(shù)在生活、軍工等各個(gè)方面的廣泛使用 [1]，我們?cè)絹碓诫x不開計(jì)算機(jī)的相關(guān)技術(shù)，控制技術(shù)也是越來越得到了廣泛認(rèn)可和應(yīng)用。如今，在航空方面，計(jì)算機(jī)視覺技術(shù)也得到了廣泛使用。如今，在民航方面，計(jì)算機(jī)在飛行安全方面起到了至關(guān)重要的作用。紅外與可見光圖像配準(zhǔn)是常見的多模態(tài)圖像配準(zhǔn)，它廣泛應(yīng)用于軍事、遙感等領(lǐng)域，有必要對(duì)其進(jìn)行更加深入的研究。國外從 20世紀(jì) 60年代便 是開始進(jìn)行了研究，而國內(nèi)卻是從 20世紀(jì) 90年代才開始涉足這個(gè)領(lǐng)域。紅外與可見光圖像配準(zhǔn)是配準(zhǔn)中比較常見的，由于紅外反映景物的輻射信息，而可見光反映的是景物的反射信息，二者輸出圖像具有不同灰度特征，這些特征互為補(bǔ)充，可以融合在一起進(jìn)行目標(biāo)識(shí)別，同時(shí)，它們由于各自包含了不同的信息，融合在一起后可以比單一的圖像獲得更多的信息，也能發(fā)現(xiàn)更多可能隱藏的信息。 圖像配準(zhǔn) [2]的基本問題是提出一種圖像轉(zhuǎn)換方法，用以校正圖像的坐標(biāo)和形變。比如，對(duì)同一場景，不同時(shí)在不同視點(diǎn)拍攝的圖像，或多或少會(huì)存在平移、旋轉(zhuǎn)的情況，它們是處 于不同的坐標(biāo)系內(nèi)的，需要校正過來。而造成圖像形變的原因多種多樣，例如對(duì)于我們這里的紅外與可見光圖像而言，傳感器噪聲、由傳感器視點(diǎn)變化或平臺(tái)不穩(wěn)定造成的透視變化、被拍攝物體的移動(dòng)、變形或生長等變化，以及陰影和云層遮蓋都使圖像產(chǎn)生不同形式的形變。正是圖像形變的原因和形式不同，決定了必須要有不同的圖像配準(zhǔn)技術(shù)與之對(duì)應(yīng)。 正是由于上面的原因，我們對(duì)于紅外與可見光圖像配準(zhǔn)的研究就十分有必要了。 紅外與可見光圖像配準(zhǔn)技術(shù)研究現(xiàn)狀 [3] 圖像配準(zhǔn)是個(gè)極富有挑戰(zhàn)性的研究領(lǐng)域，就是一句相似性度量決定圖像間的變換參數(shù)，使 得兩幅有著各種形變等差異的兩幅圖像變換到同一個(gè)坐標(biāo)系下，在像素層次達(dá)到最佳匹配的過程。圖像配準(zhǔn)在我們?nèi)粘Ｉ钪幸呀?jīng)得到了廣泛應(yīng)用。不僅僅在軍事、遙感等領(lǐng)域得到了廣泛的使用，在計(jì)算機(jī)視覺，醫(yī)學(xué)上也得 本科畢業(yè)設(shè)計(jì)論文 2 到了應(yīng)用和發(fā)展。國外從 20世紀(jì) 60年代便是進(jìn)行了研究，國內(nèi)卻是從 90年代初才開始涉足。雖然單模態(tài)的問題已經(jīng)基本解決，但是多模態(tài)的問題還是有著很遠(yuǎn)的路需要走。 多模態(tài)圖像由于來源于不同的成像設(shè)備，所以能提供比單模態(tài)圖像更加豐富和全面的信息。而紅外月可見光圖像配準(zhǔn)是常見的多模態(tài)圖像配準(zhǔn)。紅外反映了輻射信息，可見光反映了 反射信息，它們之間具有不同的灰度特征，但是卻互為補(bǔ)充。紅外與可見光圖像配準(zhǔn)可以用于實(shí)現(xiàn)在背景中定位高溫物體的功能，但是，目前大多數(shù)用于實(shí)現(xiàn)圖像配準(zhǔn)的方法在紅外與可見光圖像的配準(zhǔn)中效果都不好，任需要我們進(jìn)行深入的研究。 由于同一場景拍攝的圖像是真實(shí)的三維世界在當(dāng)時(shí)的時(shí)刻向成像平面的投影，而圖像和圖像之間有著較大的相關(guān)性和信息冗余，所以無論圖像發(fā)生了何種變化，或者是由何種模態(tài)成像的，我們總可以運(yùn)用圖像中不變的部分、共性的部分去完成配準(zhǔn)，然后再去處理變換的部分。典型的圖像配準(zhǔn)方法的基本不走包括：特征檢測(cè)、特征匹配 、變換模型參數(shù)估計(jì)以及圖像重采樣與變換。目前，國內(nèi)外對(duì)于圖像配準(zhǔn)的研究已經(jīng)產(chǎn)生了不少的圖像配準(zhǔn)的方法，各有各的特點(diǎn)和應(yīng)用的領(lǐng)域，但是可以大概分為兩大類：基于圖像區(qū)域的方法和基于圖像特征的方法。 基于圖像區(qū)域的配準(zhǔn)方法： 此類方法常用圖像的某一區(qū)域或者整幅圖像去估計(jì)圖像之間的幾何變換參數(shù)，常見的有相關(guān)類方法、相位相關(guān)法、概率型測(cè)度法等。常見的概率型測(cè)度方法有圖像聯(lián)合直方圖、圖像聯(lián)合熵、互信息法以及歸一化互信息法等。而且中基于香農(nóng)信息論的互信息法在多模態(tài)圖像配準(zhǔn)領(lǐng)域得到了廣泛的關(guān)注和研究。因?yàn)樗恍枰獙?duì)多模態(tài)圖 像灰度間的關(guān)系作假設(shè)，也不需分割和預(yù)處理，但是卻忽略了圖像的空間信息和結(jié)果信息，且計(jì)算時(shí)間長，對(duì)噪聲魯棒性不強(qiáng)。 基于圖像特征的配準(zhǔn)方法： 上面的基于圖像區(qū)域的配準(zhǔn)方法在多模態(tài)圖像配準(zhǔn)中常常因?yàn)槎嗄B(tài)圖像的灰度特征往往不一致而很難運(yùn)用。而基于圖像特征的配準(zhǔn)方法中對(duì)比例、旋轉(zhuǎn)、光照等保持不變的特征，利用了圖像的高層信息，因?yàn)檫m合多模態(tài)圖像的配準(zhǔn)分析。 1988年， Harris[4]對(duì) Moravec[5]算法進(jìn)行了改進(jìn)，提出了至今仍然被廣泛使用的 Harris角點(diǎn)檢測(cè)子，它是基于由二階矩陣特征值，然而 Harris角 點(diǎn)不是尺度不變的。之后，人們?cè)诖嘶A(chǔ)上又進(jìn)行了研究，得到了更具重復(fù)性的魯棒和尺度不變特征檢測(cè)子。到目前為止，已經(jīng)有了大量不同類型的特征描述子被提出，例如，矩不變量、復(fù)雜濾波器等。 2021年， Lowe總結(jié)了現(xiàn)有的基于不變量急速的檢測(cè)方法，并正式提出了 SIFT[6]（ scale invariant feature transform）算法，此算法通過對(duì)圖像進(jìn)行不同程度的模糊與縮放，在不同比例的圖像中提取特征，這種方法對(duì)于旋轉(zhuǎn)、縮放、視角改變以及噪聲干擾軍具有良好的穩(wěn)定性。在 SIFT的基礎(chǔ)上， 本科畢業(yè)設(shè)計(jì)論文 3 Bay等人在 2021年 5月提出了 SURF[7]（ speeded up robust features）算法，它的性能超過了 SIFT并且能夠有更快的速度。 SURF的計(jì)算速度可以比 SIFT快 3倍。 其后的一段時(shí)間內(nèi)，又出現(xiàn)了 Brief[8]和 ORB[9]算法。他們的速度更快，識(shí)別率更高。 國外對(duì)紅外與可見光圖像配準(zhǔn)的研究主要開始于 20世紀(jì) 90年代初，而國內(nèi)關(guān)于紅外與可見光圖像配準(zhǔn)的研究就相對(duì)于國外要晚一些，大部分工作都是 2021年以后發(fā)表的，且研究深度還遠(yuǎn)遠(yuǎn)不夠。由于紅外與可見光各自的特性，到目前為止，有效的方法還比較少，大部分都 是針對(duì)特定應(yīng)用而獨(dú)立研究的一些方法。所以，對(duì)于紅外與可見光圖像配準(zhǔn)的還需要我們的繼續(xù)深入研究。 課題研究內(nèi)容 選題來源于科研項(xiàng)目。紅外與可見光圖像由于相關(guān)性小，缺乏一致性特征，因此配準(zhǔn)的難度較大。針對(duì)紅外與可見光圖像配準(zhǔn)的研究，擬采用基于特征的圖像配準(zhǔn)算法。配準(zhǔn)算法中核心的部分在于特征的提取和特征的匹配兩個(gè)部分。特征提取擬采用 SURF或者 SIFT檢測(cè)算法，這兩種算法穩(wěn)定性好，也適合實(shí)時(shí)性場合需要（同時(shí)也可以采用 ORB或者 BRIEF法）。特征匹配階段根據(jù)圖像物理特性選擇合適的匹配測(cè)度及匹配算法。最終實(shí)現(xiàn) 一種自動(dòng)、快速、較高性能的配準(zhǔn)方法。 本文主要內(nèi)容如下： 較為詳細(xì)地學(xué)習(xí)了圖像配準(zhǔn)中需要的圖像知識(shí)，并在 OpenCV編程平臺(tái)上，采用直方圖均衡化和規(guī)定化以及高斯濾波等方法對(duì)原始圖像進(jìn)行處理，得到了細(xì)節(jié)更加清晰的圖像。 對(duì)圖像配準(zhǔn)的基本理論及國內(nèi)外現(xiàn)有的一般方法進(jìn)行了深入學(xué)習(xí)研究，總結(jié)對(duì)比其各自的特點(diǎn)，最后采用并實(shí)現(xiàn)基于圖像特征匹配的配準(zhǔn)方法。 深入學(xué)習(xí)和研究了 ORB、 BRIEF特征提取方法原理，并且通過 OpenCV實(shí)現(xiàn)了 SIFT， SURF， ORB， BRIEF算法代碼，總結(jié)分析各自的特點(diǎn)。 對(duì)基于點(diǎn)特征提取的 ORB圖像方法進(jìn)行了深入學(xué)習(xí)，并采用簡單的仿射變換來實(shí)現(xiàn)兩幅圖像位置關(guān)系的確定和配準(zhǔn)。在 OpenCV的環(huán)境下編程實(shí)現(xiàn)相關(guān)的處理，利用紅外與可見光圖像實(shí)現(xiàn)對(duì)方法效果的研究。 本文工作及章節(jié)安排 本文主要研究了基于特征的圖像配準(zhǔn)及拼接方法。章節(jié)安排如下： 第一章，緒論。主要介紹了圖像特征提取與配準(zhǔn)技術(shù)的應(yīng)用前景和國內(nèi)外的 本科畢業(yè)設(shè)計(jì)論文 4 研究現(xiàn)狀，并對(duì)當(dāng)前基本的配準(zhǔn)方法進(jìn)行了比較分析，簡要敘述了本文的工作，給出了文章組織結(jié)構(gòu)。 第二章，圖像配準(zhǔn)概述。詳細(xì)介紹了圖像配準(zhǔn)的概念以及圖像配準(zhǔn)中常用到的幾種 方法即模型（例如仿射變換），對(duì)于如何去獲取特征點(diǎn)我們也做了方法的介紹，當(dāng)然對(duì)于這些方法的特點(diǎn)也是少不了的。 第三章，圖像配準(zhǔn)的相關(guān)方法。給出了圖像配準(zhǔn)中特征提取的三種方法，分別是 SIFT檢測(cè)算法、 BRIEF檢測(cè)算法、 ORB檢測(cè)算法。比較詳細(xì)的介紹了 SIFT算法和 BRIEF算法，對(duì)于他們各自的特點(diǎn)都有所提及。 第四章，基于 ORB的特征提取的配準(zhǔn)算法。主要是對(duì)于原始的 ORB算法結(jié)合廣義距離進(jìn)行改進(jìn)，通過廣義距離對(duì)特征點(diǎn)之間的距離進(jìn)行測(cè)量，以此為基準(zhǔn)來尋找匹配點(diǎn)。最后，通過仿真來實(shí)現(xiàn)對(duì)于該算法的檢驗(yàn)。 第五章，總 結(jié)和展望?？偨Y(jié)本文所做的工作，分析存在的問題和不足，對(duì)以后需要改進(jìn)的方面提出展望。 本科畢業(yè)設(shè)計(jì)論文 5 第二章 圖像配準(zhǔn) [2]概述 圖像配準(zhǔn)定義 圖像配準(zhǔn)是指對(duì)同一目標(biāo)在不同條件下獲得的兩幅（或者兩幅以上）圖像進(jìn)行匹配的圖像處理過程，是圖像處理中的一個(gè)基本問題。 假設(shè)兩幅待配準(zhǔn)圖像 1I 和 2I ，其中 1I 為參考圖像， 2I 為待配準(zhǔn)圖像。圖像配準(zhǔn)的問題可以定義為這兩幅圖像像素坐標(biāo)和灰度值上的雙重映射。 ),(1 yxI 和),(2 yxI 分別表示兩幅圖像相應(yīng)位置 ),( yx 上的灰度值，那么兩幅圖像間在數(shù)學(xué)上的變換關(guān)系如下： )),((),( 12 yxfIgyxI ? (21) 其中，函數(shù) f 表示一個(gè)二維空間的坐標(biāo)變換，函數(shù) g 表示一個(gè)灰度變換。 圖像配準(zhǔn)就是尋找最優(yōu)的空間和灰度變換，通?；叶茸儞Q在圖像預(yù)處理階段就得到了校正，所以通常解決圖像 配準(zhǔn)的關(guān)鍵問題就是尋找最佳的空間或幾何變換，這一變換常常被表示為兩個(gè)參數(shù)變量的單值函數(shù) xf ， yf ： )),(),((),( 12 yxfyxfIyxI yx? (22) 圖像的變換類型 在圖像配準(zhǔn)技術(shù)中，其最根本的問題就是找出適當(dāng)?shù)膱D像變換或映射類型用來將兩幅圖像進(jìn)行正確的匹配。每幅圖像中都會(huì)出現(xiàn)很多 種變形，圖像配準(zhǔn)技術(shù)必須選擇適合的變換類型消除圖像間的變形。主要的變換類型有剛體變換（ Rigid body transformation）、仿射變換（ Affine transformation） 、投影變換（ Projective transformation）、非線性變換（ Nonlinear transformation）和透視變換（ Perspective transformation）。表 21 表示了前四種圖像變換模型所滿足的條件。 本科畢業(yè)設(shè)計(jì)論文 6 表 21 圖像的變換模型（其中●代表滿足條件） 反轉(zhuǎn) 旋轉(zhuǎn) 平移 縮放 投影 扭曲 剛體變換 ● ● ● 仿射變換 ● ● ● ● 投影變換 ● ● ● ● ● 非線性變換 ● ● ● ● ● ● 剛體變換 如果第一幅圖像中任意兩點(diǎn)之間的距離變換到第二幅圖像后仍保持不變，那 么這種變換稱為剛體變換。剛體變換是平移、旋轉(zhuǎn)與反轉(zhuǎn)（鏡像）的組合。在二 維空間里，點(diǎn) ),( yx 經(jīng)剛體變換到點(diǎn) ),( yx ?? 的變換公式為： ??????????????????? ????????? yxttyxc os θsin θ sin θc os θy39。x39。 (23) 其中 θ 為旋轉(zhuǎn)角度， ??????yxtt為平移量。圖 21 是對(duì)源圖像進(jìn)行了剛體變換： 圖 21 剛體變換 仿射變換 如果經(jīng)過變換后第一幅圖像上的直線映射到第二幅圖像上仍為直線，并保持平行關(guān)系，那么這種變換稱為仿射變換。仿射變換是平移、旋轉(zhuǎn)、反轉(zhuǎn)（鏡像）和縮放的組合。仿射變換可以分解為線性（矩陣）變換和平移變換。在二維空間里，點(diǎn) ),( yx 經(jīng)仿射變換到點(diǎn) ),( yx ?? 的變換公式為： ??????????????????? ????????? yxttyxc os θsin θ sin θc os θσy39。x39。 (24) 本科畢業(yè)設(shè)計(jì)論文 7 其中 θ 為旋轉(zhuǎn)角度， ??????yxtt為平移量 ,σ 為縮放尺度。一般的二維仿射變換公式下： ?????????????????????????? yx2221 1211 ttyxaa aay39。x39。 (25) 其中 ??????22211211 aa aa為實(shí)數(shù)矩陣。圖 22 是對(duì)源圖像進(jìn)行了仿射變換： 圖 22 仿射變換 投影變換 如果經(jīng)過變換后第一幅圖像上的直線映射到第二幅圖像上仍為直線，但基本不保持平行關(guān)系，那么這種變換稱為投影變換。投影變換可以用高維空間上的線性（矩陣）變換來表示，在高