【文章內(nèi)容簡介】 由 Kuglin 和 Hines 提出，具有場景無關(guān)性，能夠?qū)⒓兇舛S平移的 圖像精確的對齊。后來， DeCastr。和 Morandi發(fā)現(xiàn)用傅立 變換確定旋轉(zhuǎn)對齊，就像確定平移對齊一樣 [12]0 1996 年， Reddy 和Chaterji 改進了 DeCastr。的算法，大大減少了需要轉(zhuǎn)換變量的數(shù)量。兩幅圖像的平移矢量可以通過它們互功率譜 (Corss Power Spectrum)的相位直接計算出來。應(yīng)用傅立葉變換進行圖像的配準是圖像拼接領(lǐng)域的研究成果，而且隨著快速傅立葉變換算法的提出以及信號處理領(lǐng)域?qū)Ω盗⑷~變換的成熟應(yīng)用，圖像拼接技術(shù)也得到了相應(yīng)的發(fā)展 ， 基于區(qū)域的配準方法是在參考圖像中選出一 個大小為 MXN 的窗口，該窗口區(qū)域即為模板。然后在待配準圖像中選擇足夠大的搜索區(qū)域，將模板在搜索區(qū)域中移動時所覆蓋的區(qū)域與模板進行相似性比較，尋找相似性最大的區(qū)域，該區(qū)域即為所要尋找的區(qū)域。常用的相似性度量主要有 :歸一化函數(shù)(normalizedcrosscorrelation function)[15]、相關(guān)系數(shù) (correlation coefficient)、差平方 (sequentialsimilarity)和最小二乘匹配 (least squares matching)。早期的圖像配準算法大都是基于區(qū) 域的，因為該算法簡單易于硬件實現(xiàn) 。另一方面，醫(yī)學圖像由于紋理特征不是很豐富，所以也多采用這種算法，但是這種算法不適合待拼接度圖像中存在較大的旋轉(zhuǎn)和不同視角等情況 ， 基于特征的圖像配準算法是圖像拼接技術(shù)的另一研究熱點。在這種方法中，首先要對圖像進行處理，提取滿足特定應(yīng)用要求的特征，然后利用特征之間的對應(yīng)關(guān)系來確定模型中的參數(shù)。目前大多數(shù)文獻都是采用的點特征進行圖像間的配準來實現(xiàn)圖像的鑲嵌，目前特征點提取算法己經(jīng)比較成熟。 2020 年， FrankNielsen 針對 Haussdorf 距匹配算法和瓶頸匹配算法的缺陷，提 出了基于桶狀模型的角點匹配策略，用來解決大角度旋轉(zhuǎn)圖像的 配準拼接問題。 2020 年， 發(fā)表了全自動的圖像拼接算法的文章，使用捆綁調(diào)整技術(shù)，解決圖像拼接中經(jīng)常會出現(xiàn)的疊加誤差現(xiàn)象。 2020 年， David G. Lowe 采用了具有尺度不變性的 SIFT 角點提取算法 , Matthew Brown 則在特征點匹配過程中采用了橢圓限制條件和 kd 樹算法來解決圖像多視角配準問題。2020 年， Jani Boutellie:就部分視頻模糊圖像拼接進行了研究。首先將視頻序列的各幀圖像依次進行配準注冊，確保相鄰兩幀圖像之 間有盡可能大的重疊區(qū)域，注冊的同時計算出運動模糊物體的總量 。然后根據(jù)視頻序列圖像中的運動物體總量和配準注冊的質(zhì)量來選擇用于最終圖像配準融合的幀圖像 。最后將所選擇的幀圖像進行配準融合消除接痕。 2020 年， Matthew 采用概率模型確定一組無序圖片的正確順序并可以檢測出噪聲圖像，實現(xiàn)了無序圖像的自動拼接在國內(nèi)，圖像拼接技術(shù)起步相對較晚，但很快迅速發(fā)展了起來。 2020 年，清華大學的研究人員提出了一種針對圖像拼接過程中的計算量與拼接精度之間進行折衷的方案，該方案用三腳架保證攝像機基本繞垂直軸旋轉(zhuǎn)，但是不對攝像機的旋 轉(zhuǎn)角度做嚴格限制郭海濤等提出了一種將遺傳算法用于圖像配準的算法，分析了遺傳算法中群體的大小、交叉率、變異率及選擇機制對影像匹配的影響，特別是對未成熟收斂等問題進行了較為深入的研究。 2020 年，侯舒維、郭寶龍針對現(xiàn)有基于灰度級相似的圖像拼接方法的缺點，提出了一種圖像自動拼接的快速算法，該算法綜合考慮了圖像拼接的精度和速度，在基準特征塊的提取上，采用簡單的邊緣信息閉值法，在塊的搜索上，采用金字塔式分層搜索策略。 2020 年針對動態(tài)全景圖拼接，李文輝，張巖等人首先采用基于粒子優(yōu)化的多分辨率拼接算法拼接成靜態(tài)全景圖，然后用攝像機在拍攝場景中拍攝做周期或隨機運動的物體，實現(xiàn)視頻紋理，最后將視頻紋理對準到靜態(tài)全景圖中。 研究內(nèi)容 本文就圖像拼接關(guān)鍵技術(shù)進行了研究，對現(xiàn)有的算法進行了實驗分析，并對算法中存在的問題進行了相應(yīng)的改進，具體內(nèi)容如下 : 研究并介紹了圖像配準前需要做的準備工作，如圖像的獲取方式、彩色圖像灰度化、全景圖投影算法和插值算法。 在分析了己有基于區(qū)域的圖像配準算法的基礎(chǔ)上，根據(jù)本課題的實際， 提出了一種改進的模板匹配算法 — 自適應(yīng)模板匹配算法。 對基于特征的圖像配準算法進行了研究。針對原有 Harris 角點提取算法對尺度敏感的缺點，本文采用了多尺度的 Harris 角點提取算法，用魯棒的角點匹配策略，實現(xiàn)了圖像的配準。 對現(xiàn)有的各種融合算法進行了研究和比較，并對其中的基于亮度調(diào)和處理的融合算法進行了改進，使融合的效果更好 。采用最佳縫合線算法和漸入漸出法較好地解決了圖像中存在的鬼影和拼接接縫問題。為了驗證所研究的算法，本文在 Windows XP 環(huán)境下，采用 Visual C 十十 開發(fā)工具，設(shè)計了一個用于全景圖像拼接的可視化軟件。 第二章 全景圖相關(guān)技術(shù)概述 圖像的獲取方式 圖像獲取的方法非常重要，圖像獲取方法的不同導(dǎo)致取得輸入圖像的不同，最終拼接的結(jié)果也不同。目前有多種途徑用于獲取全景圖，主要包括下述三種情況 : (1)利用全景相機來直接采集一張柱面全景圖像。該方法需要使用特殊設(shè)備，不僅價格昂貴而且使用復(fù)雜 。 (2)利用配備較大視域的鏡頭如魚眼鏡頭拍攝。這種方法拍攝的圖像中存在很大的變形，將其用于生成球面全景圖之前必須進行校正和變換 。 (3)利用普通照相機、攝像機采集若干能夠覆蓋整個可視空間的照片序列或視頻，相鄰照片的拼接可以采用人機交互或自動方法完成。 這種方法使用普通照相機或攝像機獲取圖像對硬件要求不高，因此獲得廣泛應(yīng)用。利用普通照相機獲取圖像時，一般有下述三種情況 : 首先將照相機放在固定好的三腳架上。拍攝時，照相機繞垂直軸旋轉(zhuǎn)，每旋轉(zhuǎn)一定的角度，拍攝一張照片。拍攝得到一系列照片中相鄰兩張必須有部分重疊，重疊區(qū)域大小是圖像拼接最重要的影響因素，重疊比例越大，拼接就越容易。旋轉(zhuǎn)照相機拍攝由于相機固定，較容易實現(xiàn)。 平移照相機指的是照相機在一個平行于成像平面的方向上平移。在固定焦距的情況下，照相機放置在一個滑軌上移動拍 攝。物體和照相機的距離遠近，或者拍攝物體的大小都會影響到最后的拼接結(jié)果。這種情況的缺點是 :拍攝的相片在一個平面上，全景圖的三維感覺不如旋轉(zhuǎn)拍攝的效果好。 手持照相機拍攝這種方法比較容易做到，手持照相機原地旋轉(zhuǎn)拍攝，或者按一定的路線平行于對象拍攝。但是，拼接手持照相機的照片是很困難的，因為在 拍攝過程中，照相機的運動非常復(fù)雜。原地旋轉(zhuǎn)拍攝類似于固定照相機旋轉(zhuǎn)拍攝，但是角度控制、旋轉(zhuǎn)控制都很差。沿一定路線移動時，類似于平移拍攝，控制距離和保持相同的成像平面是很困難的。本文圖像的獲取采用的是第一 種方法。拍攝時相鄰圖像具有一定程度的重疊，以便于拼接而得到全景圖像。 圖像的顏色處理 彩色圖到灰度圖的轉(zhuǎn)化 本課題使用數(shù)碼相機采集到的是 24 位的 BMP 真彩色圖像，而實際處理時分析的卻是 8 位 BMP 格式的灰度圖像。真彩色圖像指的是真實地反映自然物體本來顏色的圖像。大多數(shù)的彩色圖像采集系統(tǒng)都采用 24 位的真彩色來存儲圖像，以便最大限度地保證圖像信息的完整性。盡管真彩色圖像帶給人美的享受，但它需要的存儲空間大，處理起來占用內(nèi)存多、消耗機時多?；叶葓D像是指只含亮度信息，不含色彩信息的圖像，就像我們平時看 到的黑白照片，它只有亮度從暗到明的變化，而沒有色彩信息。灰度圖像具有存儲量小、其亮度值就是 256 色調(diào)色板的索引號等優(yōu)點。下面討論如何把 24 位的 BMP 彩色圖像文件變成 8 位的 BMP灰度圖像。 24 位 BMP 格式圖像轉(zhuǎn)換成 8 位灰度 BMP 格式的圖像實現(xiàn)關(guān)鍵點如下 : (1)創(chuàng)建調(diào)色板灰度圖像是一種特殊的 256 色位圖，每個像素顏色分量 R,G, B 的值都相等。通常也把 R, G, B 顏色分量值量化為 0 至 255 共 256 個級別。 8位的灰度圖像使用含有 256 個表項的調(diào)色板，每個表項有如下特點 :R=G=Bo 由于調(diào)色板是顯示灰度圖像的 基礎(chǔ)，因此要實現(xiàn) 24 位真彩色圖像到 8 位灰度圖像的轉(zhuǎn)換，首先創(chuàng)建灰度圖像的調(diào)色板是非常重要的 (因為真彩色圖像沒有調(diào)色板 )。具體步驟為 :創(chuàng)建一個指向 BITMAPINFO 結(jié)構(gòu)的指針 lpbmi，先為該結(jié)構(gòu)的信息頭賦值后，再為結(jié)構(gòu)的調(diào)色板各項賦值。 (2)變換創(chuàng)建調(diào)色板后，如何把真彩色圖像的各像素用調(diào)色板中最接近的顏色替代呢 ?VC +中提供了一個重要的函數(shù) BitBlt，該函數(shù)格式為 :BOOL BitBlt( CDC* hDestDC, int x, int y, int nWidth, int nHeight,CDC* hSrcDC, int xSrc, int ySrc, DWORD dwRop 其中 :hDestDC 為目標設(shè)備環(huán)境的句柄 。x 指定繪制區(qū)域 的左上角的 x坐標 。Y 指定繪制區(qū)域的左上角的 Y 坐標 。nWidth指定要繪制區(qū)域的寬度 。nHeight指定要繪制區(qū)域的高度 。hSrcDC指定要復(fù)制位圖所在的 CDC對象的指針 。xSrc 指定源位圖要繪制區(qū)域的左上角的 x坐標 。ySrc 指定源位圖要繪制區(qū)域的左上角的 Y 坐標 。dwRop 指定繪制方式。該函數(shù)完成以下的功能 :自動實現(xiàn)源位圖的顏色格式按照目標位圖的顏色格式轉(zhuǎn)化，并且會自動按 照最接近的顏色轉(zhuǎn)化。具體轉(zhuǎn)化算法如下 : (1)從文檔中獲取源位圖 。 (2)判斷該位圖是否為 24 位位圖，若是，轉(zhuǎn) ((3)，否則，轉(zhuǎn) (9)。 (3)獲取源位圖文件頭信息 。 (4)為目標位圖文件的信息頭和調(diào)色板分配內(nèi)存且填充信息 。 (5)計算源位圖和目標位圖的大小并賦值源位圖的像素值 。 (6)將源位圖和目標位圖的 DIB 位圖分別選進內(nèi)存設(shè)備 。 (7)給目標位圖的內(nèi)存設(shè)備賦顏色表，將源位圖的顏色格式按照目標位圖的顏色格式轉(zhuǎn)化，且自動按照最接近的顏色轉(zhuǎn)化 。 (8)刪除創(chuàng)建的設(shè)備句柄，為目標位圖分配內(nèi)存，復(fù)制信息頭、 調(diào)色板和 圖的像素值，顯示和更新文檔 。 (9)結(jié)束。 實驗結(jié)果 彩色圖像灰度化結(jié)果如圖 所示 柱面投影算法 全景圖模型分類 全景圖是構(gòu)成虛擬環(huán)境的基本單位，是描繪某個視點上某個焦距的周圍環(huán)境的圖像。它一般有立方體形、球形和圓柱形三種模型。不同模型的全景圖的存取難易程度和觀察效果均有很大的差異。 由六個平面投影圖像組成，這種結(jié)構(gòu)模型規(guī)則性好，存取方式與普通圖片的存儲方式相近，易于用計算機存取控制，但用相片構(gòu)建立方體形全景圖時，相片的獲取和相機的定位難度較大。因 立方體的相鄰表面之間是相互垂直的，從而要求照相機主光軸在獲取相鄰的相片時必須垂直，且攝取每一個平面圖像需要 90度的廣角鏡，以避免圖像的變形，這就要求相機配有昂貴的廣角鏡頭。 由普通鏡頭照相機拍攝的照片經(jīng)鑲嵌形成一個球面的形狀。此模型與立方體形模型均能支持參與者在照相機的視點所在位置，以任意的視線方向觀察周圍的環(huán)境。但是要構(gòu)成球面模型的全景圖，必須先將平面照片投影成相應(yīng)的球面圖像，這是一個在圖像平面的 :和 y 方向的非線性圖像變形過程，且由于每個球面圖像都有多個相鄰圖像，因此在全景圖鑲嵌過程中圖像求 交定位均比較困難。再則，很難找到一個與球面相對應(yīng)且易于存取的數(shù)據(jù)結(jié)構(gòu)，以存放球面數(shù)據(jù)結(jié)構(gòu)。 用全景圖相機拍攝的全景相片，或者計算機繪制的全景圖像，或者由普通相機拍攝的相片拼接成的一個以相機視點為中心的圓柱形。此模型具有下面兩個明顯的優(yōu)點 : ①其單幀相片的獲取方式比立方體形模型和球體模型都要簡單。只要將一臺照相機安裝在一個三腳架上，校準鏡頭、固定支架，在拍攝過程中，使照相機盡量少出現(xiàn)傾斜和翻轉(zhuǎn)現(xiàn)象，且每拍一幅照片，把照相機轉(zhuǎn)動一定角度 (一般該角度可以使前后兩幅相片有 30 50%的畫面重疊即可 )，再拍下一幅。 ②根據(jù)幾何常識，圓柱面可展開成一個矩形平面，從而我們可將圓柱全景圖展開成一個矩形圖像，且直接利用計算機的圖像格式進行存取與訪問。該圓柱形 模型在垂直方向上允許參與者視線的轉(zhuǎn)動小于 180 度，但在絕大多數(shù)應(yīng)用中，體現(xiàn)橫向 360 度的環(huán)視環(huán)境足以表達空間信息，故 360 度圓柱形模型全景圖是目前構(gòu)造虛擬環(huán)境的較為理想的選擇。 柱面投影算法 實景圖像的柱面投影算法是為了將多張實景圖像投影到一個圓柱面上，以柱面全景圖像的形式存儲。這樣一方面消除了實景圖像之間可能存在的重復(fù)景物信息，同時也得到了每張 實景圖像上的像素點在視點空間中的方位信息。如圖 所示。 I 是數(shù)碼相機拍攝的一張實景圖像， P(x,Y)是實景圖像 I 上的任意一個像素點。 P 點在數(shù)碼相機坐標系下的坐標為 xWl2,yH12,，其中 W 和 H 分別為實景圖像 I 的寬度和高度。我們把圓柱面的中心設(shè)為照相機坐標系的原點，并以數(shù)碼相機的像素焦距 f 作為圓柱面的半徑，下面推導(dǎo)出像素點 P 在圓柱面上的投影點 Q 在柱面全景圖像中的坐標 (fix, Y,)。 是像素點 (x,y)在圓柱面上的投影點 Q 的參數(shù)坐標，把所有這