【文章內(nèi)容簡介】 分別選進(jìn)內(nèi)存設(shè)備。(7)給目標(biāo)位圖的內(nèi)存設(shè)備賦顏色表，將源位圖的顏色格式按照目標(biāo)位圖的顏色格式轉(zhuǎn)化，且自動(dòng)按照最接近的顏色轉(zhuǎn)化。(8)刪除創(chuàng)建的設(shè)備句柄，為目標(biāo)位圖分配內(nèi)存，復(fù)制信息頭、調(diào)色板和圖的像素值，顯示和更新文檔。(9)結(jié)束。全景圖是構(gòu)成虛擬環(huán)境的基本單位，是描繪某個(gè)視點(diǎn)上某個(gè)焦距的周圍環(huán)境的圖像。它一般有立方體形、球形和圓柱形三種模型。不同模型的全景圖的存取難易程度和觀察效果均有很大的差異。由六個(gè)平面投影圖像組成，這種結(jié)構(gòu)模型規(guī)則性好，存取方式與普通圖片的存儲(chǔ)方式相近，易于用計(jì)算機(jī)存取控制，但用相片構(gòu)建立方體形全景圖時(shí)，相片的獲取和相機(jī)的定位難度較大。因立方體的相鄰表面之間是相互垂直的，從而要求照相機(jī)主光軸在獲取相鄰的相片時(shí)必須垂直，且攝取每一個(gè)平面圖像需要90度的廣角鏡，以避免圖像的變形，這就要求相機(jī)配有昂貴的廣角鏡頭。由普通鏡頭照相機(jī)拍攝的照片經(jīng)鑲嵌形成一個(gè)球面的形狀。此模型與立方體形模型均能支持參與者在照相機(jī)的視點(diǎn)所在位置，以任意的視線方向觀察周圍的環(huán)境。但是要構(gòu)成球面模型的全景圖，必須先將平面照片投影成相應(yīng)的球面圖像，這是一個(gè)在圖像平面的:和y方向的非線性圖像變形過程，且由于每個(gè)球面圖像都有多個(gè)相鄰圖像，因此在全景圖鑲嵌過程中圖像求交定位均比較困難。再則，很難找到一個(gè)與球面相對(duì)應(yīng)且易于存取的數(shù)據(jù)結(jié)構(gòu)，以存放球面數(shù)據(jù)結(jié)構(gòu)。用全景圖相機(jī)拍攝的全景相片，或者計(jì)算機(jī)繪制的全景圖像，或者由普通相機(jī)拍攝的相片拼接成的一個(gè)以相機(jī)視點(diǎn)為中心的圓柱形。此模型具有下面兩個(gè)明顯的優(yōu)點(diǎn):①其單幀相片的獲取方式比立方體形模型和球體模型都要簡單。只要將一臺(tái)照相機(jī)安裝在一個(gè)三腳架上，校準(zhǔn)鏡頭、固定支架，在拍攝過程中，使照相機(jī)盡量少出現(xiàn)傾斜和翻轉(zhuǎn)現(xiàn)象，且每拍一幅照片，把照相機(jī)轉(zhuǎn)動(dòng)一定角度(一般該角度可以使前后兩幅相片有30 50%的畫面重疊即可)，再拍下一幅。②根據(jù)幾何常識(shí)，圓柱面可展開成一個(gè)矩形平面，從而我們可將圓柱全景圖展開成一個(gè)矩形圖像，且直接利用計(jì)算機(jī)的圖像格式進(jìn)行存取與訪問。該圓柱形模型在垂直方向上允許參與者視線的轉(zhuǎn)動(dòng)小于180度，但在絕大多數(shù)應(yīng)用中，體現(xiàn)橫向360度的環(huán)視環(huán)境足以表達(dá)空間信息，故360度圓柱形模型全景圖是目前構(gòu)造虛擬環(huán)境的較為理想的選擇。實(shí)景圖像的柱面投影算法是為了將多張實(shí)景圖像投影到一個(gè)圓柱面上，以柱面全景圖像的形式存儲(chǔ)。這樣一方面消除了實(shí)景圖像之間可能存在的重復(fù)景物信息，同時(shí)也得到了每張實(shí)景圖像上的像素點(diǎn)在視點(diǎn)空間中的方位信息。I是數(shù)碼相機(jī)拍攝的一張實(shí)景圖像，P(x,Y)是實(shí)景圖像I上的任意一個(gè)像素點(diǎn)。P點(diǎn)在數(shù)碼相機(jī)坐標(biāo)系下的坐標(biāo)為xWl2,yH12,，其中W和H分別為實(shí)景圖像I的寬度和高度。我們把圓柱面的中心設(shè)為照相機(jī)坐標(biāo)系的原點(diǎn)，并以數(shù)碼相機(jī)的像素焦距f作為圓柱面的半徑，下面推導(dǎo)出像素點(diǎn)P在圓柱面上的投影點(diǎn)Q在柱面全景圖像中的坐標(biāo)(fix, Y,)。是像素點(diǎn)(x,y)在圓柱面上的投影點(diǎn)Q的參數(shù)坐標(biāo)，把所有這樣的投影點(diǎn)組合在一起便得到全景圖像。但是參數(shù)坐標(biāo)是三維的，需要把它們轉(zhuǎn)變?yōu)槎S的圖像坐標(biāo)才便于存儲(chǔ)。這里，選用下面的公式來把三維的參數(shù)坐標(biāo)轉(zhuǎn)化為二維的圖像坐標(biāo):式(2 5)是將實(shí)景圖像I上的任意一個(gè)像素點(diǎn)P(xY)柱面投影到柱面全景圖像上一個(gè)像素點(diǎn)Q(x ，Y)的投影公式。由式(2 5)也可以得出該投影算法具有使景物在垂直方向上不發(fā)生形變的性質(zhì)。這一性質(zhì)使我們可以分別對(duì)每一張實(shí)景圖像進(jìn)行柱面投影變換，然后通過圖像拼接得到完整的柱面全景圖像。在圖像變換過程中，如圖像旋轉(zhuǎn)、投影等容易出現(xiàn)鋸齒現(xiàn)象，令圖像失真。為了避免這種現(xiàn)象，可采用插值運(yùn)算。常用的插值算法有鄰近插值法、雙線性插值法和三次卷積插值法等，下面將分別進(jìn)行介紹: 該算法的主要思想是目標(biāo)圖像中某點(diǎn)通過坐標(biāo)反變換得到基于原圖像的一浮點(diǎn)坐標(biāo)，對(duì)該坐標(biāo)取整，得到一整數(shù)型坐標(biāo)，用該整數(shù)坐標(biāo)對(duì)應(yīng)的原圖像像素值作為該目標(biāo)圖像點(diǎn)的像素值。該算法簡單直觀，運(yùn)算量小，然而當(dāng)圖像中包含像素之間灰度級(jí)有變化的細(xì)微結(jié)構(gòu)時(shí)，鄰近插值法會(huì)在圖像中產(chǎn)生人為加工的痕跡。在運(yùn)行時(shí)間上鄰近插值法花費(fèi)的時(shí)間最短，雙線性插值法次之，三次卷積法最長。在最后的效果上，三次卷積法最好，雙線性插值法次之，鄰近插值法最差，因此在實(shí)驗(yàn)中采用的是運(yùn)行時(shí)間和效果都居中的雙線性插值法。，但沒有采用雙線性插值算法的效果圖，從圖中可以看到明顯的鋸齒，從圖中已經(jīng)看不到明顯的鋸齒了，插值效果比較好。第三章 基于特征的圖像拼接算法研究與實(shí)現(xiàn)圖像特征包括像素灰度特征、色彩特征、區(qū)域特征、紋理特征、輪廓特征、邊緣特征及角點(diǎn)特征等。邊緣特征和角點(diǎn)特征是兩種較常用的特征。邊緣特征在第三章中己經(jīng)做過介紹，本章將主要介紹角點(diǎn)特征及其應(yīng)用。角點(diǎn)是圖像重要的局部特征，其直觀定義是指在至少兩個(gè)方向上圖像灰度變化均較大的點(diǎn)。在實(shí)際圖像中輪廓的拐點(diǎn)和線段的末端等都是角點(diǎn)。角點(diǎn)特征因具有信息量豐富、便于測(cè)量和表示、能夠適應(yīng)環(huán)境光照變化、尤其適用于處理遮擋和幾何變形問題等優(yōu)點(diǎn)而成為許多特征匹配算法的首選。現(xiàn)有的角點(diǎn)檢測(cè)算法非常多，根據(jù)目前對(duì)角點(diǎn)的具體定義和描述歸納起來，可以分為三大類，第一類算法基于邊緣檢測(cè)。這類算法首先檢測(cè)目標(biāo)邊緣輪廓，并編寫鏈碼，然后尋找曲率的最大點(diǎn)或者拐點(diǎn)，以此作為角點(diǎn)。，將角點(diǎn)提取變?yōu)橐粋€(gè)優(yōu)化問題，其衡量檢測(cè)性能的標(biāo)準(zhǔn)就是信噪比和點(diǎn)位置偏差。由于現(xiàn)有的邊緣檢測(cè)算子檢測(cè)性能比較差，使得本類算法精度很低。第二類算法基于圖像灰度。該方法直接從灰度圖像中檢測(cè)角點(diǎn)。它考慮的是像素點(diǎn)鄰域的灰度變化，而不是整個(gè)目標(biāo)的邊緣輪廓。Moravec最早提出了直接從灰度圖像中檢測(cè)角點(diǎn)的算法，該算法基于灰度圖像的自相關(guān)函數(shù)。首先在某個(gè)固定窗口內(nèi)，計(jì)算某點(diǎn)與周圍四個(gè)近鄰點(diǎn)的灰度自相關(guān)函數(shù)值，假如四個(gè)灰度自相關(guān)函數(shù)值中的最大值沒有超過一個(gè)給定閩值，那么該點(diǎn)被選為角點(diǎn)。Harris對(duì)Moravec角點(diǎn)提取算法進(jìn)行了改進(jìn)提出了Harris角點(diǎn)檢測(cè)算法，第三類算法基于模板。這類算法檢測(cè)出的角點(diǎn)比較準(zhǔn)確，但是由于模板固定，所以一般來講只適用于某些特定場(chǎng)合。該類算法應(yīng)用最多的是SUSAN角點(diǎn)檢測(cè)算法。它是Smith和Brady提出的一種檢測(cè)方案，通過計(jì)算單一值分割相似的核心區(qū)域來判斷角點(diǎn)多尺度的Harris角點(diǎn)檢測(cè)算法1. Harr i s角點(diǎn)檢測(cè)算法Harris和Stephens提出的Harris角點(diǎn)檢測(cè)算法，是在Moravec算法的基礎(chǔ)上進(jìn)行的改進(jìn)。Harris角點(diǎn)檢測(cè)算法用一階偏導(dǎo)來描述亮度變化，這種算子受信號(hào)處理中自相關(guān)函數(shù)的啟發(fā)，提出了一個(gè)與圖像的自相關(guān)函數(shù)相聯(lián)系的矩陣M，通過計(jì)算矩陣M的特征值，即自相關(guān)函數(shù)的一階曲率來判斷該點(diǎn)是否為角點(diǎn)。Harris角點(diǎn)檢測(cè)算子定義了任意方向上的自相關(guān)值E(u,v)為一組方形區(qū)域中圖像灰度誤差的總和，即:它的泰勒展開式為:角點(diǎn)響應(yīng)函數(shù)定義如下:R值越大，表明該點(diǎn)角點(diǎn)是角點(diǎn)的可能性越大。當(dāng)R大于零且較大時(shí)，對(duì)應(yīng)角點(diǎn)。如果較大但是R小于零，則對(duì)應(yīng)于邊緣區(qū)域。如果RI較小時(shí)，對(duì)應(yīng)于圖像的平坦區(qū)域。但在實(shí)驗(yàn)中，往往太多的角點(diǎn)被提取，因此應(yīng)該在嘗試匹配這些角點(diǎn)之前限制一下角點(diǎn)的數(shù)量。可行的方法就是選擇那些角點(diǎn)響應(yīng)函數(shù)值大于某個(gè)特定閩值的像素點(diǎn)為角點(diǎn)，即取定閉值T，如果R_T寸，該點(diǎn)即為角點(diǎn)。結(jié)合上述分析，Harris特征點(diǎn)提取算法可以表述如下: (1)對(duì)待匹配圖中的每個(gè)點(diǎn)，計(jì)算其在x和y方向的一階偏導(dǎo)各自的平方以及二者的乘積，對(duì)這三項(xiàng)分別進(jìn)行高斯濾波。 (2)對(duì)于每一個(gè)像素點(diǎn)計(jì)算其對(duì)應(yīng)的R值。設(shè)定一個(gè)閉值，大于該閉值的點(diǎn)作為候選的特征點(diǎn)。 (3)將所有的候選特征點(diǎn)按R值的大小從大到小進(jìn)行排序。對(duì)于每一個(gè)當(dāng)前點(diǎn)刪除所有排在其后面的且位于其某一鄰域內(nèi)的候選點(diǎn)。Harris角點(diǎn)檢測(cè)算子在實(shí)踐中被證明是一種很優(yōu)秀的特征點(diǎn)提取算子，它具有下面的優(yōu)點(diǎn):1)根據(jù)式((41)的定義，可知Harris角點(diǎn)檢測(cè)算子是各向同性的，當(dāng)圖像具有一定的旋轉(zhuǎn)角度時(shí)，角點(diǎn)的檢測(cè)不受其影響。2)由于需要求圖像的一階偏導(dǎo)，所以光強(qiáng)的差異對(duì)角點(diǎn)檢測(cè)的影響有限。3)能較好的提取角點(diǎn)，提取的點(diǎn)特征均勻而且合理。同時(shí)它也有一些不足:1)從上面的理解可以看出，Harris角點(diǎn)檢測(cè)算子沒有涉及尺度問題，也就是沒有涉及到物體的大小，一個(gè)物體在圖像中占的比例的不同，它的特征信息也不同，也就是說傳統(tǒng)的Harris角點(diǎn)檢測(cè)算子不具有抗縮放的功能。2)對(duì)一些仿射變換比較大的圖像，Harris算法失效。為了克服傳統(tǒng)的Harris不具有抗縮放功能的缺點(diǎn)，2005年，Mathew Brown和Richard Sceliski在原算法的基礎(chǔ)上引入了高斯金字塔P (xY)，實(shí)現(xiàn)了多尺度Harris角點(diǎn)檢測(cè)。具體算法描述如下:1)對(duì)每一層l上的高斯塔圖像中的每一個(gè)點(diǎn)(()用梯度函數(shù)進(jìn)行平滑，輸出圖像用函數(shù)M,(x,y)表示，平滑公式如下:3)為了控制角點(diǎn)的數(shù)量，降低程序的運(yùn)算量，需要對(duì)提取的角點(diǎn)進(jìn)行非最大值抑制ANMS(Adaptive NonMaximal Suppression)。首先依據(jù)fHM (xY)值對(duì)候選角點(diǎn)由大到小進(jìn)行排序，將第一個(gè)角點(diǎn)放入角點(diǎn)列表中，此時(shí)假設(shè)搜索半徑r為無窮大。減小。，再次選取半徑為r的區(qū)域內(nèi)最大的編(x, y)值放入角點(diǎn)列表中。半徑r。的確定如公式((47)所示:多尺度的Harris角點(diǎn)提取算法具有如下優(yōu)點(diǎn):1)仍然保持傳統(tǒng)Harris角點(diǎn)提取算法的優(yōu)點(diǎn)具有旋轉(zhuǎn)不變性，當(dāng)圖像具有一定的旋轉(zhuǎn)角度時(shí)，角點(diǎn)的檢測(cè)不受其影響。2)引入了高斯金字塔結(jié)構(gòu)，能夠在塔的不同層上進(jìn)行角點(diǎn)特征提取，提取的角點(diǎn)具有尺度不變性。3)采用了新穎的非最大值抑制算法ANMS，提取的角點(diǎn)特征分布的更加均勻合理。一般情況下，圖像序列中相鄰圖像間的重疊范圍大約在30%50%之間，為了減小程序的運(yùn)算量，將特征點(diǎn)提取范圍定在模板圖像的右側(cè)寬2/3部分，匹配圖像的左側(cè)寬2/3部分。多角度Harris角點(diǎn)提取效果下圖所示，=16的角點(diǎn)提取效果圖，=9的角點(diǎn)提取效果圖通過尋找兩幅或多幅圖像間的對(duì)應(yīng)點(diǎn)問題被稱為圖像特征點(diǎn)匹配，在計(jì)算機(jī)視覺中具有廣泛的應(yīng)用，例如圖像檢測(cè)、物體識(shí)別、攝像機(jī)定標(biāo)、三維重建、圖像配準(zhǔn)等方面。特征點(diǎn)匹配就是將不同圖像上由同一場(chǎng)景點(diǎn)投影而成的特征點(diǎn)對(duì)找出來。特征點(diǎn)匹配的效果受到多種因素的影響，如景物的遮擋、光照和噪聲等。因此特征點(diǎn)匹配中必須要考慮如何消除不良匹配點(diǎn)即誤配點(diǎn)(outlier)問題。根據(jù)匹配線索的不同，現(xiàn)有的匹配算法基本可以分為兩大類,1)基于窗口的匹配(AreaBased Matching,ABM)，窗口即是由待匹配點(diǎn)附近的像素點(diǎn)的灰度值組成的二維矩陣。其中最常用的是用交叉相關(guān)性來匹配，這是目前大多數(shù)匹配算法的基礎(chǔ)。2)基于特征的匹配(FeatureBased Matching, FBM)，在匹配前先要抽取邊或區(qū)域等特征。這些特征是圖像內(nèi)容更抽象的描述，在不同的光照下具有更多的不變性。但是特征匹配往往有很高的計(jì)算代價(jià)。當(dāng)特征點(diǎn)被提取出來后，需要把它們匹配起來。由于不同圖像上的同一個(gè)特征點(diǎn)的鄰域必然是相似的，可以采用相關(guān)窗口匹配法，使用區(qū)域相關(guān)系數(shù)Area Correlation Coefficient, LACC)作為兩個(gè)特征點(diǎn)匹配的依據(jù)。對(duì)于模板圖像中的某個(gè)特征點(diǎn)，采用一個(gè)以該特征點(diǎn)為中心的大小為(2wn+l) X (2wm+1)的相關(guān)窗口。然后在匹配圖像中以該點(diǎn)位置為中心設(shè)定一個(gè)大小為((2d。十1)X(2dv+1)的矩形窗口，對(duì)于匹配圖像中位于該搜索窗口的特征點(diǎn)，都設(shè)定一個(gè)這樣的相關(guān)窗口。:通過上述的特征點(diǎn)匹配方法可能產(chǎn)生眾多的偽匹配，即一幅圖中的特征點(diǎn)被另一幅圖像中多個(gè)特征點(diǎn)所匹配，給匹配對(duì)的后續(xù)處理設(shè)置了巨大的障礙。本文在原特征匹配算法的基礎(chǔ)上引入了單一性和對(duì)稱性限制策略來初步去除匹配對(duì)的冗余。單一性限制即對(duì)一幅圖中的點(diǎn)，只選擇另一幅圖中匹配響應(yīng)值最大的點(diǎn)作為其匹配點(diǎn)(該最大響應(yīng)值需要超過一個(gè)閉值)。單一性限制除去了相當(dāng)多的偽匹配，但是帶來了不對(duì)稱的問題:1，中的二‘對(duì)Iz中的二的匹配響應(yīng)值最大，但是Iz中的x不是使I，中的x’得到最大匹配響應(yīng)的點(diǎn)，這樣的點(diǎn)顯然是偽匹配。對(duì)稱性限制加入了這樣的要求:若I，中的x’對(duì)IZ中的x的匹配響應(yīng)值最大，且Iz中的二使得1，中的:’得到最大匹配響應(yīng)值的點(diǎn)(這里的兩個(gè)最大響應(yīng)值均需要超過一個(gè)閉值)，這樣的點(diǎn)才能被稱為匹配點(diǎn)。，可以看出加入單一性和對(duì)稱性的限制策略后匹配對(duì)的數(shù)目有了很明顯的減少，而且所取的閉值越大，匹配對(duì)的數(shù)量減少的越多。但這還是不能完全消除偽匹配，仍然需要采用更魯棒的角點(diǎn)匹配對(duì)提純算法進(jìn)一步去除偽匹配。第四章 圖像融合當(dāng)找到最佳匹配，隨后的工作將是把兩幅圖像合成一幅圖像。對(duì)于重疊部分，我們?nèi)绻皇呛唵蔚娜〉谝环鶊D像和第二幅圖像的數(shù)據(jù)進(jìn)行疊加，圖像重疊區(qū)域會(huì)有明顯的邊界和亮度差距，這是不能容忍的，如圖3. 7所示。所以需要采用相應(yīng)的算法來消除這種現(xiàn)象，在這方面己經(jīng)有很多人進(jìn)行了大量的研究，提出了很多的算法。令I(lǐng) , x Y) I2 x Y)和I (x,必分別表示第一幅圖像、第二幅圖像和融合圖像在點(diǎn)((x,必處的像素值，則融合圖像中各點(diǎn)的像素值按式((51)確定。式(51)中，R表示第一幅圖像中未與第二幅圖像重疊的圖像區(qū)域，RZ表示第一幅圖像和第二幅圖像重疊的圖像區(qū)域，R3表示第二幅圖像中與第一幅圖像重疊的圖像區(qū)域。取兩幅圖像的平均值效果一般不能令人滿意，在融合部分有明顯的帶狀感覺，用眼睛觀察有明顯的亮度上的差別。如圖5. 1所示:由圖可以看出拼接后的圖像最大的缺點(diǎn)就是圖像中存在較大的亮度差別。為了消除這種影響，本文中采用了亮度調(diào)和處理算法，具體描述如下:(1)將兩幅圖像的1/3公共部分作為重疊區(qū)域，注意要保證兩個(gè)重疊區(qū)域像