【正文】 大幅面多圖像的相對(duì)配準(zhǔn)，因此如何確定多圖像之間的配準(zhǔn)函數(shù)映射關(guān)系是圖像配準(zhǔn)的關(guān)鍵。 基于Harris角點(diǎn)缺陷圖像配準(zhǔn)算法的研究1） 角點(diǎn)檢測(cè)角點(diǎn)：是圖像中具有高曲率的點(diǎn)，它由景物目標(biāo)的邊緣較大的地方或者兩條、多條邊緣的角點(diǎn)構(gòu)成，但是 不同于邊緣像素灰度只在一個(gè)方向上發(fā)生變化[9]。Harris角點(diǎn)檢測(cè)只是涉及到簡(jiǎn)單的矩陣和一階導(dǎo)數(shù)運(yùn)算，能夠根據(jù)閾值提取出局部“興趣點(diǎn)”。這也是把角點(diǎn)和圖像邊緣、以及平坦地區(qū)區(qū)分的依據(jù)。 (a) 提取角點(diǎn)的待配準(zhǔn)圖A (b)提取角點(diǎn)的待配準(zhǔn)圖B圖 31 提取角點(diǎn)的待配準(zhǔn)圖 (c) A和B之間的配準(zhǔn)映射關(guān)系 (d) A、B基于Harris 角點(diǎn)檢測(cè)的配準(zhǔn)圖圖 32 A、B之間的配準(zhǔn)關(guān)系由以上圖 32可以看出，配準(zhǔn)后的2幅圖融合的不錯(cuò)，只是中間在2幅圖銜接的地方由于算法的問題導(dǎo)致銜接處有一道劃痕。 OpenCV的應(yīng)用計(jì)算機(jī)視覺市場(chǎng)巨大而且持續(xù)增長(zhǎng)，且這方面沒有標(biāo)準(zhǔn)API，目前的計(jì)算機(jī)視覺軟件大概有以下三種: 1） 研究代碼（慢，不穩(wěn)定，獨(dú)立并與其他庫不兼容） 2） 耗費(fèi)很高的商業(yè)化工具（比如Halcon, MATLAB+Simulink） 3） 依賴硬件的一些特別的解決方案（比如視頻監(jiān)控，制造控制系統(tǒng)，醫(yī)療設(shè)備） 這是目前的現(xiàn)狀。 2） 物體識(shí)別 3） 圖象分割 4） 人臉識(shí)別 5） 動(dòng)作識(shí)別 6） 運(yùn)動(dòng)跟蹤 7） 機(jī)器人 OpenCV的基本數(shù)據(jù)機(jī)構(gòu)：IplImage結(jié)構(gòu)由于OpenCV主要針對(duì)的是計(jì)算機(jī)視覺方面的處理，因此在函數(shù)庫中，最重要的結(jié)構(gòu)體是IplImage結(jié)構(gòu)。 /* 版本 (=0)*/　　int nChannels。 /* 被OpenCV忽略 */　　char channelSeq[4]。 /* 圖像行排列方式 */　　int width。 /* 在 OpenCV中必須為NULL */　　void *imageId。 /* 指向排列的圖像數(shù)據(jù) */　　int widthStep。 /* 指針指向一個(gè)不同的圖像數(shù)據(jù)結(jié)構(gòu)*/　　} IplImage。在添加自定義算法過程中，為方便程序調(diào)試和修改，可采用聯(lián)合調(diào)試的辦法。并更改配置[8]，如圖 33所示：圖 33 更該工程配置2）利用OpenCV算法庫進(jìn)行自定義開發(fā)時(shí)，[2]:(1) 選擇ToolsOptions，在Directories選項(xiàng)卡中添加文件路徑信息，如圖 34所示：圖 34 添加OpenCV庫路徑信息 (2)選擇ProjectSettings在Link選項(xiàng)卡中做如圖 35修改：圖 35 添加OpenCV庫信息(3)作以上的修改后，就可以在VC++下編寫用于實(shí)現(xiàn)缺陷檢測(cè)的動(dòng)態(tài)鏈接庫dll文件，調(diào)試無誤后，導(dǎo)入工業(yè)組態(tài)軟件Xavis中，就可以運(yùn)行了,如圖圖 36所示：圖 36 給Xavis添加dll文件 本章小結(jié)本章首先介紹了Matlab用于圖像處理的仿真方法，然后用Matlab實(shí)現(xiàn)了基于Harris角點(diǎn)檢測(cè)的圖像配準(zhǔn)，取得了不錯(cuò)的結(jié)果。并粗略介紹了OpenCV的功能和應(yīng)用。 基于圖像處理的缺陷檢測(cè)基本流程用VC++給Xavis 添加圖像表面缺陷檢測(cè)的動(dòng)態(tài)鏈接庫文件，其中圖像處理的缺陷檢測(cè)基本流程如下：圖 41 缺陷檢測(cè)基本流程圖該算法的關(guān)鍵是圖像配準(zhǔn)算法和圖像比對(duì)算法的選擇，這是算法復(fù)雜性的重要因素之一。于此相關(guān)的有GaussLapplace變換，其實(shí)就是為了得到較好的圖像邊緣，先對(duì)圖像做Gauss平滑濾波，剔除噪聲，然后求二階導(dǎo)矢，用二階導(dǎo)的過零點(diǎn)確定邊緣，在計(jì)算時(shí)也是頻域乘積=空域卷積。2） cvSmooth函數(shù)[16]cvSmooth( const void* srcarr, void* dstarr, int smoothtype,int param1, int param2, double param3 )cvSmooth函數(shù)的作用是對(duì)圖象做各種方法的圖象平滑。CV_GAUSSIAN：對(duì)圖像進(jìn)行核大小為param1param2的高斯卷積。1） 二值化一幅圖像包括目標(biāo)物體、背景還有噪聲，要想從多值二值化的數(shù)字圖像中直接提取出目標(biāo)物體，最常用的方法就是設(shè)定一個(gè)閾值T，用T將圖像的數(shù)據(jù)分成兩部分：大于T的像素群和小于T的像素群。該函數(shù)的典型應(yīng)用是對(duì)灰度圖像進(jìn)行閾值操作得到二值圖像。其中：src：原始數(shù)組 (單通道 , 8bit of 32bit 浮點(diǎn)數(shù))。 否則,dst(x,y) = max_v。threshold：閾值 max_value：使用 CV_THRESH_BINARY 和 CV_THRESH_BINARY_INV 的最大值。本函數(shù)支持的對(duì)圖像取閾值的方法由 threshold_type 確定。圖像的二值化，就是將圖像上的像素點(diǎn)的灰度值設(shè)置為0或255，也就是將整個(gè)圖像呈現(xiàn)出明顯的只有黑和白的視覺效果。CV_BILATERAL：雙向?yàn)V波，應(yīng)用雙向 3x3 濾波，彩色設(shè)置為param1，空間設(shè)置為param2。參數(shù)smoothtype是圖象平滑的方法選擇，主要的平滑方法有以下五種： CV_BLUR_NO_SCALE：簡(jiǎn)單不帶尺度變換的模糊，即對(duì)每個(gè)象素在 param1param2領(lǐng)域求和。 若使用理想濾波器，會(huì)在圖像中產(chǎn)生振鈴現(xiàn)象。 基于形態(tài)學(xué)處理的缺陷檢測(cè)算法研究與實(shí)現(xiàn)基于形態(tài)學(xué)處理的缺陷檢測(cè)主要用來檢測(cè)的是軸承表面的缺陷檢測(cè)，待檢測(cè)圖如圖 42 ：圖 42 待檢測(cè)圖像由上圖可以看出，產(chǎn)品缺陷主要是在兩個(gè)圓環(huán)之間的區(qū)域，因此只要將兩個(gè)圓環(huán)檢測(cè)出來確定缺陷所在區(qū)域，然后再用閾值分割法即可確定出缺陷的具體位置，基于此點(diǎn)，我們?cè)O(shè)計(jì)了以下的處理算法來標(biāo)定缺陷。本章首先介紹了檢測(cè)的流程，然后討論了最重要的幾種圖像配準(zhǔn)算法。為后續(xù)的VC++下研究算法并打包成dll文件供Xavis調(diào)用提供了基礎(chǔ)。本節(jié)簡(jiǎn)述一下聯(lián)合調(diào)試與利用OpenCV庫進(jìn)行算法庫擴(kuò)展時(shí)應(yīng)注意的相關(guān)問題[2]。 上句定義了一個(gè)IplImage指針變量src，圖像的大小是400300，圖像顏色深度8位，3通道圖像。 /* 邊際結(jié)束模式, 在 OpenCV 被忽略*/　　int BorderConst[4]。 /*同上*/　　int imageSize。 /* 圖像高像素?cái)?shù)*/　　struct _IplROI *roi。 /* 交叉存取圖像通道 */　　int origin。 /* 被OpenCV忽略 */　　int depth。IplImage結(jié)構(gòu)具體定義如下[14][16]：　　typedef struct _IplImage　　{　　int nSize。OpenCV致力于成為這樣的標(biāo)準(zhǔn)API。 OpenCV的運(yùn)用和VC++、Xavis的聯(lián)合調(diào)試的實(shí)現(xiàn) OpenCV的基本概念OpenCV的全稱是：Open Source Computer Vision Library， 是Intel公司支持的開源計(jì)算機(jī)視覺庫。平坦地區(qū)：在水平、豎直方向的變化量均較小，即Ix、Iy都較小。 其中： 角點(diǎn)最直觀的印象就是在水平、豎直兩個(gè)方向上變化均較大的點(diǎn)，即Ix、Iy都較大。（2） 對(duì)圖像灰度進(jìn)行操作，計(jì)算圖像灰度分布的曲率，以最大曲率的點(diǎn)作為角點(diǎn)。 圖像配準(zhǔn)方法目前，根據(jù)如何確定RCP的方法和圖像配準(zhǔn)中利用的圖像信息區(qū)別可將圖像配準(zhǔn)方法分為三個(gè)主要類別：基于灰度信息法、變換域法和基于特征法，其中基于特征法又可以根據(jù)所用的特征屬性的不同而細(xì)分為若干類別。 圖像配準(zhǔn)的方式圖像配準(zhǔn)的方式可以概括為相對(duì)配準(zhǔn)和絕對(duì)配準(zhǔn)兩種：相對(duì)配準(zhǔn)是指選擇多圖像中的一張圖像作為參考圖像，將其它的相關(guān)圖像與之配準(zhǔn)，其坐標(biāo)系統(tǒng)是任意的。只有配準(zhǔn)之后才有利于后期標(biāo)簽缺陷的檢測(cè)。其中，X表示重構(gòu)的分量信號(hào)，cA表示分解得到的近似分量系數(shù)；cH表示分解得到的水平分量系數(shù)；cV表示分解得到的垂直分量系數(shù)；cD表示分解得到的對(duì)角線分量系數(shù)；db8表示重構(gòu)所用的濾波器組。 圖像增強(qiáng)直方圖、直方圖均化、對(duì)比度增強(qiáng)、均值濾波、中值濾波、維納濾波的實(shí)現(xiàn)：調(diào)用imhist, histeq, imjust, log, imnoise, conv2, medfilt2, wiener2等函數(shù)的操作。Matlab為圖像處理提供了豐富的工具箱和接口函數(shù)，可以直接調(diào)用，這里做簡(jiǎn)要的介紹： 缺陷檢測(cè)基本處理操作在Matlab中的實(shí)現(xiàn)圖像顯示、讀寫、像素統(tǒng)計(jì)處理、圖像文件I/O的實(shí)現(xiàn)：調(diào)用imread, imshow, mean2, std2, imwrite等函數(shù)等函數(shù)，比如：% color image showI=imread(39。實(shí)現(xiàn)基本的聯(lián)合調(diào)試方法，圖像處理方法。 對(duì)于沒有被歸一化的的情況，只要乘以最大的灰度值（對(duì)于灰度圖像就是255）既可。同鄰域平均法一樣，也存在“超限中值濾波”，即如果某個(gè)像素的灰度值大于其鄰域像素的中間值，且達(dá)到了一定的水平，則判斷該像素為噪音，用該點(diǎn)鄰域像素的中間值代替該點(diǎn)的像素灰度值。 中值濾波降噪 從前面的可以看出，鄰域平均法可以抑制圖像的噪音，但不可避免的引起了圖像的邊緣模糊?；诖它c(diǎn)，可以用鄰域平均的方法來消除噪音。 (a) 原圖 (b) 效果圖 圖 29 圖像增強(qiáng)效果圖圖像的增強(qiáng)技術(shù)通常有兩類方法：空間域法和頻率域法。在這種情況下，可以把增強(qiáng)理解為增強(qiáng)感興趣特征的可檢測(cè)性，而非改善視感質(zhì)量。當(dāng)無法知道圖像退化有關(guān)的定量信息時(shí)，可以使用圖像增強(qiáng)技術(shù)較為主觀地改善圖像的質(zhì)量。當(dāng)圖像中的目標(biāo)具有垂直邊界時(shí)，對(duì)圖像進(jìn)行垂直投影，則目標(biāo)邊界列的目標(biāo)像素的個(gè)數(shù)將明顯多于其他列，從而確定目標(biāo)的水平邊界在圖像中的列數(shù)。它主要針對(duì)二值圖像的操作，也是圖像分割中的一種基本的操作，當(dāng)物體具有水平或垂直邊界時(shí)，通過投影，可以確定物體的大概位置。這樣一直找到第一個(gè)黑點(diǎn)為止。以下介紹本文中要用到的二值圖像的輪廓跟蹤。在目標(biāo)跟蹤中，通過輪廓提取或輪廓跟蹤技術(shù)確定目標(biāo)的輪廓參數(shù)。因此正確的設(shè)定分割閾值對(duì)于圖像的分割是非常重要的。 灰度分割法灰度分割法，顧名思義，就是利用目標(biāo)區(qū)域和背景區(qū)域在灰度方面的差異，選取一個(gè)閾值，對(duì)圖像進(jìn)行分割，以區(qū)分出目標(biāo)和背景的一種方法。當(dāng)前提出的小波分析、模糊集、分形等新的智能信息處理方法有可能找到新的圖像分割方法。 圖 25為膨脹和腐蝕的示意圖 (ａ)結(jié)構(gòu)元素　　　　　 (ｂ)原圖　　　　 　　　　　　　　　　　　 (ｃ)膨脹　　　　　　　 (ｄ)腐蝕 圖 25　形態(tài)學(xué)操作示意圖 圖像分割提取缺陷檢測(cè)中的感興趣區(qū)域在對(duì)圖像的研究和應(yīng)用中，人們往往只對(duì)圖像的某些區(qū)域感興趣，這些區(qū)域通常稱為目標(biāo)或前景，它們一般對(duì)應(yīng)于圖像中特定的，具有獨(dú)特性質(zhì)的區(qū)域。這些組合運(yùn)算中，最為重要也最常用的兩個(gè)組合運(yùn)算是開運(yùn)算和閉運(yùn)算。它在圖像處理中的主要作用是消除物體的邊界點(diǎn)，消除圖像中小于結(jié)構(gòu)元素的物體，分開具有細(xì)小連接的兩個(gè)物體。 膨脹 膨脹是形態(tài)學(xué)運(yùn)算中的最基本的運(yùn)算子之一，它在圖像處理中的主要作用是擴(kuò)充物體邊界點(diǎn)，連接兩個(gè)距離很近的物體。近年來，形態(tài)學(xué)在圖像處理方面的應(yīng)用和研究得到了迅速發(fā)展。 圖 24 圖像的腐蝕 數(shù)學(xué)形態(tài)學(xué)由一組形態(tài)學(xué)運(yùn)算算子組成。數(shù)字圖像處理涉及的技術(shù)領(lǐng)域相當(dāng)廣泛，如通信技術(shù)、計(jì)算機(jī)技術(shù)、電子技術(shù)、電視技術(shù)等， 當(dāng)然，數(shù)學(xué)、物理學(xué)等領(lǐng)域更是數(shù)字圖像處理的基礎(chǔ)。4） 處理費(fèi)時(shí)。則一幅10241024不經(jīng)壓縮的真彩色圖像，數(shù)據(jù)量達(dá)3 MB（即102410248 bit3=24 Mb）。由于圖像處理是通過運(yùn)行程序進(jìn)行的，因此，設(shè)計(jì)不同的圖像處理程序，可以實(shí)現(xiàn)各種不同的處理目的。數(shù)字圖像處理具有如下特點(diǎn)： 1） 處理精度高，再現(xiàn)性好。3） 高級(jí)圖像處理高級(jí)圖像處理是在中級(jí)圖像處理的基礎(chǔ)上，進(jìn)一步研究圖象中各目標(biāo)的性質(zhì)和它們之間相互的聯(lián)系，并得出對(duì)圖象內(nèi)容含義的理解（對(duì)象識(shí)別）及對(duì)原來客觀場(chǎng)景的解釋（計(jì)算機(jī)視覺），從而指導(dǎo)和規(guī)劃行動(dòng)。運(yùn)動(dòng)檢測(cè)、運(yùn)動(dòng)目標(biāo)分類與跟蹤是視覺監(jiān)控中研究較多的三個(gè)問題，而行為理解與描述則是近年來被廣泛關(guān)注的研究熱點(diǎn)，它是指對(duì)目標(biāo)的運(yùn)動(dòng)模式進(jìn)行分析和識(shí)別，并用自然語言等加以描述1） 低級(jí)圖像處理低級(jí)圖像處理主要對(duì)圖象進(jìn)行各種加工以改善圖象的視覺效果、或突出有用信息，并為自動(dòng)識(shí)別打基礎(chǔ)，或通過編碼以減少對(duì)其所需存儲(chǔ)空間、傳輸時(shí)間或傳輸帶寬的要求。簡(jiǎn)言之，就是以數(shù)字格式表示的圖像。例如，電腦人像藝術(shù)，電視中的特殊效果，自動(dòng)售貨機(jī)鈔票的識(shí)別，郵政編碼的自動(dòng)識(shí)別和利用指紋、虹膜、面部等特征的身份識(shí)別等。 數(shù)字圖像處理的概念數(shù)字計(jì)算機(jī)最擅長(zhǎng)的莫過于處理各種數(shù)據(jù)，數(shù)字化后的圖像可以看成是存儲(chǔ)在計(jì)算機(jī)中的有序數(shù)據(jù)，當(dāng)然可以通過計(jì)算機(jī)對(duì)數(shù)字圖像進(jìn)行處理。第五章：對(duì)本文中的缺陷檢測(cè)算法進(jìn)行了總結(jié)，分析了取得的結(jié)果和工作的不足，并對(duì)今后的工作提出了展望。第三章：學(xué)習(xí)并研究Xavis機(jī)器視覺平臺(tái)進(jìn)行圖像處理的方法，研究并實(shí)現(xiàn)Matlab/VC/OpenCV圖像處理編程方