【正文】 好的應(yīng)用于實(shí)際。最終在畢設(shè)中采用了三種效果比較不錯(cuò)的配準(zhǔn)算法。針對(duì)算法的封裝與聯(lián)合調(diào)試，在Visual Studio++下基于OpenCV視覺庫，把檢測算法封裝成動(dòng)態(tài)鏈接庫文件，然后供工業(yè)視覺組態(tài)軟件Xavis調(diào)用。同時(shí)培養(yǎng)了良好的編程能力，分析和解決問題的能力，為以后的科研夯實(shí)了基礎(chǔ)。 Template Matching。比如在工業(yè)領(lǐng)域，檢測工件的表面是否有缺陷，印刷品質(zhì)量是否有缺陷，IC字符印刷的質(zhì)量，電路板的質(zhì)量等[1]都大量利用了圖像處理技術(shù)。其中光學(xué)方法已經(jīng)有了很長的發(fā)展歷史，從簡單的光學(xué)濾波到現(xiàn)在的激光全息技術(shù)，光學(xué)處理的理論也日趨完善，而且處理速度快，信息容量大，分辨率高。在上個(gè)世紀(jì)六十年代，數(shù)字圖像處理形成了一門學(xué)科。CT裝置的基本方法是根據(jù)人體各部分的投影，利用數(shù)字圖像處理技術(shù)來重構(gòu)圖像。這類應(yīng)用的共同特點(diǎn)是連續(xù)大批量生產(chǎn)、對(duì)外觀質(zhì)量的要求非常高。由于人工檢測的缺陷，人們自然而然的想到了利用圖像處理技術(shù)來實(shí)現(xiàn)檢測的自動(dòng)化。表面缺陷檢測系統(tǒng)構(gòu)成如圖 12 圖 12　缺陷檢測系統(tǒng)組成流水生產(chǎn)線上的產(chǎn)品經(jīng)過CCD采集后送到計(jì)算機(jī)中，計(jì)算機(jī)對(duì)圖像進(jìn)行處理，檢測出產(chǎn)品表面是否有缺陷以及缺陷的位置，如果有缺陷，記錄缺陷的情況以供后續(xù)處理。目前很多公司的視覺產(chǎn)品和視覺技術(shù)就是要挖掘?qū)崿F(xiàn)機(jī)器視覺技術(shù)的潛力，并通過圖像處理技術(shù)來實(shí)現(xiàn)其增值服務(wù)。所以工業(yè)圖像的處理算法也千差萬別。（3） 設(shè)計(jì)開發(fā)了缺陷檢測軟件，使用VC++成功的實(shí)現(xiàn)了各種設(shè)計(jì)的算法，并且取得了比較好的效果。第三章：學(xué)習(xí)并研究Xavis機(jī)器視覺平臺(tái)進(jìn)行圖像處理的方法，研究并實(shí)現(xiàn)Matlab/VC/OpenCV圖像處理編程方法，進(jìn)行缺陷檢測的Matlab仿真。第五章：對(duì)本文中的缺陷檢測算法進(jìn)行了總結(jié)，分析了取得的結(jié)果和工作的不足，并對(duì)今后的工作提出了展望。 數(shù)字圖像處理的概念數(shù)字計(jì)算機(jī)最擅長的莫過于處理各種數(shù)據(jù)，數(shù)字化后的圖像可以看成是存儲(chǔ)在計(jì)算機(jī)中的有序數(shù)據(jù)，當(dāng)然可以通過計(jì)算機(jī)對(duì)數(shù)字圖像進(jìn)行處理。例如，電腦人像藝術(shù)，電視中的特殊效果，自動(dòng)售貨機(jī)鈔票的識(shí)別，郵政編碼的自動(dòng)識(shí)別和利用指紋、虹膜、面部等特征的身份識(shí)別等。簡言之，就是以數(shù)字格式表示的圖像。運(yùn)動(dòng)檢測、運(yùn)動(dòng)目標(biāo)分類與跟蹤是視覺監(jiān)控中研究較多的三個(gè)問題，而行為理解與描述則是近年來被廣泛關(guān)注的研究熱點(diǎn)，它是指對(duì)目標(biāo)的運(yùn)動(dòng)模式進(jìn)行分析和識(shí)別，并用自然語言等加以描述1） 低級(jí)圖像處理低級(jí)圖像處理主要對(duì)圖象進(jìn)行各種加工以改善圖象的視覺效果、或突出有用信息，并為自動(dòng)識(shí)別打基礎(chǔ)，或通過編碼以減少對(duì)其所需存儲(chǔ)空間、傳輸時(shí)間或傳輸帶寬的要求。3） 高級(jí)圖像處理高級(jí)圖像處理是在中級(jí)圖像處理的基礎(chǔ)上，進(jìn)一步研究圖象中各目標(biāo)的性質(zhì)和它們之間相互的聯(lián)系，并得出對(duì)圖象內(nèi)容含義的理解（對(duì)象識(shí)別）及對(duì)原來客觀場景的解釋（計(jì)算機(jī)視覺），從而指導(dǎo)和規(guī)劃行動(dòng)。數(shù)字圖像處理具有如下特點(diǎn)： 1） 處理精度高，再現(xiàn)性好。由于圖像處理是通過運(yùn)行程序進(jìn)行的，因此，設(shè)計(jì)不同的圖像處理程序，可以實(shí)現(xiàn)各種不同的處理目的。則一幅10241024不經(jīng)壓縮的真彩色圖像，數(shù)據(jù)量達(dá)3 MB（即102410248 bit3=24 Mb）。4） 處理費(fèi)時(shí)。數(shù)字圖像處理涉及的技術(shù)領(lǐng)域相當(dāng)廣泛，如通信技術(shù)、計(jì)算機(jī)技術(shù)、電子技術(shù)、電視技術(shù)等， 當(dāng)然，數(shù)學(xué)、物理學(xué)等領(lǐng)域更是數(shù)字圖像處理的基礎(chǔ)。 圖 24 圖像的腐蝕 數(shù)學(xué)形態(tài)學(xué)由一組形態(tài)學(xué)運(yùn)算算子組成。近年來，形態(tài)學(xué)在圖像處理方面的應(yīng)用和研究得到了迅速發(fā)展。 膨脹 膨脹是形態(tài)學(xué)運(yùn)算中的最基本的運(yùn)算子之一，它在圖像處理中的主要作用是擴(kuò)充物體邊界點(diǎn)，連接兩個(gè)距離很近的物體。它在圖像處理中的主要作用是消除物體的邊界點(diǎn)，消除圖像中小于結(jié)構(gòu)元素的物體，分開具有細(xì)小連接的兩個(gè)物體。這些組合運(yùn)算中，最為重要也最常用的兩個(gè)組合運(yùn)算是開運(yùn)算和閉運(yùn)算。 圖 25為膨脹和腐蝕的示意圖 (ａ)結(jié)構(gòu)元素　　　　　 (ｂ)原圖　　　　 　　　　　　　　　　　　 (ｃ)膨脹　　　　　　　 (ｄ)腐蝕 圖 25　形態(tài)學(xué)操作示意圖 圖像分割提取缺陷檢測中的感興趣區(qū)域在對(duì)圖像的研究和應(yīng)用中，人們往往只對(duì)圖像的某些區(qū)域感興趣，這些區(qū)域通常稱為目標(biāo)或前景，它們一般對(duì)應(yīng)于圖像中特定的，具有獨(dú)特性質(zhì)的區(qū)域。當(dāng)前提出的小波分析、模糊集、分形等新的智能信息處理方法有可能找到新的圖像分割方法。 灰度分割法灰度分割法，顧名思義，就是利用目標(biāo)區(qū)域和背景區(qū)域在灰度方面的差異，選取一個(gè)閾值，對(duì)圖像進(jìn)行分割，以區(qū)分出目標(biāo)和背景的一種方法。因此正確的設(shè)定分割閾值對(duì)于圖像的分割是非常重要的。在目標(biāo)跟蹤中，通過輪廓提取或輪廓跟蹤技術(shù)確定目標(biāo)的輪廓參數(shù)。以下介紹本文中要用到的二值圖像的輪廓跟蹤。這樣一直找到第一個(gè)黑點(diǎn)為止。它主要針對(duì)二值圖像的操作，也是圖像分割中的一種基本的操作，當(dāng)物體具有水平或垂直邊界時(shí)，通過投影，可以確定物體的大概位置。當(dāng)圖像中的目標(biāo)具有垂直邊界時(shí)，對(duì)圖像進(jìn)行垂直投影，則目標(biāo)邊界列的目標(biāo)像素的個(gè)數(shù)將明顯多于其他列，從而確定目標(biāo)的水平邊界在圖像中的列數(shù)。當(dāng)無法知道圖像退化有關(guān)的定量信息時(shí)，可以使用圖像增強(qiáng)技術(shù)較為主觀地改善圖像的質(zhì)量。在這種情況下，可以把增強(qiáng)理解為增強(qiáng)感興趣特征的可檢測性，而非改善視感質(zhì)量。 (a) 原圖 (b) 效果圖 圖 29 圖像增強(qiáng)效果圖圖像的增強(qiáng)技術(shù)通常有兩類方法：空間域法和頻率域法?；诖它c(diǎn)，可以用鄰域平均的方法來消除噪音。 中值濾波降噪 從前面的可以看出，鄰域平均法可以抑制圖像的噪音，但不可避免的引起了圖像的邊緣模糊。同鄰域平均法一樣，也存在“超限中值濾波”，即如果某個(gè)像素的灰度值大于其鄰域像素的中間值，且達(dá)到了一定的水平，則判斷該像素為噪音，用該點(diǎn)鄰域像素的中間值代替該點(diǎn)的像素灰度值。 對(duì)于沒有被歸一化的的情況，只要乘以最大的灰度值（對(duì)于灰度圖像就是255）既可。實(shí)現(xiàn)基本的聯(lián)合調(diào)試方法，圖像處理方法。Matlab為圖像處理提供了豐富的工具箱和接口函數(shù)，可以直接調(diào)用，這里做簡要的介紹： 缺陷檢測基本處理操作在Matlab中的實(shí)現(xiàn)圖像顯示、讀寫、像素統(tǒng)計(jì)處理、圖像文件I/O的實(shí)現(xiàn)：調(diào)用imread, imshow, mean2, std2, imwrite等函數(shù)等函數(shù)，比如：% color image showI=imread(39。 圖像增強(qiáng)直方圖、直方圖均化、對(duì)比度增強(qiáng)、均值濾波、中值濾波、維納濾波的實(shí)現(xiàn)：調(diào)用imhist, histeq, imjust, log, imnoise, conv2, medfilt2, wiener2等函數(shù)的操作。其中，X表示重構(gòu)的分量信號(hào)，cA表示分解得到的近似分量系數(shù)；cH表示分解得到的水平分量系數(shù)；cV表示分解得到的垂直分量系數(shù)；cD表示分解得到的對(duì)角線分量系數(shù)；db8表示重構(gòu)所用的濾波器組。只有配準(zhǔn)之后才有利于后期標(biāo)簽缺陷的檢測。 圖像配準(zhǔn)的方式圖像配準(zhǔn)的方式可以概括為相對(duì)配準(zhǔn)和絕對(duì)配準(zhǔn)兩種：相對(duì)配準(zhǔn)是指選擇多圖像中的一張圖像作為參考圖像，將其它的相關(guān)圖像與之配準(zhǔn)，其坐標(biāo)系統(tǒng)是任意的。 圖像配準(zhǔn)方法目前，根據(jù)如何確定RCP的方法和圖像配準(zhǔn)中利用的圖像信息區(qū)別可將圖像配準(zhǔn)方法分為三個(gè)主要類別：基于灰度信息法、變換域法和基于特征法，其中基于特征法又可以根據(jù)所用的特征屬性的不同而細(xì)分為若干類別。（2） 對(duì)圖像灰度進(jìn)行操作，計(jì)算圖像灰度分布的曲率，以最大曲率的點(diǎn)作為角點(diǎn)。 其中： 角點(diǎn)最直觀的印象就是在水平、豎直兩個(gè)方向上變化均較大的點(diǎn)，即Ix、Iy都較大。平坦地區(qū)：在水平、豎直方向的變化量均較小，即Ix、Iy都較小。 OpenCV的運(yùn)用和VC++、Xavis的聯(lián)合調(diào)試的實(shí)現(xiàn) OpenCV的基本概念OpenCV的全稱是：Open Source Computer Vision Library， 是Intel公司支持的開源計(jì)算機(jī)視覺庫。OpenCV致力于成為這樣的標(biāo)準(zhǔn)API。IplImage結(jié)構(gòu)具體定義如下[14][16]：　　typedef struct _IplImage　　{　　int nSize。 /* 被OpenCV忽略 */　　int depth。 /* 交叉存取圖像通道 */　　int origin。 /* 圖像高像素?cái)?shù)*/　　struct _IplROI *roi。 /*同上*/　　int imageSize。 /* 邊際結(jié)束模式, 在 OpenCV 被忽略*/　　int BorderConst[4]。 上句定義了一個(gè)IplImage指針變量src，圖像的大小是400300，圖像顏色深度8位，3通道圖像。本節(jié)簡述一下聯(lián)合調(diào)試與利用OpenCV庫進(jìn)行算法庫擴(kuò)展時(shí)應(yīng)注意的相關(guān)問題[2]。為后續(xù)的VC++下研究算法并打包成dll文件供Xavis調(diào)用提供了基礎(chǔ)。本章首先介紹了檢測的流程，然后討論了最重要的幾種圖像配準(zhǔn)算法。 基于形態(tài)學(xué)處理的缺陷檢測算法研究與實(shí)現(xiàn)基于形態(tài)學(xué)處理的缺陷檢測主要用來檢測的是軸承表面的缺陷檢測，待檢測圖如圖 42 ：圖 42 待檢測圖像由上圖可以看出，產(chǎn)品缺陷主要是在兩個(gè)圓環(huán)之間的區(qū)域，因此只要將兩個(gè)圓環(huán)檢測出來確定缺陷所在區(qū)域，然后再用閾值分割法即可確定出缺陷的具體位置，基于此點(diǎn)，我們?cè)O(shè)計(jì)了以下的處理算法來標(biāo)定缺陷。 若使用理想濾波器，會(huì)在圖像中產(chǎn)生振鈴現(xiàn)象。參數(shù)smoothtype是圖象平滑的方法選擇，主要的平滑方法有以下五種： CV_BLUR_NO_SCALE：簡單不帶尺度變換的模糊，即對(duì)每個(gè)象素在 param1param2領(lǐng)域求和。CV_BILATERAL：雙向?yàn)V波，應(yīng)用雙向 3x3 濾波，彩色設(shè)置為param1，空間設(shè)置為param2。圖像的二值化，就是將圖像上的像素點(diǎn)的灰度值設(shè)置為0或255，也就是將整個(gè)圖像呈現(xiàn)出明顯的只有黑和白的視覺效果。本函數(shù)支持的對(duì)圖像取閾值的方法由 threshold_type 確定。threshold：閾值 max_value：使用 CV_THRESH_BINARY 和 CV_THRESH_BINARY_INV 的最大值。1985年之后，它逐漸成為分析圖像幾何特征的工具。使用這些算子對(duì)圖像的結(jié)構(gòu)和形狀進(jìn)行分析和處理，主要包括圖像分割、特征提取、邊緣檢測、圖像濾波、圖像增強(qiáng)以及圖像恢復(fù)等。關(guān)于形態(tài)學(xué)處理，主要有開啟，閉合，腐蝕，膨脹，形態(tài)學(xué)處理簡介。所以我們選用了的結(jié)構(gòu)元素se為一個(gè)方形的3X3的結(jié)構(gòu)，既：圖 44 結(jié)構(gòu)元素 圖 45是圖 44經(jīng)過結(jié)構(gòu)元素se腐蝕后的結(jié)果，可以明顯看出，面積較小的白色區(qū)域沒有了，而面積較大的區(qū)域卻依然保留。為此我們采用輪廓提取法，來提取物體的輪廓。為此，我們先從左向右搜索，找到圖像中的最左邊的點(diǎn)記A（xa,ya）。利用同樣的方法，可以確定其它三個(gè)圓的半徑。缺點(diǎn)是檢測算法比較狹隘，只適合檢測這一類的圖片，對(duì)其他的例如不規(guī)則的內(nèi)外環(huán)就無能無力。直到 1948 年，香農(nóng)提出了“信息熵” 的概念，才解決了對(duì)信息的量化度量問題。把信息（熵）定義為離散隨機(jī)事件的出現(xiàn)概率。s Demon的重新解釋[18]，對(duì)信息的銷毀是一個(gè)不可逆過程，所以銷毀信息是符合熱力學(xué)第二定律的。我們可以認(rèn)為，從信息傳播的角度來看，信息熵可以表示信息的價(jià)值。 (a) 標(biāo)準(zhǔn)圖 (b) 待檢測完好件(c) 待檢測缺陷件圖 48 缺陷圖像信息熵的檢測基于信息熵的檢測算法已經(jīng)被我用VC++封裝成DefectInspect3 這個(gè)可以供Xavis直接調(diào)用的函數(shù)。 信息熵檢測缺陷算法的優(yōu)劣 優(yōu)點(diǎn)是，因?yàn)樾畔㈧夭浑S圖像本身的位置，形狀，角度的改變而改變，它是圖像本身的內(nèi)在屬性，所以，它對(duì)于檢測位置不同的圖像有很大的方便性，不需要進(jìn)行圖像配準(zhǔn)，而圖像配準(zhǔn)恰恰是最難的一步。 基于灰度信息的模板匹配缺陷檢測算法的研究與實(shí)現(xiàn)在本個(gè)項(xiàng)目中，我的基于灰度信息的模板匹配算法的基本思想是，在模板圖像、目標(biāo)圖像中提取感興趣ROI之后，通過計(jì)算模板圖像和搜索窗口之間灰度信息的互相關(guān)值，來確定匹配的程度，互相關(guān)值最大時(shí)的搜索窗口位置決定了模板圖像在待配準(zhǔn)圖像中的位置。 如果一個(gè)像素點(diǎn)，有RGB三種顏色來描述它，就是三通道。Windows的bmp有時(shí)候是一個(gè)四通道圖像，R、G、B加上一個(gè)alpha通道[15]，表示透明度。函數(shù)忽略 IplImage 頭中定義的 colorModel 和 channelSeq 域，所以輸入圖像的色彩空間應(yīng)該正確指定 (包括通道的順序，對(duì)RGB空間而言，BGR 意味著布局為 B0 G0 R0 B1 G1 R1 ... 層疊的 24位格式，而 RGB 意味著布局為 R0 G0 B0 R1 G1 B1 ... 層疊的24位格式. 函數(shù)做如下變換：RGB 空間內(nèi)部的變換，如增加/刪除 alpha 通道，反相通道順序，到16位 RGB彩色或者15位RGB彩色的正逆轉(zhuǎn)換(Rx5:Gx6:Rx5),以及到灰度圖像的正逆轉(zhuǎn)換。 如果將圖像表示為一個(gè)二維序列，I1x,y、 I2x,y分別表示兩幅圖像在點(diǎn)（x,y）處的灰度值，那么圖像I1 、 I2的配準(zhǔn)關(guān)系可用如下關(guān)系式表示： 這里， I1 、 I2分別為參考圖像和待配準(zhǔn)圖像，f 代表二位空間的幾何變換函數(shù)，g是一個(gè)一維強(qiáng)度變換。為此，