【正文】 氣推進(jìn)實(shí)驗(yàn)室（ JPL），他們對(duì)航天探測(cè)器徘徊者 7 號(hào)在 1964 年發(fā)回月球照片使用了圖像處理技術(shù)，由計(jì)算機(jī)繪制出了月球表面地圖。 數(shù)字圖像處理在這兩方面巨大成功的應(yīng)用極大的推動(dòng)了數(shù)字圖 像處理的發(fā)展。有些 時(shí)候，如微小尺寸的精確快速測(cè)量，形狀匹配，顏色辨識(shí)等，用人眼 無法連續(xù)穩(wěn)定地進(jìn)行。由于數(shù)字圖像在工業(yè)中的應(yīng)用前景非常廣泛，各個(gè)大公司也都紛紛開發(fā)出各種基于圖像處理的檢測(cè)系統(tǒng)。 20 世紀(jì) 50 年代，機(jī)器視覺被歸入模式識(shí)別學(xué)科，當(dāng)時(shí)的研究工作主要集中在二維圖像分析和識(shí)別上，如印刷體字符識(shí)別、工件表面質(zhì)量檢測(cè)、醫(yī)學(xué)顯微圖片和航空?qǐng)D片的分析和解釋等。 70 年代中期，麻省理工學(xué)院人工智能（ AI）實(shí)驗(yàn)室正式開設(shè) “ 機(jī)器視覺 ”課程，同時(shí)， MIT AI 實(shí)驗(yàn)室吸引了國際 上許多知名學(xué)者參與機(jī)器視覺的理論、算法、系統(tǒng)設(shè)計(jì)的研究。中國正在成為世界機(jī)器視覺發(fā)展最活躍的地區(qū)之一 ，其中最主要的原因是中國已經(jīng)成為全球的加工中心，伴隨著許多先進(jìn)的生產(chǎn)線遷入中國，一些具有國際先進(jìn)水平的機(jī)器視覺系統(tǒng)也進(jìn)入中國。 (3) CCD圖像的讀取與標(biāo)定的研究，使用 OpenCV提供的函數(shù) 實(shí)現(xiàn) 讀取 ， CCD標(biāo)定用 MATLAB 實(shí)現(xiàn)。 數(shù)字圖像 一幅圖像可定義為一個(gè)二維函數(shù) F(x,y)，這里 x和 y是空間坐標(biāo)，而在任何一對(duì)空間坐標(biāo) (x,y)上的幅值 F 稱為圖像的強(qiáng)度或 灰度。 圖 彩色圖像 數(shù)字 圖像 處理的三個(gè)層次 （ 1）低級(jí)圖像處理 低級(jí)圖像處理主要對(duì) 圖像 進(jìn)行各種加工以改善 圖像 的視覺效果、或突出有用信息，并為自動(dòng)識(shí)別打基礎(chǔ)，或通過編碼以減少對(duì)其所需存儲(chǔ)空間、傳輸時(shí)間或傳輸帶寬的要求。 （ 3）高級(jí)圖像處理 高級(jí)圖像處理是在中級(jí)圖像處理的基礎(chǔ)上，進(jìn)一步研究 圖像 中各目標(biāo)的性質(zhì)和它們之間相互的聯(lián)系，并得出對(duì) 圖像 內(nèi)容含義的理解及對(duì)原來客觀場(chǎng)2 5 5 2 4 0 2 4 0R 2 5 5 0 8 02 5 5 0 0???????0 1 6 0 8 0G 2 5 5 2 5 5 1 6 00 2 5 5 0???????0 8 0 1 6 0B 0 0 2 4 02 5 5 2 5 5 2 5 5??????? 7 景的解釋，從而指導(dǎo)和規(guī)劃行動(dòng)。數(shù)字圖像處理具有如下特點(diǎn)： （ 1）處理精度高，再現(xiàn)性好 利用計(jì)算機(jī)進(jìn)行圖像處理， 其實(shí)質(zhì)是對(duì)圖像數(shù)據(jù)進(jìn)行各種運(yùn)算。一幅數(shù)字圖像是由圖像矩陣中的像素組成的，通常每個(gè)像素用紅、綠、藍(lán)三種顏色表示， 每種顏色 8bit 表示灰度級(jí)。如果精度及分辨率再提高，所需處理時(shí)間將大幅度 增加。 本課題邊緣檢測(cè)基本步驟 分割 〉濾波 〉增強(qiáng) 〉檢測(cè) 〉定位 感興趣區(qū)域的分割 在對(duì)圖像的研究和應(yīng)用中，人們往往只對(duì)圖像的某些區(qū)域感興趣，也就是在圖像中最能引起用戶興趣 , 最能表現(xiàn)圖像內(nèi)容的區(qū)域即 感興趣區(qū)域，它們一般對(duì)應(yīng)于圖像中特定的，具有獨(dú)特性質(zhì)的區(qū)域。 現(xiàn)有的圖像分割方法主要分以下幾類 [6 ]： （ 1）基于閾值的分割方法 灰度閾值分割法 [7]是一種最常用的并行區(qū)域技術(shù)，它是圖像分割中應(yīng)用數(shù)量最多的一類。 9 閾值分割的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單、運(yùn)算效率較高、速度快。它是根據(jù)整幅圖像確定的： T=T(f)。這時(shí)可以根據(jù)圖像的局部特征分別采用不同的閾值進(jìn)行分割。對(duì)于給定的圖像，可以通過分析直方圖的方法確定最佳的閾值，例如當(dāng)直方圖明顯呈現(xiàn)雙峰情況時(shí)，可以選擇兩個(gè)峰值的中點(diǎn)作為最佳閾值。將這些新像素當(dāng)作新的種子像素繼續(xù)進(jìn)行上面的過程，直到再?zèng)]有滿足條件的像素可被包括進(jìn)來， 這樣一個(gè)區(qū)域就長(zhǎng)成了。 分裂合并差不多是區(qū)域生長(zhǎng)的逆過程：從整個(gè)圖像出發(fā)，不斷分裂得到各個(gè)子區(qū)域，然后再把前景區(qū)域合并，實(shí)現(xiàn)目標(biāo)提取。這種不連續(xù) 的地方 稱為邊緣。常用的一階微分算子有 Roberts 算子、 Prewitt算子和 Sobel算子，二階微分算子有 Laplace 算子和 Kirsh 算子等。近年來，出現(xiàn)了許多模糊分割技術(shù)，在圖像分割中的應(yīng)用日益廣泛。這種方法需要大量的訓(xùn)練數(shù)據(jù)。圖像增強(qiáng)的目的 就 是通過對(duì)圖像中的信息進(jìn)行處理，使得有利于檢測(cè)的信息得到增強(qiáng)，不利于檢測(cè)的信息得到抑制，擴(kuò)大圖像中不同物體特征之間的差別， 提高圖像的清晰度， 為圖像的信息提取及檢測(cè)奠定良好的基礎(chǔ)?；叶戎底儞Q不會(huì)改變圖像內(nèi)的空間關(guān)系。其中，函數(shù) f(D)稱為灰度變換函數(shù)，它描述了輸入灰度值與輸出灰度值之間的轉(zhuǎn)換關(guān)系。 ?? = ??(??) = ∫ Pr(??)???? = 1??0??0 ∫ ??(??)??????0 () 式 的 轉(zhuǎn)換函數(shù)稱為圖像的累計(jì)分布函數(shù)。 （ b)可能減少原有圖像灰度級(jí)別的個(gè)數(shù)，即對(duì)出現(xiàn)頻率過小的灰度級(jí)別可能出現(xiàn)簡(jiǎn)并現(xiàn)象?；诖它c(diǎn)，可以用鄰域平均的方法來消除噪音。 （ b)中值濾波法 從前面的可以看出，鄰域 平均法可以抑制圖像的噪音，但不可避免的引起了圖像的邊緣模糊。同鄰域平均法一樣，也存在 “ 超限中值濾波 ” ，即如果某個(gè)像素的灰度值大于其鄰域像素的中間值，且達(dá)到了一定的水平，則判斷該像素為噪音，用該點(diǎn)鄰域像素的中間值代替該 點(diǎn)的像素灰度值。 頻域增強(qiáng)技術(shù)是在數(shù)字圖像的頻域空間對(duì)圖像進(jìn)行濾波，因此需要將圖像從空間域變換到頻率域，一般通過傅立葉變換即可實(shí)現(xiàn)。 由卷積定理，低通濾波數(shù)學(xué)表達(dá)式 如式 所示 ： ??(??， ??) = ??(??， ??)??(??， ??) () 式中 ??(??， ??)為含有噪聲的原圖像的傅里葉變換域； ??(??， ??)為傳遞函數(shù)，??(??， ??)為經(jīng) 過 低通濾波后輸出圖像的傅里葉變換。它的傳遞函數(shù)為 式 ： H(u,v) = {1 ??(??,v) ??0 ??(??,v)???1??0???1 ??0 ≤ ??(??,v) ≤ ??10 ??(??,v) ??1 () （ b） 高通濾波 圖像的邊緣 /細(xì)節(jié)主要位于高頻部分，而圖像的模糊是由于高頻部分比較弱產(chǎn)生的。 所以 邊緣檢測(cè)技術(shù)對(duì)于處理 數(shù) 字圖像非常重要， 邊緣是所要提取目標(biāo)和背景的邊界線，提取出邊緣才能將目標(biāo)和背景區(qū)分開來。 對(duì)圖像圖形邊緣進(jìn)行識(shí)別檢測(cè)，一般利用邊緣鄰域一階或二階方向?qū)?shù)的變化規(guī)律 （對(duì)于階梯型邊緣，圖像灰度在兩邊的變化規(guī)律 是灰度變化曲線的一階導(dǎo)數(shù)在該點(diǎn)達(dá)到最大值，二階導(dǎo)數(shù)在該處零交叉 ） 。基于本課題研究的對(duì)象，只對(duì) Roberts、 Sobel、Prewitt和 Canny這幾種基于一階 導(dǎo)數(shù)的邊緣檢測(cè)算子進(jìn)行簡(jiǎn)要介紹以及比較： （ a） Roberts 算子 Roberts 邊緣算子是一種斜向偏差分的梯度計(jì)算方法，梯度的大小代表邊緣的強(qiáng)度，梯度的方向與邊緣走向垂直。 圖 Roberts 算子處理 （ b） Sobel算子 Sobel算子是一組方向算子，從不同的方向檢測(cè)邊緣。 利用像素點(diǎn)上下、左右鄰點(diǎn)灰度差，在邊緣處達(dá) 到極值檢測(cè)邊緣，對(duì)噪聲具有平滑作用。 22 圖 Canny 算子處理效果 定位測(cè)量 要實(shí)現(xiàn)焊道寬度的測(cè)量，在已處理得到的圖像上還要進(jìn)行兩個(gè)步驟： （ 1） 兩邊輪廓的的確定 ： 由于受諸多條件的影響， 由上一節(jié)的各種算子的效果圖看出 邊緣檢測(cè)到的邊緣點(diǎn)并不一定完全符合原物體圖像的邊緣，并且檢測(cè)到的邊緣不完整，為了便于對(duì)圖像進(jìn)行測(cè)量，我們需要對(duì)這些 邊緣點(diǎn)進(jìn)行提取得到清晰的邊緣 。 但 Hough 變換具有計(jì)算量大，耗時(shí)長(zhǎng)的缺點(diǎn)，極大地影響了處理的時(shí)效 性，限制了 Hough 變換在實(shí)時(shí)性要求較高的系統(tǒng)中的應(yīng)用 [21]。 圖 手動(dòng)對(duì)二值化進(jìn)行標(biāo)定 圖 再用 Canny 算子提取邊緣 （ 2） 焊道邊緣像素寬度的計(jì)算： 對(duì)于焊道寬度的計(jì)算，由于二值化后的邊緣 線并非連續(xù)的，其間還有很多焊道缺陷邊緣線，影響焊道寬度的計(jì)算。則 k 為可疑點(diǎn) ； k+1 在 k 右下方或 更右， k+2 在 k+1 右下方或更右。 單位標(biāo)定 對(duì)于任何一個(gè)測(cè)量工具，都必須有一個(gè)相對(duì)的度量單位對(duì)所測(cè)量的對(duì)象進(jìn)行標(biāo)定 [23]。 在焊道寬度檢測(cè)系統(tǒng)中，采用的是屏幕后續(xù)檢測(cè)單位標(biāo)定法。 本章小結(jié) 本章詳細(xì)地介紹了數(shù)字圖像處理技術(shù)的基本概念、基本特點(diǎn)和基本格式，研究了邊緣檢測(cè)的基本步驟，并且在針對(duì)本課題研究焊道圖片基礎(chǔ)上分析對(duì)比了各種處理方法的好壞。該幾何模型的參數(shù)稱為攝像機(jī)參數(shù) ， 求得參數(shù)的實(shí)驗(yàn)與計(jì)算的過程稱為攝像機(jī)標(biāo)定 [24]。 OpenCV 中的攝像機(jī)標(biāo)定模塊為用戶提供了良好的接口 ， 同時(shí)支持Windows、 Linux 平臺(tái) ， 有效地提高了開發(fā)效率 ， 并且執(zhí)行速度快 ， 具有良好的跨平臺(tái)移植性 ， 因此可以很好地應(yīng)用于工程實(shí)際當(dāng)中。 OpenCV 標(biāo)定算法中的攝像機(jī)模型以針孔模型為基礎(chǔ) ，并引入透鏡的徑向畸變和切向畸變 ， 該模型相對(duì)于只引入一階徑向畸變的Tasi模型和針孔模型更加真實(shí)地反映了透鏡實(shí)際的畸變情況。 d) 圖像平面坐標(biāo)系中物理坐標(biāo) P(????,????)轉(zhuǎn)換為像素坐標(biāo) P(u,v) [????] = [???????? + ??0???????? + ??0] () 注： {???? = ?? ? ????????? = ????? 式 () 中 (??0,??0)是基準(zhǔn)點(diǎn) (通常在圖像的中心 )； ??為攝像機(jī)的有效焦距 ；s 為比例因子 ， 用來適應(yīng)在計(jì)算機(jī)圖像水平方向上取樣帶來的種種不確定因素 ； ???為計(jì)算機(jī)圖像在水平方向 (??方向 ) 上相鄰兩像素之間的有效距離 (mm/ pixel) ， ???為計(jì)算機(jī)圖像在垂直方向 (??方向 ) 上相鄰兩像素之間的有效距離(mm/ pixel) 。 使用一個(gè)平面物體，在不同視角下旋轉(zhuǎn)和平移時(shí) 6 個(gè)參數(shù)會(huì)變化，對(duì)每一個(gè)視角用來求解攝像機(jī)內(nèi)參數(shù)矩陣的兩個(gè)額外參數(shù)需要約束，因此求解全部幾何參數(shù)至少需要兩個(gè)視角。所以一般我們要另外定義一個(gè) IplImage 來復(fù)制所抓取的幀數(shù)據(jù)，然后對(duì)這個(gè)新 IplImage 進(jìn)行操作。 frame1 = cvRetrieveFrame( lfCam )。 cvCopyImage(frame2, image2)。我們最少需要 4 個(gè)點(diǎn)來求解，但如果可以，通常提供更多的點(diǎn)，減少噪聲和其他不確定因素所帶來的干擾。 假設(shè)有 N 個(gè)角點(diǎn)和 K 個(gè) 不同位置的 棋盤圖像， K 個(gè)棋盤圖像提供 2N?K個(gè)約束（每個(gè)點(diǎn)有 x， y 兩個(gè)坐標(biāo)值組成），有 解 的前提是 2N? K ≥ 6K+ 4成立，實(shí)際應(yīng)用中，為了得到高質(zhì)量結(jié)果，至少需要 10 幅 7 8或者更大棋盤的圖像。這步事實(shí)上相當(dāng)關(guān)鍵，它定義了空間的尺度，如果要對(duì)物體進(jìn)行測(cè)量的話，這步是必須的。方法是這樣的：按主攝像機(jī)標(biāo)定工具上的 按鈕，再次選擇一個(gè)大小為 wintx = winty = 5（缺省值）的角點(diǎn) Finder 窗口 39 圖 Focal Length: fc = [ ] ?[ ] Principal point: cc = [ ] ?[ ] Skew: alpha_c = [ ] ?[ ] = angle of pixel axes = ? degrees Distortion: kc = [ ] ?[ ] Pixel error: err = [ ] 將由于畸變未能準(zhǔn)確找出的角點(diǎn) ， 增大窗口 再搜索 ： wintx ([] = 5) = 9 winty ([] = 5) = 9 Window size = 19x19 Number(s) of image(s) to process ([] = all images) = [7 8 14] wintx ([] = 5) = 8 40 winty ([] = 5) = 8 Window size = 17x17 Number(s) of image(s) to process ([] = all images) = [1 3 5 10 12 9] 得到的參數(shù) （ 像素誤差變小 ） Focal Length: fc = [ ] ?[ ] Principal point: cc = [ ] ?[ ] Skew: alpha_c = [ ] ?[ ] = angle of pixel axes = ? degrees Distortion: kc = [ ] ?[ ] Pixel error: err = [ ] 格式轉(zhuǎn)換 將 MATLAB 檢測(cè)出的角點(diǎn)坐標(biāo)格式都轉(zhuǎn)換成 OpenCV 的 CvMat 格式。 先用 cvProject Points2 ()計(jì)算出三維角點(diǎn)坐標(biāo)的投影坐標(biāo) ，再用函數(shù) cvNorm()比較計(jì)算出的投影坐