【正文】 計算外參數(shù)矩陣 利用得到的內(nèi)參數(shù)矩陣和畸變系數(shù)向量 ， 用函數(shù)cvFindExtrinsicCameraParams2 ( )分別計算各幅圖的外參數(shù) (旋轉(zhuǎn)向量和平移向量 ) 。原因是我們沒有在 一些非常扭曲的圖像區(qū)域進行仔細處理（應(yīng)該利用預(yù)測失真項）。因此，可分別處理兩大類參數(shù)。 if( !frame1|| !frame2) break。 cvGrabFrame 將攝像頭幀畫面即時復制到內(nèi)部緩存中，然后通過 cvRetrieveFrame 把我們預(yù)定義的一個 IplImage 型空指針指向緩存內(nèi)的幀數(shù)據(jù)。設(shè) P??(????,????,????)為 空間某一點 P的世界坐標， P??(X??,????,????)是該點在攝像機坐標系中的坐標， ??(??,??) 是該點在圖像平面坐標系中的物理坐標， ??(??,??) 是圖像平面坐標系中的像素坐標，如圖 所示： 圖 攝像機標定中的坐標系 將三維空間點 P 在世界坐標系中的坐標 值 P??(????,????,????)變換為圖像平面上像素坐標系中坐標值 P(u,v) 的過程就可分解為下述的 4 步變換 ： a) 世界坐標系中坐標 P??(????,????,????)轉(zhuǎn)換為攝像機坐標系中坐標P??(X??,????,????)： [????????????] = ??[????????????]+ ?? () 式 ()中 R 為一個 3 3 旋轉(zhuǎn)矩陣 , t 為一個 3 1 平移向量。張正友提出了基于二維平面模板的標定方法 [26]， 該標定法只要求從不同角度拍攝的同一標定模 板 2 幅以上的圖像 ， 就可以求出攝像機的內(nèi)外參數(shù) ， 該方法不需要知道平面模板移動的具體方位和位移信息 ， 而且平面模板的制作簡單 ， 因此比其他方法更簡單、靈活 [27]。有兩種方法可以實現(xiàn)標定： (1)當硬件設(shè)備（包括 CCD 攝像機）全部安裝并固定 好 之后 ，選擇一個帶有固定大小的規(guī)則目標物的背景圖 用 CCD 攝像機進行拍照，然后送到計算機里進行標定，標定后的結(jié)果存儲到文檔里，為以后的測量做準備； (2)每次進行圖像采集時，都選用一個帶有固定大小的規(guī)則目標物的背景圖作為圖像采集的背景。 這樣就可以將邊緣線連接起來，使其在數(shù)值上不再 出現(xiàn)異常 。 原有 Canny 算法 ： 圖 原有 Canny 算子效果 Hough 變換（直線），直觀印象是將邊界用直線連接起來 ： 圖 Hough 變換 平行四邊形檢測，檢測出圖像中的平行四邊形元素 ： 圖 平行四邊形檢測 24 采用 snake 模型 [22]，即能量最小化運動曲線模型，首先根據(jù)圖像中所要分割目標的輪廓確定大致的初始輪廓曲線，然后對曲線進行能量最小化變形，使其鎖定在分割目標的邊界上。 21 圖 Prewitt 算子處理效果 （ d） Canny 算子 該算子的基本思想是：先對處理的圖像選擇一定的 Guass 濾波器進行平滑濾波 抑制圖像噪聲 ，然后采用 稱之為 “ 非極值抑制 ” 的技術(shù)，細化平滑后的圖形梯度幅值矩陣，尋找圖像中的可能邊緣點；最后利用雙門限檢測通過雙閾值遞歸尋找圖像邊緣點，實現(xiàn)邊緣提取。45 度兩個方向上微分值的和。 18 圖 CCD 拍攝到的焊道 很顯然，上圖（圖 ）中的焊道邊緣屬于階梯型邊緣。 （ iii） 指數(shù)低通濾波器 指數(shù)低通濾波器是圖像處理中常用的另外一種平滑濾波器。 （ 3）頻域增強 15 圖像空域增強一般只是對數(shù)字圖像進行局部增強，而圖像頻域增強則可以對圖像進行全局增強。為了減少這種模糊失真，有人提出了 “ 超限鄰域平均法 ” ，即如果某個 像素的灰度值大于其鄰域像素的平均值，且達到了一定的水平，則判斷此 相素 點 為噪音，用該點鄰域像素的平均值代替該點的像素灰度值， 用 式 表示 如下： g(i， j) = {1??N∑ ??(??,y)(??,??)???? ， |??(??,??) ?1???? ∑ ??(??,??)|(??,??)???? ????(??,??)， 其他 () 在實際應(yīng)用中，根據(jù)實際情況，可以選擇不同窗口大小和窗口形狀，比如十字窗，圓形窗。對于離散圖像，轉(zhuǎn)換 式為： ???? = ??(????)= ??????????0∑ ??????????=0 () 公 式 中： Hi 為第 i級灰的像素的個數(shù)。除了灰度級的改變是根據(jù)某種特定的灰度變換函數(shù)進行之外，灰度變換可以看作是 “ 從像素到像素 ” 的復制操作。選擇何種網(wǎng)絡(luò)結(jié)構(gòu)是這種方法要解決的主要問題。這些算子對噪聲敏感，只適合于噪聲較小不太復雜的圖像 [8]。當所有像素點或者子區(qū)域完成判斷以后，把前景區(qū)域 或者像素合并就可得到前景目標。 區(qū)域生長的基本思想是將具有相似性質(zhì)的像素集合起來構(gòu)成區(qū)域。常用的全局閾值選取方法有利用圖像灰度直方圖的峰谷法、最小誤差法、最大熵自動閾值法以及其它一些方法。 由此可見，閾值分割算法的關(guān)鍵是確定閾值，如果能確定一個合適的閾值就可準確地將圖像分割開來。特別是處理結(jié)果與中心像素鄰域有關(guān)的處理過程 花費時間更多。 （ 2）處理的多樣性 由于圖像處理是通過運行程序進行的，因此，設(shè)計不同的圖像處理程序，可以實現(xiàn)各種不同的處理目的。 （ 2）中級圖像處理 中級圖像處理主要對 圖像 中感興趣的目標進行檢測（或分割）和測量，以獲得它們的客觀信息從而建立對 圖像 的描述。 (5) 設(shè)計開發(fā) 檢測軟件，使用 VC、 MATLAB 實現(xiàn)各種設(shè)計的算法， 并用OpenCV 進行簡化 VC 編程 。到了 80 年代中期，機器視覺獲得了蓬勃發(fā)展，新概念、新 4 方法、新理論不斷涌現(xiàn)，比如基于感知特征群的物體識別理論框架、主動視覺理論框架、視覺集成理論框架等。其系統(tǒng)流程圖如 圖 ： 圖 數(shù)字圖像檢測處理系統(tǒng) 圖像檢測技術(shù)主要研究用計算機模擬人的視覺功能 ， 并從客觀事物的圖像中提取信息 [3]，進行處理并加以理解，最終用于實際檢測和控制。這類應(yīng)用的共同特點是連續(xù)大批量生產(chǎn)、對外觀質(zhì)量的要求非常高。 數(shù)字圖像處理最早出現(xiàn)在 20 世紀 50 年代， 人們利用計算機來處理圖像信息。 在各步驟的實現(xiàn)方法中比較 Roberts，Sobel， Prewitt， Canny 等各種算子 的優(yōu)缺點， 并針對 本課題適用的輪廓檢測算法 使用 Hough 變換 進行改進，得到清晰 真實 的輪廓?；?數(shù)字 圖像處理的微小零件自動檢測是微小零件表面檢測和工序的微小局部質(zhì)量檢測的趨勢。圖像處理的手段有光學方法和數(shù)學方法。 CT裝置的基本方法是根據(jù)人體各部分的投影，利用數(shù)字圖像處理技術(shù)來重構(gòu)圖像 ，如圖 所示 。 90 年代，大規(guī)模集成電路的飛速發(fā)展，一方面使得計算機的速度成倍的提高，而計算機的價格卻持續(xù)下降，另一方面使得 CCD 的分辨率也越來越高 ， 各公司也在各 FPGA 的基礎(chǔ)上推出了各種圖像處理得專用芯片這一切使得圖像處理在工業(yè)產(chǎn)品表面缺陷檢測中的應(yīng)用的到了飛速的發(fā)展。 70 年代，已經(jīng)出現(xiàn)了一些視覺應(yīng)用系統(tǒng)。 (2) 數(shù)字圖像處理的基本方法，較深入地研究各種圖像處理的算法，了解各種算法的優(yōu)缺點及適用范圍。 圖 灰度圖像 （ 3）彩色圖像 (如圖 ) 0 15 0 20 0I 12 0 50 18 025 0 22 0 10 0??????? 6 彩色圖像是指每個像素的信息由 RGB 三原色構(gòu)成的圖像，其中 RBG 是由不同的灰度級來描述的。 圖像 處理的特點 數(shù)字圖像處理是利用計算機的計算， 實現(xiàn)與光學系統(tǒng)模擬處理相同效果的過程。如此龐大的數(shù)據(jù)量給存儲、傳輸和處理都帶來巨大的困難。 這些 “ 有意義的 ” 內(nèi)涵隨著解決問題的不同而不同，比如在 本課題 中 即是焊道的邊緣。 全局閾值是指整幅圖像使用同一個閾 值做分割處理，適用于背景和前景有明顯對比的圖像。 閾值的選擇需要根據(jù)具體問題來確定，一般通過實驗來確定。另外，它是一種串行算法，當目標較大時，分割速度較慢，因此在設(shè)計算法時，要盡量提高效率。常用微分算子進行邊緣檢測。 （ 6）基于神經(jīng)網(wǎng)絡(luò)的分割方法 基于神經(jīng)網(wǎng)絡(luò)的分割方法的基本思想是通過訓練多層感知機來得到線性決策函數(shù)，然后用決策函數(shù)對像素進行分類來達到分割的目的。 一幅輸入圖像經(jīng)過灰度變換后將產(chǎn)生一幅新的輸出圖像，由于輸入像素點的灰度值決定相應(yīng)的輸出像素點的灰度值。直方圖均衡又稱為灰度均衡，目的是通過點運算使輸入圖像轉(zhuǎn)換為在每一灰度級上都有相同的像素點數(shù)的輸出圖像（既輸出的直方圖是平滑的），這對于在進行圖像比較或分割之前將圖像轉(zhuǎn)化為一致的格式十分有利。空域增強則是增強圖像的空間信息 ，常用的方法有： （ a)鄰域平均法 圖像的大部分噪音，比如由敏感元件，量化器等引起的噪音，多半是隨機性的，它們對某一像素的影響，都可以看成孤立的，因此與鄰近各個點相比，該點的灰度值將顯著的不同。中值濾波是一種非線性濾波 [5]，它對消除脈沖噪音十分有用。 頻域增強的常見方法有 ： （ a） 低通濾波 圖像在傳遞過程中，由于噪聲主要集中在高頻部分，為去除噪聲改善圖像質(zhì)量，濾波器采用低通濾波器 H（ u， v）來抑制高頻成分，通過低頻成分，然后再進行逆傅里葉變換獲得濾波圖像，就可以達到平滑圖像的目的。常用的高通濾波器有： （ i） 理想高通濾波器 二維理想高通濾波器的傳遞函數(shù)為 式 ： H(u,v) = {0 ??(??,v) ≤ ??01 ??(??,v) ??0 () （ ii） 巴特沃斯高通濾波器 n階巴特沃斯高通濾波器的傳遞函數(shù)定義如 式 ： H(u,v) = 11+, ??0??(??,v)2?? () （ iii） 指數(shù)濾波器 17 指數(shù)高通濾波器的傳遞函數(shù) 如式 ： H(u,v) = ???,??0??(??,v)?? () （ iv） 梯形濾波器 梯形高通濾波器的定義 為式 ： H(u,v) = {0 ??(??,v) ??1 ??(??,v)???1??0???1 ??1 ≤ ??(??,v) ≤ ??01 ??(??,v) ??0 () 邊緣檢測 (1)邊緣檢測的意義 圖像最基本的特征是邊緣 [13]， Poggio 等指出 “ 邊緣或許對應(yīng)著圖像中物體 ( 的邊界 ) ， 或許并沒有對應(yīng)著圖像中物體 ( 的邊界 ) ， 但是邊緣具有十分令人滿意的性質(zhì) ， 它能大大減少所要處理的信息 ， 但是又保留了圖像中物體的形狀信息 ” [14]。一個理想的邊緣檢測算子應(yīng)具備以下條件 [17]： （ a） 定位精度高，不發(fā)生邊緣漂移 （ b） 對不同尺度 的邊緣都有良好的響應(yīng)，并盡量減少漏檢 （ c） 對噪聲不敏感，不致因噪聲造成虛假檢測 （ d） 檢測靈敏度受邊緣方向影響小 （ e） 計算簡單 （ f） 易于實現(xiàn) 19 通常，這些要求對一個特定的檢測算子來說，常常相互矛盾，不易兼顧，往往要根據(jù)具體情況進行權(quán)衡。 20 圖 Sobel算子處理 （ c） Prewitt 算子 Prewitt 邊緣算子是一種邊緣樣板算子。 Hough 變換具有對特征局部信息缺損不敏感和對隨機噪聲的魯棒性[19][20]。 對 k 點進行判斷 ： k+1 在 k 左下方或更左， k+2 在 k+1 左下方或更左。因此，在測量工作前，需要求出圖像單位像素和我們?nèi)粘Ｊ褂玫亩攘繂挝恢g的換算關(guān)系。這些位置的相互關(guān)系 ， 由攝像機成像的幾何模型所決定。常用的針孔模型 [28]忽略了透鏡的厚度和畸變 ， 故不能很好地反映實際情況。 徑向畸變的校正： ???? = ????(1+??1??2 + ??2??4 +??3??6) () ???? = ????(1+ ??1??2 + ??2??4 + ??3??6) () 切向畸變的校正： ???? = ???? + ,2??1??+ ??2(??2 + 2??2) () ???? = ???? +,??1(??2 +2??2)+ 2??2?? () 寫成矩陣形式為： [????????]= (1+??1??2 + ??2??4 +??3??6)[????????]+ [2??1???????? + ??2(??2 + 2????2)??1(??2 + 2????2)+2??2????????] () 空間任何一點 P 在圖像上的成像位置可以用針孔模型近似表示： {?? = ???????????? = ?????????? () ???? [????1] =[ 1???? 0 ??00 1???? ??00 0 1 ] [?? 0 00 ?? 00 0 1 0