【文章內(nèi)容簡(jiǎn)介】 本變換，從一維上延伸出了二維變換。二維的傅立葉變換也是空間域和頻率域之間的相互轉(zhuǎn)換： ( 3 3 ) 在圖像處理中， h(r,c)是一幅圖像，圖像位置（ r,c）是以像素形式給出的。頻率（ u,v）表示的圖像中每個(gè)像表的周期數(shù)。 在傅立葉變換中最有趣的一個(gè)性質(zhì)應(yīng)該是在空間域的卷積變換為在頻率域的一個(gè)簡(jiǎn)單相乘： 而卷積同過由下面公式得出： （ 3 5 ） 通過上式的轉(zhuǎn)換使我們能得到一個(gè)不太精確的計(jì)算值，為使得我們的計(jì)算值變得更加精確，我們能夠計(jì)算均值濾波器等式的傅立葉變換。以下為變換結(jié)果： 其中 sincx=(sinx/(x))。同理，高斯濾 波器等式 : = ( 3 7 ) 因此，高斯濾波器的傅立葉變換還是一個(gè)高斯函數(shù)，只是變成了其自身的倒數(shù)。注意應(yīng)用以上兩種濾波器時(shí)如果濾波器自身的尺寸增加，那么濾波器的頻率響應(yīng)將變窄。一般來講，這種對(duì)應(yīng)關(guān)系總是適用的： 畢業(yè)論文 15 相關(guān) 相關(guān)性是 傅立葉 變換的一個(gè)重要體現(xiàn)： 相關(guān)在頻率域內(nèi)由下式給出。如果 h(r,c)包含實(shí)數(shù)，這是圖像處理常見的情況，那么，橫線表示共軛復(fù)數(shù)。因此， 。 之前假設(shè)圖像數(shù)據(jù)是連續(xù)的，但真正的圖像數(shù)據(jù)是離散的，這個(gè)發(fā)現(xiàn)會(huì)與傅立葉變換的結(jié)果存在著較大的牽連。如前所述， 頻率變量 u和 v是每一個(gè)像素的周期數(shù)。如果一幅離散圖像 h(r,c)經(jīng)歷了變換，那么對(duì)任意的正弦或余弦波，可能出現(xiàn)的最高頻率都是 1/2，每?jī)蓚€(gè)像素一個(gè)周期。頻率 1/2被稱為尼奎斯特臨界頻率。高于此頻率的正弦或余弦波看起來與相應(yīng)更低頻率的正弦或余弦波一樣。這就是混淆現(xiàn)象[4]。為削除頻率混淆，在對(duì)圖像進(jìn)行采樣前必須將高于尼奎斯特臨界頻率的高頻部分削除。在圖像獲取過程中，這可以通過攝像機(jī)的光學(xué)低通濾鏡來實(shí)現(xiàn)。但是，當(dāng)一幅圖像按比例縮小時(shí)也可能發(fā)生混淆現(xiàn)象。這樣對(duì)圖像進(jìn)行低分辨率采樣前，先使用平滑濾波器以保證削除了所 有高于尼奎斯特臨界頻率的高頻部分。 實(shí)際圖像不但是離散的，而且是在矩形區(qū)域 w*h 內(nèi)被定義， w 是圖像的寬， h 是圖像的高。這意味著傅立葉變換不再是連續(xù)的，但能夠在離散頻率上被采樣 uk=k/h和 vl=l/w。如上面討論的，對(duì)傅立葉變換進(jìn)行采樣僅在奎斯特間隔 1/2uk， vl1/2時(shí)是有用的。據(jù)此，離散傅立葉變換（ DFT）由下式給出： 同理，離散傅立葉逆變換如下： 如前所述，頻率 uk 和 vl 應(yīng)該在（ 1/2,1/2]范圍內(nèi)被采樣， k=h/2+1,…,h/2 和l=w/2+1,…w/2。在這里須用 Hk,l 來表示一幅圖像，考慮周期性，分別以 h 和 w 為周期，把負(fù)頻率映射為對(duì)應(yīng)的正頻率，將 k=h/2+1,1 映射到 k=h/2， …h(huán)1,同理適用于 l。 傅立葉變換能被擁來在頻率域內(nèi)計(jì)算與任意線性濾波器的卷積。這點(diǎn)可被用來配合標(biāo)準(zhǔn)濾波器掩碼實(shí)現(xiàn)濾波操作，比如與均值濾波器與高斯濾波器配合，但通常僅在與相對(duì)大尺寸濾波器配合使用時(shí)才有速度優(yōu)勢(shì)。使用傅立葉變換進(jìn)行濾波處理得真正好處是：可以通過使用定制的濾波器來消除圖像中某些特定的頻率。 畢業(yè)論文 16 模板匹配 對(duì)于模板 匹配在不同的光照條件得出的圖像或者是圖像邊緣影響情況運(yùn)用不同的匹配方法。 邊緣匹配算法 邊緣匹配由于不會(huì)受到光照影響的特性，所以經(jīng)常被用于可靠的模板匹配算法中。邊緣匹配算法主要是基于模板邊緣與圖像邊緣之間的距離。這種算法一般使用原始邊緣點(diǎn)進(jìn)行匹配。 這種想法最普通的相似度量是使模板邊緣點(diǎn)與她最近的圖像邊緣點(diǎn)之間的均方距離最小。為使我們得到邊緣點(diǎn)與離它最近的圖像邊緣點(diǎn)之間的均方距離最小，我們不得不花費(fèi)大量的時(shí)間與力氣去尋找它。不過我們只是為了得到最近圖像邊緣點(diǎn)之間的距離，而非得到這個(gè)點(diǎn)。這就使我 們大大節(jié)約了時(shí)間?；谶@種想法我們就找到了一種效率很高的方式，即計(jì)算分割后搜索圖像背景的距離變換。通過這種方法如果模板邊緣點(diǎn)與圖像邊緣點(diǎn)之間的平均距離小于一個(gè)閥值，我們就認(rèn)為找到了一個(gè)模板的實(shí)例。當(dāng)然為了確定唯一位置我們必須計(jì)算相似度量的局部最小值。這個(gè)相似度量我們希望用等式表現(xiàn)出來，用 T 表示模板中的邊緣點(diǎn)， d(r,c)則表示分割后搜索圖像背景的距離變換。因此平移情況的均方邊緣距離（ SED）可表示為： 如果我們令 SSD 相似度量的等式中的 t(u,v)=0,并使用距離變換圖像替代 f(u,v)，這樣就與 SED 等式相同了。 SSD 相似度量等式： 這樣我們就實(shí)現(xiàn)了 SSD匹配算法，那么 SED 匹配算法可以非常容易實(shí)現(xiàn)。同樣的如果我們是使用的平均距離而不是均方距離的話，我們就可以使用已有的 SAD匹配算法的等式。 上述算法是基于邊緣進(jìn)行的匹配，因此完全光照的影響。另外搜索圖像中其他的邊緣只能減少圖像中最近邊緣直接的距離，所以算法不會(huì)受到影響。但是如果部分邊緣在搜索圖像中并沒有出現(xiàn)，沒有出現(xiàn)的部分模板邊緣與最近圖像邊緣之間的距離可畢業(yè)論文 17 能會(huì)非常大。這樣就可能會(huì)出現(xiàn)找不到模板位置的情況。此時(shí)的圖像要找到正確 的匹配位置就非常困難。 對(duì)于這種情況我們就提出了另一種可以運(yùn)用在邊緣匹配算法中的距離。它們就是基于兩個(gè)點(diǎn)集之間的 Hausdorff距離。模板中邊緣點(diǎn)表示為 T，圖像中邊緣點(diǎn)表示為E。這兩個(gè)點(diǎn)集之間的 Hausdorff距離可以表示為： h(T,E)與 h(E,T)的定義相互對(duì)稱，因此由上式就可得 Hausdorff 距離由決定的兩個(gè)最大值組成：一是模板邊緣與最近圖像邊緣之間的最大距離，二是圖像邊緣與最近模板邊緣之間的最大距離。不難看出，為了得到一個(gè)低的總距離，必須保證每個(gè)模板邊緣點(diǎn)必須與一個(gè)圖像邊緣點(diǎn)非常接近 ，同時(shí)也要保證每個(gè)圖像邊緣點(diǎn)都與一個(gè)模板邊緣點(diǎn)非常接近。所以，使用 Hausdorff 距離的話，圖像中的遮擋和混亂都會(huì)影響匹配。那么我們?nèi)绾蝸韺?shí)現(xiàn)可操作性呢？對(duì)此我們有這樣的考慮：在圖像存在遮擋和混亂情況下算法效果比較差主要是由于等式（ 414）中是計(jì)算模板邊緣到圖像邊緣的最大距離。 如果希望在遮擋的情況下實(shí)現(xiàn)足夠可靠的算法，可以求另一級(jí)的距離而不求最大距離，例如可以求第 f 大的距離，在 f=0 時(shí)表示最大距離。此時(shí)， Hausdorff距離將對(duì) 100f/n%的遮擋情況是可靠的，其中 n 表示模板中邊緣點(diǎn)的數(shù)量。為了使Hausdorff 距離在存在混亂的情況下也是可靠的，可以類似地使用第 r 大距離來修改h(E,T)。然而，通常模板只能覆蓋搜索圖像的一小部分，從而圖像中邊緣點(diǎn)的數(shù)量比模板中邊緣點(diǎn)數(shù)量要大得多，因此為了使 Hausdorff 距離達(dá)到期望的不受混亂影響的效果，選擇的 r 值必須非常大。所以，必須改進(jìn) h（ E,T）為只在模板周圍的一個(gè)小的ROI 內(nèi)計(jì)算。此時(shí) Hausdorff 距離將對(duì) 100r/m%的混亂情況是可靠的，其中 m 是指模板周圍的 ROI 中圖像邊緣點(diǎn)數(shù)量。與 SED 方法相似，也可以基于距離變換來計(jì)算Hausdorff 距離：一是為 圖像中邊緣區(qū)域計(jì)算距離變換，二是為模板邊緣區(qū)域的每個(gè)位姿（不包括平移）計(jì)算距離變換。因此，可以在離線情況下計(jì)算一個(gè)非常大數(shù)量的距離變換，這就需要巨大的存儲(chǔ)空間。否則就只能在搜索的過程中計(jì)算模板的距離變換，這需要非常大的計(jì)算量。 由上分析，可以看出使用 Hausdorff 距離的一個(gè)缺點(diǎn)是匹配過程巨大的運(yùn)算負(fù)載。為此我們想出了幾種減少運(yùn)算負(fù)載的可能性，其中包括減少搜索空間中不包含模板在內(nèi)的區(qū)域。另外，提出了一種搜索空間分級(jí)細(xì)分的方法。這種方法與使用圖像金字塔畢業(yè)論文 18 實(shí)現(xiàn)的效果相似。 然而， Hausdorff 距離的主要缺點(diǎn) 是就算圖像中待搜索的模板實(shí)例只存在稍許的遮擋，也會(huì)導(dǎo)致在圖像中找到很多錯(cuò)誤的實(shí)例。為了減少誤判率，提出了對(duì) Hausdorff距離的一種改進(jìn)方法，這種方法將邊緣像素的方向考慮在內(nèi)。從原理上講，邊緣點(diǎn)增加了表示方向的第三個(gè)坐標(biāo)。于是，改進(jìn)后 Hausdorff 距離就是計(jì)算這些擴(kuò)展的三維點(diǎn)之間的距離。但這就需要計(jì)算三維距離變換，這對(duì)機(jī)器視覺應(yīng)用來講過于耗時(shí)?；?Hausdorff 距離的所有方法的另外一個(gè)缺點(diǎn)就是非常難以基于相似度量的內(nèi)插算法得到亞像素精度的位姿。 基于邊緣像素點(diǎn)的算法 基于邊緣像素點(diǎn)本 身搜索目標(biāo)物體的算法是由 Ballard 提出的廣義霍夫變換。霍夫變換最開始定義為在分割后的邊緣中尋找直線的一種方法。后來經(jīng)過拓展也可以用來檢測(cè)其他可解析描述的形狀。這里我們以圓為例：如果我們知道這個(gè)圓的半徑，讓我們?cè)谶吘増D像中迅速的找到這個(gè)圓的位置。我們應(yīng)該怎么利用這種算法來快速找到這個(gè)圓呢？ 首先我們想到圓的是旋轉(zhuǎn)對(duì)稱的，在這種情況下我們只用考慮平移。我們要快速在邊緣圖像中找到這個(gè)圓的話我們可以注意比背景更亮的圓，他的邊緣的梯度向量垂直于圓的邊界，并且梯度向量的方向指向圓的中心。相對(duì)的如果圓的亮度比背景更暗則梯度方向背離圓的中心向外。有了這樣的發(fā)現(xiàn)就只需要我們發(fā)現(xiàn)圓上的點(diǎn)我們就可以順利的找出這個(gè)圓了。但是我們?cè)趺创_定哪些點(diǎn)是圓上的點(diǎn)呢？我們注意到圓上的所有像素點(diǎn)擁有同樣的性質(zhì)，這個(gè)性質(zhì)就是基于梯度向量可以構(gòu)造圓的中心，這樣我們就能找到圓的位置。 從上面這個(gè)例子可以看出，我們可以非常高效的找到圓的位置。如果事先知道圓的極性，也就是知道它比背景亮還是暗，我們只需要在圖像中每個(gè)邊緣點(diǎn)處對(duì)累計(jì)數(shù)組執(zhí)行一個(gè)簡(jiǎn)單的加法即可。如果不知道邊緣的極性，我們只需要在邊緣處執(zhí)行兩個(gè)加法即可。因此，算法的運(yùn)算時(shí)間與圖像中邊緣點(diǎn)數(shù)量成 正比，而與模板大小沒有關(guān)系，也與圓的大小沒有關(guān)系。 上述的廣義霍夫變換效率已經(jīng)非常高了。它的運(yùn)行時(shí)間只取決于圖像中邊緣點(diǎn)的數(shù)量。然而，這種算法對(duì)于機(jī)器視覺系統(tǒng)來說還是不夠快，因?yàn)橛脕硭阉鲗?duì)象的累計(jì)空間會(huì)在短時(shí)間內(nèi)變的非常大，尤其在允許目標(biāo)物體旋轉(zhuǎn)或縮放的應(yīng)用中。另外，這畢業(yè)論文 19 個(gè)累計(jì)器還需要一個(gè)巨大的儲(chǔ)存空間。以上兩種就決定了廣義霍夫變換還不能這樣運(yùn)用到機(jī)器視覺中來，那我們?cè)趺床拍芤萌霗C(jī)器視覺中呢？針對(duì)這種情況，提出了一種分級(jí)的廣義霍夫變換。它使用圖像金字塔加速搜索，通過利用金字塔加速搜索，通過利用金字塔低層的搜 索空間來減少累計(jì)數(shù)組的尺寸。使用這種分級(jí)廣義霍夫變換，可以在圖像中實(shí)時(shí)找到目標(biāo)物體，并且圖像中存在遮擋、混亂和幾乎任意光照變化的情況下算法都非常穩(wěn)定。 本章小結(jié) 本章清楚的了解到了我們將用于半導(dǎo)體晶片切割的機(jī)器視覺系統(tǒng)中的三中算法。這三中算法在能精確的切割半導(dǎo)體晶片中起著至關(guān)重要的作用。對(duì)不同的切割類型我們將作出不同的變化，以使得我們能在半導(dǎo)體晶片切割中能有最好的效果。 第 4 章 半導(dǎo)體晶片切割算法的實(shí)現(xiàn) 在半導(dǎo)體晶片切割定位算法及實(shí)驗(yàn)前，首先要進(jìn)行的是圖像采集，對(duì)于工業(yè)現(xiàn) 場(chǎng)來說。圖像采集后再對(duì)圖像進(jìn)行校準(zhǔn)，由于在工業(yè)實(shí)際生產(chǎn)中，晶片是水平放置的，所以通過調(diào)攝像頭的位置，可以做到鏡頭完全與晶片垂直，這就可以省略掉圖像校準(zhǔn)的步驟。但是在思路框架圖上，我們?nèi)匀灰褕D像校準(zhǔn)這一步給繪制上去，然后再進(jìn)行圖像處理。圖 41 給出了本實(shí)驗(yàn)的框架圖。 畢業(yè)論文 20 圖 41 晶片切割流程圖 通過上圖我們就確定了對(duì)半導(dǎo)體晶片切割的操作流程，再每個(gè)操作過程中我們都會(huì)運(yùn)用到不同的算法，下面我們根據(jù)設(shè)計(jì) 流程圖實(shí)現(xiàn)了整個(gè)流程。 圖像的獲取 采集圖像 利 用傅立變換葉獲取晶片寬和高 確定晶片大小 根據(jù)模板匹配算法獲取晶片匹配圖 確定切割線位置 畢業(yè)論文 21 由于條件的限制我們很遺憾的沒能親自去采集到半導(dǎo)體晶片圖像，因此我們只能使用標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中的圖像，下圖 42 就是半導(dǎo)體晶片的原始圖像。 圖 42 半導(dǎo)體晶片原始圖像 上圖為在理想的光照和調(diào)節(jié)好鏡頭的情況下得到的半導(dǎo)體晶片原始圖像，也是我們下面進(jìn)行處理的最初的圖像。我們下面要做的就是在這個(gè)原始圖像中找出我們需要的切割線。那要找到這個(gè)切割線我們要怎么做呢？怎么才能找到這條切割線使晶片能夠完好的切割出來呢？那下面就是我們 利用 halcon 軟件處理圖像的過程。 利用自相關(guān)算法獲取晶片大小 我們處理圖像的第一步就是要確定芯片的寬度和高度。那我們?cè)趺床拍艽_定呢？這里就運(yùn)用到了在第三章中介紹的自相關(guān)算法了。 第一步我們首先要運(yùn)用傅立葉變換將原始圖像轉(zhuǎn)換到頻域。由于圖像數(shù)據(jù)是實(shí)數(shù)，所以不需要完全傅立葉變換，僅擁實(shí)數(shù)傅立葉變換做一半即可。下圖就原始圖像畢業(yè)論文 22 經(jīng)過傅立葉變換轉(zhuǎn)化到頻域圖 43 圖 43 原始圖像轉(zhuǎn)換頻域圖 我們將原始圖像轉(zhuǎn)換成頻域圖只是一個(gè)過渡而已，而不是我們需要得 到的最終結(jié)果，因此我們還需要將頻域圖繼續(xù)處理。在得到原始圖像的頻域圖以后我們