【文章內(nèi)容簡介】 真彩色車輛圖像 圖 23 灰度圖 邊 緣檢測 邊緣是指圖像灰度發(fā)生空間突變或者在梯度方向上發(fā)生突變的像素的集合，也可定義為圖像局部特征的不連續(xù)性，例如灰度的突變，顏色的突變，紋理結(jié)構(gòu)的突變等等。邊緣通常意味著一個(gè)區(qū)域的終結(jié)和另一個(gè)區(qū)域的開始。邊緣的檢測常借助空域微分算子進(jìn)行，通過微分模板與圖像卷積完成。用攝像機(jī)采集到的機(jī)動(dòng)車圖像由于受到噪聲干擾以及車輛本身的影響，使得獲得的圖像質(zhì)量不理想。因此，再進(jìn)行汽車牌照的定位及字符識別之前需要先對車輛圖像進(jìn)行邊緣檢測處理提高圖像的質(zhì)量，使其易于后面的分割與識別。通過良好的邊緣檢測可以大幅度的降低噪聲、分離 出復(fù)雜環(huán)境中的車輛圖像，保留完好的車牌字符信息，方便后面的車牌精確定位與字符識別。 由于車牌識別系統(tǒng)攝像頭安裝位置固定以及機(jī)動(dòng)車車牌的固有屬性，可以發(fā)現(xiàn)機(jī)動(dòng)車車牌圖像都處在水平的矩形區(qū)域，在圖像中位置較為固定，車牌中字符都是按水平方向排列，所以經(jīng)過適當(dāng)?shù)膱D形變換便可以清晰地呈現(xiàn)出車牌的邊北京理工大學(xué) 20xx 屆本科生畢業(yè)設(shè)計(jì)（論文） 6 緣。對車牌圖像進(jìn)行邊緣檢測，有若干種方法可以使用，其中大多數(shù)是基于導(dǎo)數(shù)掩模求卷積的方法。 本文采用經(jīng)典的 Sobel算子來對圖像進(jìn)行邊緣檢測，如圖 24 和圖 25 所示。 圖 24 輪廓圖 圖 25 Sobel 邊緣檢測后的圖像 車牌定位 攝像頭拍攝的圖片不僅僅只有車牌部分的圖片，而且還有車身等區(qū)域的圖片，但只有車牌部分是有用區(qū)域，其他部分都是無用區(qū)域。所以我們要對照片進(jìn)行車牌定位，然后把車牌部分分割出來。車牌定位和分割是從經(jīng)過圖像預(yù)處理后的灰度圖像中確定牌照位置，并將車牌部分從整個(gè)圖像中分割出來，從而進(jìn)行字符識別。車牌定位和分割的精確度直接關(guān)系到最后的字符識別質(zhì)量的好壞。 牌照區(qū)域剪切 到如今人類已經(jīng)在車牌定位方面進(jìn)行了很多的研究，總結(jié)起來主要有以下幾種： （ 1）基于數(shù)學(xué)形態(tài)學(xué)的車牌定位方法。這種方法基本上是利用數(shù)學(xué)形態(tài)學(xué)進(jìn)行圖像處理，尋找到一個(gè)合適結(jié)構(gòu)元素來探測一幅圖像，確定這個(gè)元素是否能夠合適的放置在這幅圖像內(nèi)部，并檢驗(yàn)這種填方元素的方法是否合理有效。數(shù)學(xué)形態(tài)學(xué)的基本運(yùn)算包括服飾、膨脹、開啟和關(guān)閉。 （ 2）基于車牌顏色的定位方法。這種方法是利用車牌上的特征進(jìn)行定位，包括形狀、顏色和紋理特征，不如車牌的底色和字符的顏色有明顯的反差來進(jìn)行識別定位。 （ 3）基于水平灰度變化的方法。這種方法需要將彩色圖像轉(zhuǎn)換為灰度圖像，北京理工大學(xué) 20xx 屆本科生畢業(yè)設(shè)計(jì)（論文） 7 根據(jù)車牌灰度圖像的邊緣特征的水平方向的 特征進(jìn)行定位。 （ 4）基于邊緣檢測的車牌定位方法。在車牌的邊緣部分蘊(yùn)含了豐富的信息特征，邊緣檢測就是充分利用這些特征來達(dá)到定位的目的?？梢赃M(jìn)行邊緣檢測的算法有多種， 如 Roberts 邊緣算子、 Sobel 算子和拉普拉斯邊緣檢測都可以完成邊緣檢測。 這些方法各有優(yōu)缺點(diǎn)，要實(shí)現(xiàn)快速準(zhǔn)確地定位車牌，應(yīng)該綜合利用車牌的各種特征，僅靠單一特征難以達(dá)到目的。車牌圖像經(jīng)過灰度化和邊緣檢測的處理后，邊緣得到了加強(qiáng)，牌照區(qū)域已經(jīng)非常明顯。本文采用的是水平灰度變化和 Sobel算子來進(jìn)行圖像處理。 在本系統(tǒng)中，用水泡方向的差分算子 對汽車圖像求梯度。 1nnX X X ?? ? ? 對二維圖像而言水平梯度為： 1( , ) ( , ) ( , )n n n n n nG x y f x y f x y??? 對圖 23 求水平梯度，取閾值為 81 的效果如圖 26所示。 圖 26 車輛圖像水平梯度圖 通過選定一個(gè)閾值，對梯度圖上大于此值的點(diǎn)記為邊緣點(diǎn)，把一段連續(xù)的邊緣點(diǎn)取其第一點(diǎn)，定義這一點(diǎn)為跳變點(diǎn)。對水平方向邊緣點(diǎn)的掃描，可以得出此行上跳變點(diǎn)的分布，對整幅圖進(jìn)行掃描就得到全部的跳變點(diǎn)的分布。通過求牌照區(qū)域的算法可以看出，會(huì)找到牌照大致可能在哪行，所 以通過定牌照左右邊界算法得到分割后的車牌。如圖 27 所示。 北京理工大學(xué) 20xx 屆本科生畢業(yè)設(shè)計(jì)（論文） 8 圖 27 分割后的車牌 牌照幾何位置的調(diào)整 當(dāng)攝像機(jī)在一定高度而水平方向不與汽車正對是拍照會(huì)左右方向的傾斜。當(dāng)從左向右照時(shí)，會(huì)右傾且右面比左面更傾斜，如圖 28 所示。當(dāng)從右向左照時(shí)，會(huì)左傾且左面比右面更傾斜，如圖 29 所示。任何一種傾斜都會(huì)影響牌照字符的切分，所以有必要對其進(jìn)行矯正。 圖 28 向右邊傾斜的牌照 圖 29 向左邊傾斜的牌照 矯正的方法是采用 Hough 變換，其原 理如下： 極坐標(biāo)中直線的方程為： cos si n rs x y???? 式中 s 是直線離原點(diǎn)的法線距離， ? 是該法線對 x 軸的角度，如圖 210 所示。 圖 210 Hough 變換原理圖 左右傾斜算法如下：首先對牌照區(qū)域進(jìn)行擴(kuò)展，使其包含左右邊框，然后對北京理工大學(xué) 20xx 屆本科生畢業(yè)設(shè)計(jì)（論文） 9 此區(qū)域作水平 Sobel變換，對 Sobel 變換圖求出其水平方向的跳變圖，然后對其進(jìn)行 Hough 變換。 二值化 由于得到的圖像為灰度圖像，而 在車牌識別系統(tǒng)中，要求處理的速度高、成本低、信息量大，采用二值圖像進(jìn)行處理，能大大地提高處理效率。所以為了便于對圖像的處理，首先需要將圖像進(jìn)行二值化操作。 二值化是指把整幅圖像畫面轉(zhuǎn)換為僅黑、白二值的圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位。在實(shí)際的車牌處理系統(tǒng)中，進(jìn)行圖像二值變換的關(guān)鍵是要確定合適的閾值，使得字符與背景能夠分割開來，二值變換的結(jié)果圖像必須要具備良好的保形性，不丟掉有用的形狀信息，不會(huì)產(chǎn)生額外的空缺等等。 二值化后的牌照圖片如圖 211 所示。 圖 211 牌照二值化圖 字符分割 字符分割是將車牌圖像的七個(gè)字符分割成一個(gè)個(gè)獨(dú)立的字符圖像，以供下一步神經(jīng)網(wǎng)絡(luò)識別用。字符分割是識別的基礎(chǔ)，分割的好壞直接影響到識別的效果。 圖像去噪 車牌圖像去噪目的是為了改善車牌圖像的質(zhì)量，減少圖片上的噪聲干擾。在獲取到的車牌二值化圖像中要先消除噪聲干擾。經(jīng)常影響圖片質(zhì)量的噪聲源可分為三類，一是在感光片上的圖像會(huì)受到感光顆粒噪聲的影響；二是圖像從光學(xué)到電子形式的轉(zhuǎn)換是一個(gè)統(tǒng)計(jì)過程，這是因?yàn)槊總€(gè)圖像像素接收到的光子數(shù)目是有限的；三是處理信號的電子放大器會(huì)引入熱噪聲。這三種噪聲都 有相應(yīng)的數(shù)學(xué)模型，主要是要對噪聲進(jìn)行濾波，濾波的方法有許多種，例如中指濾波、變換域?yàn)V波、小波去噪等。去噪后的圖像如圖 212 所示。 北京理工大學(xué) 20xx 屆本科生畢業(yè)設(shè)計(jì)（論文） 10 圖 212 去噪后 的牌照 牌照字符分割 字符分割算法是以垂直投影、字符間距尺寸測定、字符的長寬比、輪廓分析技術(shù)的組合為基礎(chǔ)的。由于二值化的原因，可能會(huì)產(chǎn)生粘連、斷裂的字符。此時(shí)要根據(jù)牌照的大致寬度，結(jié)合各字符的輪廓，利用分割、合并的方法正確地分割字符。采用一個(gè)目標(biāo)函數(shù)搜索合并字符內(nèi)的各個(gè)斷裂點(diǎn)是一種有效的方法。該目標(biāo)函數(shù)是垂直投影函數(shù) ()xV 與 ( 1)xV? 二次差分的比率，即： ( 1 ) ( ) ( 1 )()2x x xxV V VV???? 分割目標(biāo)函數(shù)的最高值看作是可能出現(xiàn)的斷裂點(diǎn)。本文中字符分割的算法如下，如圖 213 和圖 214 所示。 圖 213 牌照二值化圖 圖 214 圖 213 的點(diǎn)陣水平投影圖 從投影圖 214 可以看出字符與字符的分界處往往是投影比較少的地方，并且字符與字符的分界處投影往往接近零或者為零，所以取初始閾值 t=1 對投影圖進(jìn)行掃描，過程如下： ① “while(project[i]t) i++。”，記下位置 a； ② “while(project[i]=t) i++?！?，記下位置 b； ③ 得到一個(gè)分割區(qū)，區(qū)數(shù)加 1，重復(fù)步驟 ① ； ④ 如果區(qū)數(shù)小于 7，則 tt??? （ ? 自定）； ⑤ 重復(fù) ① 。 分割效果如圖 215 和圖 216 所示。 北京理工大學(xué) 20xx 屆本科生畢業(yè)設(shè)計(jì)（論文） 11 圖 215 牌照二值化圖 圖 216 t=1 時(shí)圖 215 的點(diǎn)陣水平投影圖的分割圖 從圖 216 可以看出經(jīng)過一次分割已經(jīng)把那些明顯分開的區(qū)域分割開了，但是有些區(qū)域過大，并且只有 6 個(gè)區(qū)域（兩條豎線間的區(qū)域）。所以讓 t=t+2，結(jié)果如圖 217 和圖 218 所示。 圖 217 牌照二值化圖 圖 218 t=3 時(shí)圖 217 的點(diǎn)陣水平投影圖的分割圖 從圖 218 中可以看出那些過寬的區(qū)域中又分開了一塊，但是有一塊區(qū)域還是過大，但是區(qū)域數(shù)已經(jīng)達(dá)到要求。分割出的牌照字符圖像如圖 219 所示。 圖 219 分割出的字符圖像 字幅圖像歸一化 字符分割處理后得到的單個(gè)數(shù)字、字母和漢字圖像，還必須進(jìn)行歸一化處理，以消除因牌照傾斜帶來的字符在位置和大小上的變化。歸一化處理主要包括位置歸一化和大小歸一化，甚至筆劃（粗細(xì)）歸一化。對于漢字識別，漢字點(diǎn)陣的歸一化是十分重要的，因?yàn)闈h字識別主要基于漢字的圖形結(jié)構(gòu)，如果不能將漢字點(diǎn)陣在位置和大小上歸一化處理一致起來，漢字點(diǎn)陣的相似性比較久無法正確進(jìn)行。歸一化后的牌照圖像如圖 220 所示 。 圖 220 歸一化處理后的牌照圖像 細(xì)化處理 對圖像的細(xì)化過程是求圖像的骨 架過程。骨架是二維二值目標(biāo)的重要描述，它指圖像中央的骨骼部分，是描述圖像幾何及拓?fù)湫再|(zhì)的重要特征之一。細(xì)化算法有很多，按照迭代方分為兩類，一類是非迭代過程，一類是迭代過程。非迭代算法有基于距離變換的方法等，迭代方法是通過重復(fù)刪除像素邊緣，直到得到單獨(dú)像素寬度的圖像為止?，F(xiàn)在用的比較多的細(xì)化算法有 Hilditch、 Pavlidis、 Rosenfeld 細(xì)化算法和索引表細(xì)化算法等。車牌圖像進(jìn)行預(yù)處理后，細(xì)化處理是關(guān)系到后面能否正確提取字符特征值的關(guān)鍵，本文使用 Rosenfeld 骨架細(xì)化的方法，細(xì)化處理后可以得到圖 像中字符的基本骨架，不會(huì)破壞原來的連通性。細(xì)化后的效果圖像如圖 221 所示。 北京理工大學(xué) 20xx 屆本科生畢業(yè)設(shè)計(jì)（論文） 12 圖 221 細(xì)化處理后的牌照 第三章 BP 神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Network, ANN）也稱為神經(jīng)網(wǎng)絡(luò)（ Neural Networks， NN），即從生物學(xué)神經(jīng)系統(tǒng)的信號傳遞而抽象發(fā)展成的一門學(xué)科。在神經(jīng)網(wǎng)絡(luò)中，最基本的單元就是神經(jīng)元。 人工神經(jīng)元 神經(jīng)元由三部分組成：樹突、細(xì)胞體、軸突。樹突是樹 狀的神經(jīng)纖維接受網(wǎng)絡(luò)，它將電信號傳遞給細(xì)胞體，細(xì)胞體對這些輸入信號進(jìn)行整合并進(jìn)行閾值處理。軸突是單根長纖維，它把細(xì)胞體的輸入信號導(dǎo)向其他的神經(jīng)元。神經(jīng)元的排列拓?fù)浣Y(jié)構(gòu)和突觸的連接強(qiáng)度確立了神經(jīng)網(wǎng)絡(luò)的功能。形象的說，神經(jīng)網(wǎng)絡(luò)是由大量處理單元（神經(jīng)元）廣泛連接而成的網(wǎng)絡(luò)，是對人腦的抽象、簡化和模擬，反映人腦的基本特性。它能夠通過學(xué)習(xí)過程從外部環(huán)境中獲取知識，并且它內(nèi)部的很多神經(jīng)元可以用來存儲(chǔ)這些已經(jīng)學(xué)到的知識。人工神經(jīng)元模型是生物神北京理工大學(xué) 20xx 屆本科生畢業(yè)設(shè)計(jì)（論文） 13 經(jīng)元的模型與抽象。圖 31 為一種典型的人工神經(jīng)元模型。 圖 31 人 工神經(jīng) 元模型 人工神經(jīng)元相當(dāng)于一個(gè)多輸入單輸出的非線性閾值器件。這里的 nXXX ,2,1 ? 表示的為它的 n 個(gè)輸入； nWWW ,2,1 ? 表示與它相連的 n 個(gè)突觸的連接強(qiáng)度，其值成為權(quán)值；iXiW? 稱為激活值，表示這個(gè)人工神經(jīng)元的輸入總和，對應(yīng)于生物神經(jīng)細(xì)胞的膜電位； O表示這個(gè)人工神經(jīng)元的輸出； ? 表示這個(gè)人工神經(jīng)元的閾值。如果輸入信號的加權(quán)和超過 ? ，則人工神經(jīng)元被激活。這樣，人工神經(jīng)元的輸出可描述為 )(? ?? ?iXiWfO （ 31） 式中 ， )(?f 是表示神經(jīng)元輸入 輸出關(guān)系的函數(shù)，稱為激活函數(shù)或輸出函數(shù)。設(shè) XTW?是權(quán)與輸入的矢量積（標(biāo)量），相當(dāng)于生物神經(jīng)元由外加刺激引起的膜內(nèi)電位的變化。這樣激活函數(shù)可以寫成 )(f 。這里為了表達(dá)簡單沒有寫出閾值 θ。通常我們假設(shè)神經(jīng)元有 n1個(gè)突觸連接，實(shí)際輸入變量為 1,2,1 ?nXXX ? 。那么可設(shè) 1??nX ， ??nW ，這樣就加入了閾值這個(gè)量。 閾值 ? 一般不是一個(gè)常數(shù)，它是隨著神經(jīng)元的興奮程度而變化的。因細(xì)胞在每次放電之后都需要一定的時(shí)間恢復(fù)，也就是說神經(jīng)元的興奮存在不應(yīng)期，即相鄰二次興奮之間需要的時(shí)間間隔（大約為 ） ,在此期間閾值會(huì)升高，即絕對不應(yīng)期內(nèi)的閾值