【正文】 隔最大，同時(shí)保證訓(xùn)練樣本的分類誤差盡可能小。 支持向量機(jī)與神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法相比，支持向量機(jī)具有以下特點(diǎn) : （ 1）支持向量機(jī)是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，保證學(xué)習(xí)機(jī)器具有良好的泛化能力 。 （ 2）解決了算法復(fù)雜度與輸入向量密切相關(guān)的問題 。 （ 3）通過引用核函數(shù)，將輸入空間中的非線 性問題映射到高維特征空間中在高維空間中構(gòu)造線性函數(shù)判別 。 （ 4）支持向量機(jī)是以統(tǒng)計(jì)學(xué)理論為基礎(chǔ)的，與傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)理論不同。它主要是針對小樣本情況，且最優(yōu)解是基于有限的樣本信息，而不是樣本數(shù)趨于無窮大時(shí)的最優(yōu)解 。 （ 5）算法可最終轉(zhuǎn)化為凸優(yōu)化問題，因而可保證算法的全局最優(yōu)性，避免了神經(jīng)網(wǎng)絡(luò)無法解決的局部最小問題 。 （ 6）支持向量機(jī)有嚴(yán)格的理論和數(shù)學(xué)基礎(chǔ)，避免了神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中的經(jīng)驗(yàn)成分。 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 18 本章小結(jié) 本章對印刷體漢字識別技術(shù)的理論部分進(jìn)行了較為全面和詳細(xì)的研究，論述了漢字在識別過程中各個(gè)組成部分基本 的運(yùn)作原理，并對多種識別方法進(jìn)行了簡要的論述及比較。文字的識別方法主要分為結(jié)構(gòu)模式識別、統(tǒng)計(jì)模式識別、人工神經(jīng)網(wǎng)絡(luò)三種方法。其中結(jié)構(gòu)模式識別方法主要是早期文字識別的主要方法，隨著統(tǒng)計(jì)理論的發(fā)展，統(tǒng)計(jì)模式識別方法逐漸成為文字識別主要的研究力法。近年來，人工神經(jīng)網(wǎng)絡(luò)發(fā)展迅猛，它模擬人腦的活動(dòng)方式，更符合人們的思維習(xí)慣。但它的建模比較復(fù)雜，而且運(yùn)算量大。在印刷體漢字識別中采用有一定的難度，還需進(jìn)一步改進(jìn)和簡化。 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 19 4 系統(tǒng)的 Matlab 仿真 系統(tǒng)的分析 本設(shè)計(jì)要實(shí)現(xiàn)的是一個(gè)能識別三十 二個(gè)印刷體漢字的識別系統(tǒng)。由于字庫容量較小，因此本設(shè)計(jì)對系統(tǒng)的預(yù)期識別率指標(biāo)定為 100%。 印刷體漢字識別系統(tǒng)采用的是十三點(diǎn)特征提取法和神經(jīng)網(wǎng)絡(luò)識別相結(jié)合的原理。十三點(diǎn)特征提取法負(fù)責(zé)提取漢字中的特征點(diǎn)，形成一個(gè) 131? 的向量，作為神經(jīng)網(wǎng)絡(luò)的輸入，我們可以實(shí)現(xiàn)一個(gè)標(biāo)準(zhǔn)庫神經(jīng)網(wǎng)絡(luò)，由于不同的漢字對應(yīng)的特征向量不同，當(dāng)輸入相應(yīng)的特征向量就輸出對應(yīng)的漢字。 印刷品上的漢字輸入，經(jīng)過預(yù)處理后，對照標(biāo)準(zhǔn)漢字修補(bǔ)缺損部分，用修補(bǔ)后的漢字進(jìn)行學(xué)習(xí)，形成初始的特征庫后再進(jìn)行大量樣 本的學(xué)習(xí)，建立實(shí)用的特征庫。系統(tǒng)在識別過程中可進(jìn)行自學(xué)習(xí)。取標(biāo)準(zhǔn)漢字，對每一漢字計(jì)算特征向量。所有按一定的順序排列，建立每一漢字與其國標(biāo)碼指針。對神經(jīng)網(wǎng)絡(luò)設(shè)置其初始權(quán)值，選取大量的標(biāo)準(zhǔn)漢字訓(xùn)練網(wǎng)絡(luò)，反復(fù)修改權(quán)值，直至與面積序號對應(yīng)的輸出為有效，并建立每一輸出與面積特征庫之間的連接關(guān)系。以后隨著學(xué)習(xí)過程的進(jìn)行，將建立動(dòng)態(tài)調(diào)整面積特征庫與神經(jīng)網(wǎng)絡(luò)之間的對應(yīng)關(guān)系。系統(tǒng)共包含五個(gè)子功能模塊（見圖 ）。 圖 印刷體漢字識別系統(tǒng)功能模塊 印刷體漢字識別系統(tǒng) 掃描 預(yù)處理 學(xué)習(xí) 識別 輸出 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 20 圖 印刷體漢字識別工作流程圖 系統(tǒng)的工作流程如圖 所示，文件首先由文件管理器加載。送入圖像管理模塊，經(jīng)二值化，轉(zhuǎn)灰度，均值濾波，二值化，行、字切割等圖像處理操作后，得到待識別文字的點(diǎn)陣，漢字識別模塊從點(diǎn)陣中提取識別特征，通過十三點(diǎn)特征提取，精確匹配識別結(jié)果。 . 系統(tǒng)的實(shí)現(xiàn) 此次采用 MATLAB 進(jìn)行系統(tǒng)仿真（ Matlab 仿真程序見參考附錄 1），其中學(xué)習(xí)功能使用 sim函數(shù)實(shí)現(xiàn)，特征提取用十三點(diǎn)特征提取法。 y = sim（ , P_test）； %用訓(xùn)練出來的神經(jīng)網(wǎng)絡(luò)計(jì)算數(shù)據(jù)的第 P_test 行；其中 是 SIMULINK 的模型名 （ 神經(jīng)網(wǎng)絡(luò)的對象見參考附錄 2） ； P_test 是用來測試數(shù)據(jù)的外部輸入向量。 特征提取 本系統(tǒng)采用的是十三點(diǎn)特征提取法，首先把字符平均分成 8 份（如圖 ），統(tǒng)計(jì)每一份內(nèi)黑色像素的個(gè)數(shù)作為其中的前 8個(gè)特征，然后分為 1 3 和 3 1兩種情況，分別統(tǒng)計(jì)水平方向中間兩列和豎直方向兩列的黑像素點(diǎn)的個(gè)數(shù)作為接下來的 4 個(gè)特征，最后統(tǒng)計(jì)整個(gè)字符中所有黑色像素的個(gè)數(shù)作為第十三個(gè)特征，從而一共得到了關(guān)于 該字符的 13 個(gè)特征。也就是說，現(xiàn)將字符分成 8等分，得到 8個(gè)特征。再畫 4 道線，統(tǒng)計(jì)穿過的黑色像素的數(shù)目，可以得到 4個(gè)特征。最后，將字符圖像的全部黑色像素的數(shù)目的總和作為 1個(gè)特征。十三點(diǎn)特征提取法有著極好的適應(yīng)性，能大大縮短識別時(shí)間并提高識別率。但是由于特征點(diǎn)的數(shù)目太少，所以在樣本訓(xùn)練的時(shí)候難收斂。漢字圖像 預(yù)處理 漢字識別 識別結(jié)果 轉(zhuǎn)灰度圖像 均值濾波 列分割 二值化 加載特征庫 特征提取 特征匹配 行分割 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 21 圖 十三點(diǎn)特征提取分塊 十三點(diǎn)特征所產(chǎn)生的數(shù)據(jù)形成一個(gè)矢量作為神經(jīng)網(wǎng)絡(luò)的輸入，此數(shù)據(jù)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和識別過程（十三點(diǎn)特征提取的程序見參考 附錄 1）。 BP 神經(jīng)網(wǎng)絡(luò)的建立 BP 神經(jīng)網(wǎng)絡(luò)的建立要考慮索要建立標(biāo)準(zhǔn)庫的大小，先確定標(biāo)準(zhǔn)庫的大小，然后確定輸入向量中元素的最小個(gè)數(shù)，即所要提取特征點(diǎn)的最少個(gè)數(shù)。這里我們只簡單建立一個(gè)具有 32 個(gè)字的標(biāo)準(zhǔn)庫，我們所提取的特征點(diǎn)是 13 個(gè)，這對于具有 32 個(gè)字的標(biāo)準(zhǔn)庫來說足夠了。 神經(jīng)網(wǎng)絡(luò)輸出向量中的元素個(gè)數(shù)由我們的標(biāo)準(zhǔn)庫中字符的個(gè)數(shù)確定，由于所要建立的標(biāo)準(zhǔn)庫字符的個(gè)數(shù)是 32，并且因?yàn)橛?jì)算機(jī)語言只能識別 0和 1這二個(gè)值，所以神經(jīng)網(wǎng)絡(luò)輸出向量中最少有 5個(gè)元素才能搭配出 32 個(gè)不同的數(shù)值。神經(jīng)網(wǎng)絡(luò)的建立可以參 見以下程序： =newff（ minmax（ P） ,[50,40,5],{39。tansig39。,39。tansig39。,39。tansig39。},39。traingd39。） 。 其中 P是神經(jīng)網(wǎng)絡(luò)的輸入向量， {39。tansig39。,39。tansig39。,39。tansig39。}是包含每層用到的傳遞函數(shù)名稱的細(xì)胞數(shù)組。 39。traingd39。是用到的訓(xùn)練函數(shù)的名稱。 神經(jīng)網(wǎng)絡(luò)建立后，需要對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以產(chǎn)生標(biāo)準(zhǔn)庫。訓(xùn)練程序及訓(xùn)練參數(shù)如下： =100。 %每 100顯示 1次 =。 %設(shè)置學(xué)習(xí)速率 =30000。 %設(shè)置訓(xùn)練次數(shù) =0。 %設(shè)置性能函數(shù)（訓(xùn)練要求精度） =train（ ,P,T） 。 %訓(xùn)練 BP網(wǎng)絡(luò)（ P為輸入， T為輸出） save zmn123 %保存文件名為 zmn123 BP 神經(jīng)網(wǎng)絡(luò) 的訓(xùn)練 下圖（見圖 ）是輸出向量和輸入向量都為三十二個(gè)元素的 BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練著 著 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 22 誤差，最終誤差是 ，誤差較大并不理想。 圖 三十二輸出元素系統(tǒng)的訓(xùn)練誤差曲線 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 23 圖 五輸出元素系統(tǒng)的訓(xùn)練誤差曲線 上圖（圖 ）是輸出向量為五個(gè)元素和輸入向量為三十二個(gè)元素的 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差，最終訓(xùn)練誤差是 ，由此觀之，輸出向量含有五個(gè)元素的 BP 神經(jīng)網(wǎng)絡(luò)識別誤差更小一些，在可接受范圍之內(nèi)，本系統(tǒng)可以采用。 系統(tǒng)的仿真 系統(tǒng)首 先對標(biāo)準(zhǔn)圖像（見圖 ）進(jìn)行識別，運(yùn)行程序后識別過程分別進(jìn)行轉(zhuǎn)灰度（見圖 ），均值濾波（見圖 ），二值化（見圖 ），經(jīng)行列切分后得到處理結(jié)果（見圖 ），最后在命令窗口輸出識別結(jié)果（見圖 ）。 圖 標(biāo)準(zhǔn)圖像 圖 標(biāo)準(zhǔn)轉(zhuǎn)灰度圖像 圖 標(biāo)準(zhǔn)均值濾波圖像 圖 標(biāo)準(zhǔn)二值化圖像 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 24 圖 標(biāo)準(zhǔn)圖像處理結(jié)果 圖 標(biāo)準(zhǔn)圖像識別結(jié)果 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 25 基于這個(gè)已建立的標(biāo)準(zhǔn)庫，我們通過 Matlab 程序仿真結(jié)果得 知，此系統(tǒng)經(jīng)過自學(xué)習(xí)后對標(biāo)準(zhǔn)圖像中漢字的識別率是 100%，系統(tǒng)的技術(shù)指標(biāo)符合我們的預(yù)期。 通過對標(biāo)準(zhǔn)圖像識別學(xué)習(xí)訓(xùn)練，然后再對輸入亂序圖像（見 ）進(jìn)行識別，運(yùn)行程序后識別過程中分別進(jìn)行轉(zhuǎn)灰度（見圖 ），均值濾波（見圖 ），二值化（見圖 ），經(jīng)行列切分后得到處理結(jié)果（見圖 ），最后在命令窗口輸出識別結(jié)果（見圖 ）。 圖 亂序圖像 圖 亂序轉(zhuǎn)灰度圖像 圖 亂序均值濾波圖像 圖 亂序二值 化圖像 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 26 圖 亂序圖像處理結(jié)果 圖 亂序圖像識別結(jié)果 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 27 基于這個(gè)已建立的標(biāo)準(zhǔn)庫，我們通過 Matlab 程序仿真結(jié)果得知，此系統(tǒng)對亂序圖像的漢字也能 100%識別，初步驗(yàn)證了本系統(tǒng)具有一定高度的識別率。 系統(tǒng)性能的進(jìn)一步驗(yàn)證 但由于本系統(tǒng)設(shè)定的字庫容量較小僅為三十二個(gè)字，即使以上漢字都能夠一一識別也并不能完全證明本系統(tǒng)具有較高的識別率。因此，為了進(jìn)一步驗(yàn)證本系統(tǒng)的性能，下面我們將采用一組總數(shù) 32 個(gè)字的相似字圖片讓系統(tǒng)對其進(jìn)行識別，標(biāo)準(zhǔn)庫的建立及識別過程同第一組漢字圖片的 識別方法。 我們首先建立一個(gè)相似字的標(biāo)準(zhǔn)庫，并對其 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。下圖（見圖）是輸出向量為五個(gè)元素和輸入向量為三十二個(gè)元素的 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差，最終誤差是 。 圖 相似字誤差曲線 通過對相似字 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練我們得知，此網(wǎng)絡(luò)的識別誤差也非常小，可以進(jìn)行下一步的識別工作。 然后我們對相似字標(biāo)準(zhǔn)圖像進(jìn)行識別。運(yùn)行程序后首先載入相似字標(biāo)準(zhǔn)的圖片（見圖 ），然后依次得到轉(zhuǎn)灰度圖片（見圖 ），均值濾波圖片（見圖 ），二 值化圖片（ ），經(jīng)行列切分后得到處理結(jié)果（ ）及命令窗口輸出的識別結(jié)果（ ）。 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 28 圖 相似字標(biāo)準(zhǔn)圖像 圖 相似字標(biāo)準(zhǔn)轉(zhuǎn)灰度圖像 圖 相似字標(biāo)準(zhǔn)均值濾波圖像 圖 相似字標(biāo)準(zhǔn)二值化圖像 圖 相似字標(biāo)準(zhǔn)圖像處理結(jié)果 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 29 圖 相似字標(biāo)準(zhǔn)圖像識別結(jié)果 通過 Matlab 程序仿真結(jié)果得知，此系統(tǒng)對相似字標(biāo)準(zhǔn)圖像中漢字的識別率是 100%，依然符合我們的預(yù)期。通過對相似字標(biāo)準(zhǔn)圖像的學(xué)習(xí)訓(xùn)練之 后，我們再對相似字亂序圖像進(jìn)行識別。 運(yùn)行程序后首先載入相似字亂序的圖片（見圖 ），然后依次得到轉(zhuǎn)灰度圖片（見圖 ），均值濾波圖片（見圖 ），二值化圖片（ ），經(jīng)行列切分后得到處理結(jié)果（ ）及命令窗口輸出的識別結(jié)果（ ）。 圖 相似字亂序圖像 圖 相似字亂序轉(zhuǎn)灰度圖像 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 30 圖 相似字亂序均值濾波圖像 圖 相似字亂序二值化圖像 圖 相似字亂序圖像處理結(jié)果 印刷體漢字識別技術(shù)的研究 上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院 畢業(yè)論文 31 圖 相似字亂序圖像識別結(jié)果 我們通過 Matlab 程序仿真結(jié)果得知，此系統(tǒng)對相似字亂序圖像的漢字也能 100%識別，進(jìn)一步證明了本系統(tǒng)具有卓越的性能。 仿真結(jié)果分析 由第一組圖像的仿真結(jié)果可以看出，當(dāng)輸入標(biāo)準(zhǔn)圖像，經(jīng)過轉(zhuǎn)灰度，均值濾波，二值化，識別輸出。然后輸入亂序圖像在經(jīng)過轉(zhuǎn)灰度，均值濾波，二值化，特征提取，匹配識別后，系統(tǒng)能夠?qū)y序圖像中的圖像識別出。說明系統(tǒng)基本實(shí)現(xiàn)預(yù)先設(shè)想的功能，能夠在學(xué)習(xí)標(biāo)準(zhǔn)圖像識別后建立標(biāo)準(zhǔn)庫，并根據(jù)標(biāo)準(zhǔn)字庫與以后的輸入圖像進(jìn)行匹配識別輸出。并且本系統(tǒng)的 結(jié)構(gòu)雖然并不復(fù)雜，但識別率并未因此降低，經(jīng)過對第二組圖像的仿真，我們發(fā)現(xiàn)了本系統(tǒng)對相似字也能進(jìn)行很好的識別，進(jìn)一步證明了本系統(tǒng)卓越的識別率。經(jīng)過兩組實(shí)驗(yàn)的數(shù)據(jù)顯示，本系統(tǒng)能夠?qū)?shí)驗(yàn)所用的的漢字 100%的識別，說明本系統(tǒng)采用的算法有一定的實(shí)用價(jià)值。但程序的自動(dòng)適應(yīng)能力有限，二值化和均值濾波參數(shù)不能很好的對文字圖像的像素值進(jìn)行判別 ,部分漢字被處理后可能會(huì)出現(xiàn)出現(xiàn)特征丟失的情況。 通過以上分析得出的結(jié)論為：本文所應(yīng)用的識別技術(shù)可以識別