【正文】 )。 imshow(imgLGE) imgRTE = imrotate(imgLGE, 35)。 imgCrop = imcrop(imgGray)。 衷心的 謝謝你們！基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 附錄 31 附 錄 附錄 1 預(yù)處理 %% 數(shù)字識(shí)別 (I):Image Preprocessing %% Manual Cropping img = imread(39。他嚴(yán)肅的科學(xué)態(tài)度 ，嚴(yán)謹(jǐn)?shù)闹螌W(xué)精神， 深深 的感染著 我。 今后工作展望：手寫體數(shù)字的特征提取是一個(gè)非常復(fù)雜的問題，可以考慮先用比較適合于特征提取的自組織特征映射網(wǎng)絡(luò)提取樣本特征，然后再用 BP 神經(jīng)網(wǎng)絡(luò)完成分類，充分利用兩種網(wǎng)絡(luò)的優(yōu)點(diǎn)可能達(dá)到更好的識(shí)別效果。 另外，針對(duì) BP 網(wǎng)絡(luò)收斂速度慢，計(jì)算量大等缺點(diǎn)，改進(jìn)了網(wǎng)絡(luò)的初始值，保證網(wǎng)絡(luò)穩(wěn)定快速收斂。 基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 結(jié)論 27 結(jié) 論 神經(jīng)網(wǎng)絡(luò)是性能良好的特征識(shí)別器，它與正確的特征提取方法相結(jié)合，會(huì)達(dá)到讓人滿意的識(shí)別效果。 圖 選取數(shù)字 5進(jìn)行各種操作 經(jīng)過平滑去噪、二值化、 規(guī)范化 、細(xì)化等過程預(yù)處理以后，識(shí)別出選取的數(shù)字，如圖 。 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第五章 系統(tǒng)的實(shí)現(xiàn)與結(jié)果分析 25 讀入圖像，這里有多組測試圖片可以用來測試，選擇其中一張， 讀入圖像的用戶界面如圖 所示。 具體分為以下五步： (1)對(duì)手寫體數(shù)字圖像進(jìn)行預(yù)處理，包括去噪、二值化、歸一化、細(xì)化等； (2)對(duì)手寫體數(shù)字圖像進(jìn)行小波分解，對(duì)分解的系數(shù)進(jìn)行分析； (3)特征提取，采用統(tǒng)計(jì)特征、結(jié)構(gòu)特征和筆畫特征提取，取得輸入樣本； (4)構(gòu)建 BP神經(jīng)網(wǎng)絡(luò)并對(duì)樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練； (5)對(duì)構(gòu)建好的人工神經(jīng)網(wǎng)絡(luò)對(duì)性測試和分析 。 MATLAB可以進(jìn)行矩陣運(yùn)算、繪制函數(shù)和數(shù)據(jù)、實(shí)現(xiàn)算法、創(chuàng)建用戶界面、連接其他編程語言的程序等，主要應(yīng)用于工程計(jì)算、控制設(shè)計(jì)、信號(hào)處理與通訊、圖像處理、信號(hào)檢測、金融建模設(shè)計(jì)與分析等領(lǐng)域。尋求一種適合 BP算法使用的新的優(yōu)化算法也是一個(gè)很有價(jià)值的研究課題。 根據(jù)優(yōu)化理論還有很多種優(yōu)化方法。 利用附加的動(dòng)量項(xiàng)可以起到平滑梯度方向的劇烈變化。這些方法一般都可以應(yīng)用到改進(jìn) BP算法中。更進(jìn)一 步可以在學(xué)習(xí)過程中動(dòng)態(tài)地調(diào)整η和α的值，使η隨系統(tǒng)總誤差 E 不斷的變化，以避免出現(xiàn) ? W 取值過小，尤其是在接近系統(tǒng)最小值的時(shí)候。 對(duì) BP 算法的改進(jìn) 經(jīng)典的 BP算法采用梯度下降法。但若所求問題的解是不正確的，那么只有再次調(diào)整權(quán)值，直到找到另一個(gè)極小點(diǎn)對(duì)所求問題的解是正確時(shí)為止，即要逃離原來的局部極小點(diǎn)。 (4)收斂性 BP 學(xué)習(xí)算法的收斂性至今沒能用完整的理論來證明它。 (2)外推能力 和歸納能力相對(duì)， BP網(wǎng)絡(luò)的外推能力是指 BP網(wǎng)絡(luò)對(duì)一類樣本訓(xùn)練完后，對(duì)其它非訓(xùn)練樣本測試其識(shí)別能力。 圖 BP網(wǎng)絡(luò)的訓(xùn)練過程 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第四章 神經(jīng)網(wǎng)絡(luò)在數(shù)字識(shí)別中的應(yīng)用 20 圖 BP網(wǎng)絡(luò)的訓(xùn)練結(jié)果 BP 學(xué)習(xí)算法的局限性與對(duì)策 BP 學(xué)習(xí)算法解決了多層前饋網(wǎng)絡(luò)的訓(xùn)練與非線性映射問題，在實(shí)際應(yīng)用中具有重大意義，在應(yīng)用 BP 學(xué)習(xí)算法的過程中，人們逐漸發(fā)現(xiàn)它存在的某些缺陷，存在局部極小值、學(xué)習(xí)速度慢、網(wǎng)絡(luò)隱節(jié)點(diǎn)和初始權(quán)值的選取只能憑經(jīng)驗(yàn)、新加入的樣本要影響已經(jīng)學(xué)完的樣本，并且每個(gè)樣本的輸入樣本的特征數(shù)目也要求必須相同；學(xué)習(xí)過程能否收斂，什么時(shí)候收斂已經(jīng)學(xué)習(xí)后所生成的權(quán)重空間的分布狀況等，這些至今還是一個(gè)未知 數(shù)。 (2)改變 n,用同一樣本集訓(xùn)練 ,從中確定網(wǎng)絡(luò)誤差最小時(shí)對(duì)應(yīng)的隱層節(jié)點(diǎn)數(shù)。 隱層的節(jié)點(diǎn)數(shù) 根據(jù)經(jīng)驗(yàn) ,可以參考以下公式進(jìn)行設(shè)計(jì)： annsqrpn oi ??? )( 或者 )( lnsqrtn? () (1)式中 :n為隱層節(jié)點(diǎn)數(shù) 。 輸入層的節(jié)點(diǎn)數(shù) 網(wǎng)絡(luò)的輸入個(gè)數(shù)應(yīng)等于應(yīng)用問題的輸入數(shù) ,MATLAB 的 BP 網(wǎng)絡(luò)的建立是通過函數(shù) newff 或 newcf 實(shí)現(xiàn)的 .如圖 所示的程序設(shè)計(jì)截圖。一般來說經(jīng)典的 BP 學(xué)習(xí)算法采用最快速梯度下降法調(diào)整權(quán)值，每次調(diào)整的增量為： kjkj WEW ???? ? () 式中 0η1稱為學(xué)習(xí)率。網(wǎng)絡(luò)隱含層以及節(jié)點(diǎn)數(shù)目的選取是 BP 網(wǎng)絡(luò)學(xué)習(xí)算法有待解決的一個(gè)問題。 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第四章 神經(jīng)網(wǎng)絡(luò)在數(shù)字識(shí)別中的應(yīng)用 17 正向傳播過程 輸入層 輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值。在正向傳播過程中 ,輸入信息從輸入層經(jīng)過隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。其原因是 BP算法學(xué)習(xí)規(guī)則的堅(jiān)韌性和學(xué)習(xí)能力很強(qiáng)，當(dāng)給定模式與 BP 網(wǎng)絡(luò)學(xué)會(huì)的模式很相似時(shí)， BP 網(wǎng)絡(luò)能很好的完成 識(shí)別任務(wù)。對(duì)應(yīng)地在計(jì)算機(jī)輔助設(shè)計(jì)的軟件開發(fā)中，神經(jīng)網(wǎng)絡(luò)算法的設(shè)計(jì)也越來越多。 3．再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)） 這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲）而不是給出正確答案。 2．非監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)） 非監(jiān)督學(xué)習(xí)時(shí)不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)（這是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統(tǒng)計(jì)上的分布特征）。學(xué)習(xí)方式 [15](按照環(huán)境提供信息量的多少 )有三種： 1．監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)） 為了使神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中解決各種問題，必須對(duì)它進(jìn)行訓(xùn)練，就是從應(yīng)用環(huán)境中選出一些樣本數(shù)據(jù)，通過不斷地調(diào)整權(quán)矩陣，直到得到合適的輸入輸出關(guān)系為止，這個(gè)過程就是對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，這種訓(xùn)練的過程需要有教師示教，提供訓(xùn)練數(shù)據(jù)，又稱樣本數(shù)據(jù)。 當(dāng)一個(gè)神經(jīng)元收到興奮輸入，而興奮輸入又比神經(jīng)元的抑制輸入足夠大時(shí)，神經(jīng)元把電活性脈沖向下傳到它的軸突，改變軸突的有效性，從而使一個(gè)神經(jīng)元對(duì)另一個(gè)神經(jīng)元的影響改變，便發(fā)生了學(xué)習(xí)行為。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠做出迅速、準(zhǔn)確的判斷和識(shí)別。這時(shí)如果輸出為“ 1” (結(jié)果正確 )，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“ A”模式輸入時(shí)，仍然能做出正確的判斷。現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫“ A”、“ B”兩個(gè)字母的識(shí)別為例進(jìn)行說明，規(guī)定當(dāng)“ A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“ 1”，而當(dāng)輸入為“ B”時(shí)，輸出為“ 0”。 據(jù)現(xiàn)在 的了解，大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過程，大腦處理信息的結(jié)果確由神經(jīng)元的狀態(tài)表現(xiàn)出來。他們中各神經(jīng)元之間連接的強(qiáng)弱，按照外部的激勵(lì)信號(hào)作自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著接收到的多個(gè)激勵(lì)信號(hào)的綜合大小呈現(xiàn)興奮或抑制狀態(tài)。 圖 以下為手寫體數(shù)字變體形態(tài)的特征向量： DATA02＝ [1,1,2,2,2,2,1,2,2]； DATA22＝ [3,2,2,1,1,1,1,3,2]； DATA32＝ [3,1,4,2,1,1,2,2,3]； DATA42＝ [1,2,2,3,3,1,2,2,2]； DATA52＝ [3,3,3,1,1,1,2,2,4]； DATA62＝ [3,1,3,1,1,2,2,2,2]； DATA82＝ [4,4,4,2,1,2,1,2,2]； DATA92＝ [3,2,3,2,1,1,3,1,3]。 知識(shí)庫的建立 由于本文采用的是基于模式知識(shí)庫的識(shí)別方法，所以對(duì)字符的結(jié)構(gòu)特征的分析以及字符模型的構(gòu)造是一個(gè)十分重要的環(huán)節(jié)，圖 就是對(duì)識(shí)別數(shù)字的標(biāo)準(zhǔn)形態(tài)進(jìn)行具體分析而構(gòu)造的模板。 筆劃特征的提取 經(jīng)細(xì)化后的數(shù)字圖像其特征較為穩(wěn)定 ,且筆劃簡單 ,因此對(duì)其抽取的基本結(jié)構(gòu)組件能反映數(shù)字的本質(zhì)特征 ,從而可快速有效地識(shí)別數(shù)字 ,并達(dá)到較好的分類效果。 結(jié)構(gòu)特征提取 首先對(duì)經(jīng)預(yù)處理后的圖像進(jìn)行分割，如圖 所示。提取主要特征 結(jié)構(gòu)特征 采用結(jié)構(gòu)特征 [12]對(duì)字符進(jìn)行結(jié)構(gòu)分析從而達(dá)到識(shí)別目的，是一種非常直觀的方法。對(duì)人臉圖像進(jìn)行 3 階小波分解，并提取小波系數(shù) wave2gray(c,s,8)。)。傳統(tǒng)的全局特征 主要包括：全局變換特征（對(duì)字符圖像進(jìn)行各種變換，利用變換系數(shù)作為特征向量，常用的變換有 Fourier 變換、 KL變換、小波變換等）、不變矩特征、全局筆劃方向特征等；常用的局部統(tǒng)計(jì)特征有：局部筆劃方向特征、 Gabor 特征等。由于小波變換的結(jié)果體現(xiàn)為大量的小波分解系數(shù)，這些系數(shù)包含了系統(tǒng)或信號(hào)本身大量和多樣的特征信息。 手寫體 數(shù) 字的識(shí)別中，常用的特征有結(jié)構(gòu)特征和統(tǒng)計(jì)特征。而且，對(duì)給定的訓(xùn)練樣本進(jìn)行特征提取可以獲得更精確的分類函數(shù)的描述，以構(gòu)造更可靠的分類規(guī)則。 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第三章 特征提取 10 第三章 特征提取 特征提取的概述 模式識(shí)別使用特征來區(qū)分不同的種類。 第二、要細(xì)化為單線，即筆畫寬度為一個(gè)像素。直觀來說，細(xì)化就是將二值化字符點(diǎn)陣逐層剝?nèi)ポ喞系狞c(diǎn)，變成筆畫寬度只有一個(gè)像素寬度的字符骨架圖形。 M(n,m)=(ans(i,j)+ans(i,j+1)+ans(i,j1)+ans(i1,j))/4。 % r 是原圖像的高度， c 是寬度 for i=2:(r1) for j=2:(c1) n=i/(r/14)。 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第二章 手寫數(shù)字識(shí)別 8 歸一化算法程序代碼如下： ans=imread(39。這一算法的缺點(diǎn)是只能將原始圖像的高度和寬度同時(shí)變化相同的比例，如果我們希望將原始圖像變成 10 1 4 像素的圖像，該算法就無法解決了。我們希望書寫時(shí)盡量不限制圖像的大小，然后通過計(jì)算統(tǒng)一尺寸，使之具有同一高度，同一寬度 ，稱之為歸一化 [10]?；谧址R(shí)別掃描得到的圖像目標(biāo)與背景的灰度級(jí)有明顯的差別，字符圖像的二值化可采用整體閾值法中的雙峰法，該方法簡單易行，針對(duì)目標(biāo)與背景的灰度級(jí)有明顯差別的圖 像，其灰度直方圖的分布呈雙峰狀，兩個(gè)波峰分別與圖像中的目標(biāo)和背景相對(duì)應(yīng)，波谷與圖像邊緣相對(duì)，應(yīng)當(dāng)在分割閾值位于谷底時(shí)，圖像分割可取得最好的效果。圖像二值化的關(guān)鍵在于閾值的選擇。 X3(i,j)=Xtemp。 以下為采用中值濾波對(duì)圖像進(jìn)行平滑處理的部分代碼 [9]： for i=2:175。本章中將分別對(duì)平滑去噪、二值化、歸一化和細(xì)化分小節(jié)討論。 手寫體數(shù)字圖像預(yù)處理的過程，就一般情況而言，主要經(jīng)過如圖 所示的幾個(gè)步驟。 圖 各種各樣的手寫體數(shù)字 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第二章 手寫數(shù)字識(shí)別 5 圖像預(yù)處理概述 預(yù)處理 [6]是字符識(shí)別重要的一環(huán) , 它把原始的圖像轉(zhuǎn)換成識(shí)別器所能接受的二進(jìn)制形式。一般人寫字時(shí)都不會(huì)一筆一劃的書寫，為了節(jié)省時(shí)間，連筆字是自然而然的事情，對(duì)于結(jié)構(gòu)識(shí)別而言，連筆一方面使筆劃種類大大增加，甚至達(dá)到難以歸納的程度；另一方面，連筆又使得筆段抽 取難度大增，因?yàn)檫B筆會(huì)增加一些冗余筆段，連筆造成的畸變又會(huì)使筆段方向嚴(yán)重離散。具體地說有兩個(gè)：一是 0～ 9 十個(gè)數(shù)字中，其中的一些數(shù)字字形相差不大，使得準(zhǔn)確區(qū)分某些數(shù)字相當(dāng)困難 。 數(shù)字的類別雖然只有十種，筆劃又簡單，其識(shí)別問題表面上是一個(gè)較簡單的分類問題。實(shí)驗(yàn)表明，該方法可以獲得較好的識(shí)別率。已涌現(xiàn)出許多不同類型的 ANN 及相應(yīng)的學(xué)習(xí)算法，其中 BP（或EBPError Back Propagation）網(wǎng)絡(luò)及學(xué)習(xí)算法得到了廣泛關(guān)注和研究，并在數(shù)字識(shí)別方面取得了許多有意義的應(yīng)用成果。 字符識(shí)別長期以來都是采用傳統(tǒng)的識(shí)別方法，對(duì)印刷體字符的識(shí)別率一般只是穩(wěn)定在 96％左右，不能進(jìn)一步提高；而對(duì)手寫體字符的識(shí)別，其研究還處于探索階段，其識(shí)別率還相當(dāng)?shù)停虼?，為了提高識(shí)別率，就必須尋求新的方法和途徑。人工神經(jīng)網(wǎng)絡(luò)為手寫體數(shù) 字識(shí)別提供了新的手段。解決這些問題的關(guān)鍵是需要進(jìn)行復(fù)雜而龐大的實(shí)時(shí)數(shù)據(jù)處理，而現(xiàn)有計(jì)算機(jī)的存貯容量及計(jì)算復(fù)雜性的局限，使得真正實(shí)時(shí)化的應(yīng)用受阻。第二，在數(shù)字的許多應(yīng)用場合，如報(bào)表、賬單、支票等，手寫體還難以被印刷體所替代，而且對(duì)識(shí)別的可靠性要求極高。八十年代后的研究重心轉(zhuǎn)移到脫機(jī)手寫 字 符 的識(shí)別上。印刷體識(shí)別的錯(cuò)誤絕大多數(shù)都是錯(cuò)誤的分割引起的 [3]。通過使用這類采集設(shè)備， OCR 系統(tǒng)將書寫者 已經(jīng)寫好的文字作為圖像輸入到計(jì)算機(jī)中，然后由計(jì)算機(jī)去識(shí)別。但聯(lián)機(jī)字符識(shí)別有一個(gè)重要的不足就是要求輸入者必須在指定的設(shè)備上書寫，然