【正文】 而人們在生活中大部分的書寫情況是不滿足這一要求的，比如人們填寫各種表格資料，開具支票等。一方面是由于問題本身的難度使之成為一個極具挑戰(zhàn)性的課題；另一方面，是因為字符識別不是一項孤立的應(yīng)用技術(shù)，其中包含的模式識別領(lǐng)域中其他分支都會遇到的一些基本和共性的問題。 good tolerance for error, strong sorting ability, strong parallel handling ability and strong selflearning ability as well as its offline training and online recognizing. All these merits contribute its perfect performance in handling vast data set and handling in timely manner. It’s difficult to make accurate mathematics model for handwritten numeral recognition, so BP neural works is used here. The key steps of neural works pattern recognition are preprocessing and feature subset selection. In this paper, algorithm of feature subset selection basing on structural characteristics and statistical characteristics has been adopted in handwritten numeral recognition, and the process of feature subset selection had been realized in program. Recognition system in this paper has achieved a good rate of recognition in random handwritten numeral by test. Keyword: handwritten numeral recognition, feature extraction, artificial neural work, MATLAB 基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 第一章 緒論 1 第一章 緒 論 手寫體數(shù)字識別研究的發(fā)展及研究現(xiàn)狀 模式識別 [2]是六十年代初迅速發(fā)展起來的一門學(xué)科。神經(jīng)網(wǎng)絡(luò)模式識別的一個關(guān)鍵步驟是預(yù)處理和特征提取，對于手寫體數(shù)字識別，本文采用了一種基于 結(jié)構(gòu)特征和統(tǒng)計 特征 的 提取方法，并用程序?qū)崿F(xiàn)了這一特征提取過程。因此， 對數(shù) 字識別的研究具有理論和應(yīng)用的雙重意義。 人工神經(jīng)網(wǎng)絡(luò)識別方法是近年該研究領(lǐng)域的一種新方法，該方法具有一些傳統(tǒng)技術(shù)所沒有的優(yōu)點：良好的容錯能力、分類能力強、并行處理 和自學(xué)習(xí)能力，并且是離線訓(xùn)練和在線識別 的 。 通過測試，本識別系統(tǒng)對于較規(guī)范的手寫體數(shù)字的識別達到了很好的識別效果。由于它研究的是如何用機器來實現(xiàn)人 (及某些動物 )對事物的學(xué)習(xí)、識別和判斷能力，因而受到了很多科技領(lǐng)域研究人員的注意，成為人工智能研究的一個重要方面。從 50 年代開始，許多的研究者就在這一研究領(lǐng)域開展了廣泛的探索并為模式識別的發(fā)展產(chǎn)生了積極的影響。如果需要計算機去認(rèn)識這些已經(jīng)成為文字的東西，就需要 OCR 技術(shù)。由于 OCR 的輸入只是簡單的一副圖像，它就不能像聯(lián)機輸入那樣比較容易的從物理上獲得字符筆劃的順序信息，因此 OCR 是一個更具挑戰(zhàn)性的問題。對于手寫體 OCR，無論是聯(lián)機還是脫機識別，手寫體的識別都要經(jīng)歷由限制性手寫體識別到非限制性手寫體識別兩個階段 。對于小類別數(shù)的字符集如數(shù)字、基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別系統(tǒng)的設(shè)計與實現(xiàn) 第一章 緒論 2 字母的識別，已經(jīng)可以做到對書寫不加任何的限制。三，由于類別數(shù)少，所以模式識別中的許多方法研究均可以以數(shù)字識別作為實驗背景。這種面向?qū)崟r應(yīng)用的模式識別問題促使人們開始將并行處理的神經(jīng)網(wǎng)絡(luò) [4]應(yīng)用到模式識別，而神經(jīng)網(wǎng)絡(luò)模式識別技術(shù)又將模式識別實時應(yīng)用推進了一大步，手寫體 數(shù) 字識別就是這種應(yīng)用的一個很重要的領(lǐng)域。正是神經(jīng)網(wǎng)絡(luò)所具有的這種自組織自學(xué)習(xí)能力、推廣能力、非線性和運算高度并行的能力使得模式識別成為目前神經(jīng)網(wǎng)絡(luò)最為成功的應(yīng)用領(lǐng)域 。 進入九十年代以來，人工神經(jīng)網(wǎng)絡(luò)（ ANN）技術(shù)發(fā)展十分迅速，它具有模擬人類部分形象思維的能力，是一種模仿人腦學(xué)習(xí)、記憶、推理等認(rèn)知功 能的新方法。 論文 結(jié)構(gòu)簡介 本畢業(yè)設(shè)計主要解決以圖像形式存在的手寫體數(shù)字識別的問題。 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計與實現(xiàn) 第二章 手寫數(shù)字識別 4 第二章 手寫體數(shù)字識別 手寫體數(shù)字識別的一般方法及難點 字符識別問題的研究已有幾十年的歷史了，但時至今日，字符識別的研究成果遠未達到人們所期望的，這其中有理論研究和技術(shù)實現(xiàn)等多方面因素 . 在理論方面，我們對人類的視覺認(rèn)知機理的研究還只是初步 的，遠未達到深入和透徹的水平。但實際上，雖然各種新的識別算法不斷的推出。二是數(shù)字雖然只有十種，但同一數(shù)字寫法千差萬別?？傊?，連筆不論對于基于哪種基元的結(jié)構(gòu)識別都是嚴(yán)峻的挑戰(zhàn)。 要識別手寫體數(shù)字首先要對其字符圖像進行預(yù)處理。不同的識別方法對預(yù)處理的項目和要求有所不同。 圖 圖像預(yù)處理的基本流程 圖像預(yù)處理 的處理步驟 圖像的平滑去噪 手寫體 數(shù) 字由于其隨機性大，斷筆，連筆、飛白狀況時常發(fā)生，為了減少灰度圖像的一些不該出現(xiàn)的黑白噪聲，可以采用圖像的平滑去噪技術(shù)。 for j=2:259 Xtemp=0。 end end 二值化 處理 圖像的二值化就是把圖像中的像素根據(jù)一定的標(biāo)準(zhǔn)劃分成兩種顏色。圖像的二值化有很多成熟的算法 , 有整體閾值二值化法、局部閾值二值化法、動態(tài)閾值二值化法等。 下面給出我在設(shè)計過程中二值化以后的效果圖如圖 。 在數(shù)字圖像處理中有一些比較成熟的縮放圖像的算法，例如 MATLAB 使用 imresize 函數(shù)來改變圖像的大小。顯然這種算法不適合解決我們面 臨的問題。39。 n=ceil(n)。 N(n,m)=floor(M(n,m))。之所以需要細(xì)化處理，是因為二值化點陣圖形中，對識別有價值基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計與實現(xiàn) 第二章 手寫數(shù)字識別 9 的文字特征信息主要集中在字符骨架上，細(xì)化后的字符骨架既保留了原字符的絕大部分的特征，又利于特征提取。 第三、細(xì)化后的骨架應(yīng)盡量是原來筆畫的中心線。因此，特征提取是模式識別系統(tǒng)的關(guān)鍵部分。 同樣對于手寫 體數(shù) 字的識別，特征提取可以降低字符信息 量、去除無用的冗余信息， 提高識別系統(tǒng)效率，一直是字符識別領(lǐng)域 中的關(guān)鍵點。結(jié)構(gòu)特征和統(tǒng)計特征各有其優(yōu)點：結(jié)構(gòu)特征能描述字符的結(jié)構(gòu)，對于不同人書寫的字符，形體不同，但結(jié)構(gòu)都是一致的，所以結(jié)構(gòu)特征能克服手寫字體因人而引起的畸變；統(tǒng)計特征最大的優(yōu)點是對環(huán)境噪音不敏感，如若字符的背景噪音通常都是呈高斯分布，用統(tǒng)計特征進 行識別可對此影響忽略不計。如果圖像信號的主要信息能以一個或一組特征量來表征，我們就可以更加直觀、有效和方便地對各種隨機信號進行信息提取、信號檢測、特征識別。統(tǒng)計特征對微小的畸變不敏感，但區(qū)分相似的能力較差。輸入圖像 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計與實現(xiàn) 第三章 特征提取 11 [c,s]=wavedec2(h,3,39。顯示小波分解后各子圖 y=wavecopy(39。字符由各個子部件構(gòu)成，逐級分析字符圖像的結(jié)構(gòu)，根據(jù)各元素的屬性、數(shù)量及其相互關(guān)系，便可判定待識字符。 圖 圖像分割 對圖像分割后，結(jié)構(gòu)特征提取的算法如下： (1)對細(xì)化后的數(shù)字圖像取豎直的三條直線 ,分別取在 5/12,1/2,7/12處 ,記下這三條豎直直線與數(shù)字筆段的交點數(shù)。數(shù)字端點如圖 。 圖 規(guī)范手寫體數(shù)字形態(tài) 以下為規(guī)范手寫體數(shù)字形態(tài)的特征向量： DATA01＝ [2,2,2,2,2,2,2,2,0]； DATA11＝ [1,0,0,1,1,1,1,1,2]； DATA21＝ [3,3,3,1,1,1,1,1,3]； 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計與實現(xiàn) 第三章 特征提取 13 DATA31＝ [3,2,3,1,1,1,2,2,3]； DATA41＝ [1,1,1,2,2,1,3,2,4]； DATA51＝ [3,3,3,1,1,1,2,2,4]； DATA61＝ [3,3,2,1,1,2,3,2,1]； DATA71＝ [2,2,2,1,1,1,1,1,2]； DATA81＝ [4,4,4,2,2,2,2,2,0]； DATA91＝ [3,3,3,1,2,1,3,1,1]。 最后得到的知識庫由上述兩套模板所組成。 神經(jīng)網(wǎng)絡(luò)概述 人工神經(jīng)元網(wǎng)絡(luò)是生理學(xué)上的真實人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能，以及若干基本特性的某種理論抽象、簡化和模擬而構(gòu)成的一種信息處理系統(tǒng)。顯然，神經(jīng)元是信息處理系統(tǒng)的最小單元。 所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)做出 錯誤的 判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得 網(wǎng)絡(luò)減少下次犯同樣錯誤的可能性。 如果輸出為“ 0” (即 為 結(jié)果錯誤 )，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入 加權(quán)值 的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“ A”模式輸入時，減 小犯同樣錯誤的可能性。一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個數(shù)越多，則它能記憶、識別的模式也就越多。因此，可以認(rèn)為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的本質(zhì)特征在于神經(jīng)細(xì)胞特殊的突觸結(jié)構(gòu)所具有的可塑性連接，而如何調(diào)整連接權(quán)重就構(gòu)成了不同的學(xué)習(xí)算法。在訓(xùn)練過程中又需教師的監(jiān)督，故這種有教師的學(xué)習(xí)又稱為監(jiān)督式學(xué)習(xí)。無教師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集中，只有輸入而沒有目標(biāo)輸出，訓(xùn)練過程神經(jīng)網(wǎng)絡(luò)自動地將各輸入數(shù)據(jù)的特征提取出來，并將其分成基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計與實現(xiàn) 第四章 神經(jīng)網(wǎng)絡(luò)在數(shù)字識別中的應(yīng)用 16 若干 類。學(xué)習(xí)系統(tǒng)通過強化那些受獎的動作來改善自身的性能。 神經(jīng)網(wǎng)絡(luò)以其快速的并行處理能力和其強有力的學(xué)習(xí)能力而獲得越來越廣泛的重視，其中應(yīng)用最多的是 BP 神經(jīng)網(wǎng)絡(luò)。 BP 算法是一種有監(jiān)督式的學(xué)習(xí)算法。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將 誤差 信號 沿著原來的連接通路反傳回來，通過修改各層神經(jīng)元的權(quán)值使得誤差減小，直至達到期望目標(biāo)。 隱含層 對于節(jié)點 j，其輸入值 j 為其前一層各節(jié)點輸出值 i? 的加權(quán)和： ? ?? i ijj iOWne t () 輸出值 )( isi fO ? () 式中 ()sf 稱為激勵函數(shù)或者作用函數(shù)。 輸出層 輸出層的輸入 k 與輸出 kO 與隱含 層類似，分別為： ??i ikik OW () )( kxk fO ? () 反向傳播過程 BP 學(xué)習(xí)算法的誤差函數(shù)一般定義為實際輸出與期望輸出的均方誤差和。 從 ()式可推出下列連接權(quán)值的修正量公式 jkkj OW ??? () 對于輸出節(jié)點： 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計與實現(xiàn) 第四章 神經(jīng)網(wǎng)絡(luò)在數(shù)字識別中的應(yīng)用 18 )1()( kkkkk OOOt ???? () 對于隱節(jié)點： ??? k kjkjjj WOO ?? )1( () BP 網(wǎng)絡(luò)的設(shè)計 BP 網(wǎng)絡(luò)的設(shè)計主要包括輸入層 ,隱層 ,輸出層及各層之間的傳輸函數(shù)幾個方面。 圖 newff函數(shù)建立一個新的 BP神經(jīng)網(wǎng)絡(luò) 網(wǎng)絡(luò)數(shù)據(jù)的預(yù)處理 [17] 預(yù)處理方法有歸一化處理、標(biāo)準(zhǔn)化處理和主成分分析。 為輸入節(jié)點數(shù) 。 傳輸函數(shù) 基于 神經(jīng)網(wǎng)絡(luò)的手