【正文】 而人們?cè)谏钪写蟛糠值臅鴮懬闆r是不滿足這一要求的，比如人們填寫各種表格資料，開具支票等。一方面是由于問題本身的難度使之成為一個(gè)極具挑戰(zhàn)性的課題；另一方面，是因?yàn)樽址R(shí)別不是一項(xiàng)孤立的應(yīng)用技術(shù)，其中包含的模式識(shí)別領(lǐng)域中其他分支都會(huì)遇到的一些基本和共性的問題。 good tolerance for error, strong sorting ability, strong parallel handling ability and strong selflearning ability as well as its offline training and online recognizing. All these merits contribute its perfect performance in handling vast data set and handling in timely manner. It’s difficult to make accurate mathematics model for handwritten numeral recognition, so BP neural works is used here. The key steps of neural works pattern recognition are preprocessing and feature subset selection. In this paper, algorithm of feature subset selection basing on structural characteristics and statistical characteristics has been adopted in handwritten numeral recognition, and the process of feature subset selection had been realized in program. Recognition system in this paper has achieved a good rate of recognition in random handwritten numeral by test. Keyword: handwritten numeral recognition, feature extraction, artificial neural work, MATLAB 基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第一章 緒論 1 第一章 緒 論 手寫體數(shù)字識(shí)別研究的發(fā)展及研究現(xiàn)狀 模式識(shí)別 [2]是六十年代初迅速發(fā)展起來的一門學(xué)科。神經(jīng)網(wǎng)絡(luò)模式識(shí)別的一個(gè)關(guān)鍵步驟是預(yù)處理和特征提取，對(duì)于手寫體數(shù)字識(shí)別，本文采用了一種基于 結(jié)構(gòu)特征和統(tǒng)計(jì) 特征 的 提取方法，并用程序?qū)崿F(xiàn)了這一特征提取過程。因此， 對(duì)數(shù) 字識(shí)別的研究具有理論和應(yīng)用的雙重意義。 人工神經(jīng)網(wǎng)絡(luò)識(shí)別方法是近年該研究領(lǐng)域的一種新方法，該方法具有一些傳統(tǒng)技術(shù)所沒有的優(yōu)點(diǎn)：良好的容錯(cuò)能力、分類能力強(qiáng)、并行處理 和自學(xué)習(xí)能力，并且是離線訓(xùn)練和在線識(shí)別 的 。 通過測(cè)試，本識(shí)別系統(tǒng)對(duì)于較規(guī)范的手寫體數(shù)字的識(shí)別達(dá)到了很好的識(shí)別效果。由于它研究的是如何用機(jī)器來實(shí)現(xiàn)人 (及某些動(dòng)物 )對(duì)事物的學(xué)習(xí)、識(shí)別和判斷能力，因而受到了很多科技領(lǐng)域研究人員的注意，成為人工智能研究的一個(gè)重要方面。從 50 年代開始，許多的研究者就在這一研究領(lǐng)域開展了廣泛的探索并為模式識(shí)別的發(fā)展產(chǎn)生了積極的影響。如果需要計(jì)算機(jī)去認(rèn)識(shí)這些已經(jīng)成為文字的東西，就需要 OCR 技術(shù)。由于 OCR 的輸入只是簡(jiǎn)單的一副圖像，它就不能像聯(lián)機(jī)輸入那樣比較容易的從物理上獲得字符筆劃的順序信息，因此 OCR 是一個(gè)更具挑戰(zhàn)性的問題。對(duì)于手寫體 OCR，無論是聯(lián)機(jī)還是脫機(jī)識(shí)別，手寫體的識(shí)別都要經(jīng)歷由限制性手寫體識(shí)別到非限制性手寫體識(shí)別兩個(gè)階段 。對(duì)于小類別數(shù)的字符集如數(shù)字、基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第一章 緒論 2 字母的識(shí)別，已經(jīng)可以做到對(duì)書寫不加任何的限制。三，由于類別數(shù)少，所以模式識(shí)別中的許多方法研究均可以以數(shù)字識(shí)別作為實(shí)驗(yàn)背景。這種面向?qū)崟r(shí)應(yīng)用的模式識(shí)別問題促使人們開始將并行處理的神經(jīng)網(wǎng)絡(luò) [4]應(yīng)用到模式識(shí)別，而神經(jīng)網(wǎng)絡(luò)模式識(shí)別技術(shù)又將模式識(shí)別實(shí)時(shí)應(yīng)用推進(jìn)了一大步，手寫體 數(shù) 字識(shí)別就是這種應(yīng)用的一個(gè)很重要的領(lǐng)域。正是神經(jīng)網(wǎng)絡(luò)所具有的這種自組織自學(xué)習(xí)能力、推廣能力、非線性和運(yùn)算高度并行的能力使得模式識(shí)別成為目前神經(jīng)網(wǎng)絡(luò)最為成功的應(yīng)用領(lǐng)域 。 進(jìn)入九十年代以來，人工神經(jīng)網(wǎng)絡(luò)（ ANN）技術(shù)發(fā)展十分迅速，它具有模擬人類部分形象思維的能力，是一種模仿人腦學(xué)習(xí)、記憶、推理等認(rèn)知功 能的新方法。 論文 結(jié)構(gòu)簡(jiǎn)介 本畢業(yè)設(shè)計(jì)主要解決以圖像形式存在的手寫體數(shù)字識(shí)別的問題。 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第二章 手寫數(shù)字識(shí)別 4 第二章 手寫體數(shù)字識(shí)別 手寫體數(shù)字識(shí)別的一般方法及難點(diǎn) 字符識(shí)別問題的研究已有幾十年的歷史了，但時(shí)至今日，字符識(shí)別的研究成果遠(yuǎn)未達(dá)到人們所期望的，這其中有理論研究和技術(shù)實(shí)現(xiàn)等多方面因素 . 在理論方面，我們對(duì)人類的視覺認(rèn)知機(jī)理的研究還只是初步 的，遠(yuǎn)未達(dá)到深入和透徹的水平。但實(shí)際上，雖然各種新的識(shí)別算法不斷的推出。二是數(shù)字雖然只有十種，但同一數(shù)字寫法千差萬別?？傊?，連筆不論對(duì)于基于哪種基元的結(jié)構(gòu)識(shí)別都是嚴(yán)峻的挑戰(zhàn)。 要識(shí)別手寫體數(shù)字首先要對(duì)其字符圖像進(jìn)行預(yù)處理。不同的識(shí)別方法對(duì)預(yù)處理的項(xiàng)目和要求有所不同。 圖 圖像預(yù)處理的基本流程 圖像預(yù)處理 的處理步驟 圖像的平滑去噪 手寫體 數(shù) 字由于其隨機(jī)性大，斷筆，連筆、飛白狀況時(shí)常發(fā)生，為了減少灰度圖像的一些不該出現(xiàn)的黑白噪聲，可以采用圖像的平滑去噪技術(shù)。 for j=2:259 Xtemp=0。 end end 二值化 處理 圖像的二值化就是把圖像中的像素根據(jù)一定的標(biāo)準(zhǔn)劃分成兩種顏色。圖像的二值化有很多成熟的算法 , 有整體閾值二值化法、局部閾值二值化法、動(dòng)態(tài)閾值二值化法等。 下面給出我在設(shè)計(jì)過程中二值化以后的效果圖如圖 。 在數(shù)字圖像處理中有一些比較成熟的縮放圖像的算法，例如 MATLAB 使用 imresize 函數(shù)來改變圖像的大小。顯然這種算法不適合解決我們面 臨的問題。39。 n=ceil(n)。 N(n,m)=floor(M(n,m))。之所以需要細(xì)化處理，是因?yàn)槎祷c(diǎn)陣圖形中，對(duì)識(shí)別有價(jià)值基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第二章 手寫數(shù)字識(shí)別 9 的文字特征信息主要集中在字符骨架上，細(xì)化后的字符骨架既保留了原字符的絕大部分的特征，又利于特征提取。 第三、細(xì)化后的骨架應(yīng)盡量是原來筆畫的中心線。因此，特征提取是模式識(shí)別系統(tǒng)的關(guān)鍵部分。 同樣對(duì)于手寫 體數(shù) 字的識(shí)別，特征提取可以降低字符信息 量、去除無用的冗余信息， 提高識(shí)別系統(tǒng)效率，一直是字符識(shí)別領(lǐng)域 中的關(guān)鍵點(diǎn)。結(jié)構(gòu)特征和統(tǒng)計(jì)特征各有其優(yōu)點(diǎn)：結(jié)構(gòu)特征能描述字符的結(jié)構(gòu)，對(duì)于不同人書寫的字符，形體不同，但結(jié)構(gòu)都是一致的，所以結(jié)構(gòu)特征能克服手寫字體因人而引起的畸變；統(tǒng)計(jì)特征最大的優(yōu)點(diǎn)是對(duì)環(huán)境噪音不敏感，如若字符的背景噪音通常都是呈高斯分布，用統(tǒng)計(jì)特征進(jìn) 行識(shí)別可對(duì)此影響忽略不計(jì)。如果圖像信號(hào)的主要信息能以一個(gè)或一組特征量來表征，我們就可以更加直觀、有效和方便地對(duì)各種隨機(jī)信號(hào)進(jìn)行信息提取、信號(hào)檢測(cè)、特征識(shí)別。統(tǒng)計(jì)特征對(duì)微小的畸變不敏感，但區(qū)分相似的能力較差。輸入圖像 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第三章 特征提取 11 [c,s]=wavedec2(h,3,39。顯示小波分解后各子圖 y=wavecopy(39。字符由各個(gè)子部件構(gòu)成，逐級(jí)分析字符圖像的結(jié)構(gòu)，根據(jù)各元素的屬性、數(shù)量及其相互關(guān)系，便可判定待識(shí)字符。 圖 圖像分割 對(duì)圖像分割后，結(jié)構(gòu)特征提取的算法如下： (1)對(duì)細(xì)化后的數(shù)字圖像取豎直的三條直線 ,分別取在 5/12,1/2,7/12處 ,記下這三條豎直直線與數(shù)字筆段的交點(diǎn)數(shù)。數(shù)字端點(diǎn)如圖 。 圖 規(guī)范手寫體數(shù)字形態(tài) 以下為規(guī)范手寫體數(shù)字形態(tài)的特征向量： DATA01＝ [2,2,2,2,2,2,2,2,0]； DATA11＝ [1,0,0,1,1,1,1,1,2]； DATA21＝ [3,3,3,1,1,1,1,1,3]； 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第三章 特征提取 13 DATA31＝ [3,2,3,1,1,1,2,2,3]； DATA41＝ [1,1,1,2,2,1,3,2,4]； DATA51＝ [3,3,3,1,1,1,2,2,4]； DATA61＝ [3,3,2,1,1,2,3,2,1]； DATA71＝ [2,2,2,1,1,1,1,1,2]； DATA81＝ [4,4,4,2,2,2,2,2,0]； DATA91＝ [3,3,3,1,2,1,3,1,1]。 最后得到的知識(shí)庫由上述兩套模板所組成。 神經(jīng)網(wǎng)絡(luò)概述 人工神經(jīng)元網(wǎng)絡(luò)是生理學(xué)上的真實(shí)人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能，以及若干基本特性的某種理論抽象、簡(jiǎn)化和模擬而構(gòu)成的一種信息處理系統(tǒng)。顯然，神經(jīng)元是信息處理系統(tǒng)的最小單元。 所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)做出 錯(cuò)誤的 判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得 網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。 如果輸出為“ 0” (即 為 結(jié)果錯(cuò)誤 )，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入 加權(quán)值 的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“ A”模式輸入時(shí)，減 小犯同樣錯(cuò)誤的可能性。一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。因此，可以認(rèn)為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的本質(zhì)特征在于神經(jīng)細(xì)胞特殊的突觸結(jié)構(gòu)所具有的可塑性連接，而如何調(diào)整連接權(quán)重就構(gòu)成了不同的學(xué)習(xí)算法。在訓(xùn)練過程中又需教師的監(jiān)督，故這種有教師的學(xué)習(xí)又稱為監(jiān)督式學(xué)習(xí)。無教師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集中，只有輸入而沒有目標(biāo)輸出，訓(xùn)練過程神經(jīng)網(wǎng)絡(luò)自動(dòng)地將各輸入數(shù)據(jù)的特征提取出來，并將其分成基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第四章 神經(jīng)網(wǎng)絡(luò)在數(shù)字識(shí)別中的應(yīng)用 16 若干 類。學(xué)習(xí)系統(tǒng)通過強(qiáng)化那些受獎(jiǎng)的動(dòng)作來改善自身的性能。 神經(jīng)網(wǎng)絡(luò)以其快速的并行處理能力和其強(qiáng)有力的學(xué)習(xí)能力而獲得越來越廣泛的重視，其中應(yīng)用最多的是 BP 神經(jīng)網(wǎng)絡(luò)。 BP 算法是一種有監(jiān)督式的學(xué)習(xí)算法。如果在輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將 誤差 信號(hào) 沿著原來的連接通路反傳回來，通過修改各層神經(jīng)元的權(quán)值使得誤差減小，直至達(dá)到期望目標(biāo)。 隱含層 對(duì)于節(jié)點(diǎn) j，其輸入值 j 為其前一層各節(jié)點(diǎn)輸出值 i? 的加權(quán)和： ? ?? i ijj iOWne t () 輸出值 )( isi fO ? () 式中 ()sf 稱為激勵(lì)函數(shù)或者作用函數(shù)。 輸出層 輸出層的輸入 k 與輸出 kO 與隱含 層類似，分別為： ??i ikik OW () )( kxk fO ? () 反向傳播過程 BP 學(xué)習(xí)算法的誤差函數(shù)一般定義為實(shí)際輸出與期望輸出的均方誤差和。 從 ()式可推出下列連接權(quán)值的修正量公式 jkkj OW ??? () 對(duì)于輸出節(jié)點(diǎn)： 基于 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第四章 神經(jīng)網(wǎng)絡(luò)在數(shù)字識(shí)別中的應(yīng)用 18 )1()( kkkkk OOOt ???? () 對(duì)于隱節(jié)點(diǎn)： ??? k kjkjjj WOO ?? )1( () BP 網(wǎng)絡(luò)的設(shè)計(jì) BP 網(wǎng)絡(luò)的設(shè)計(jì)主要包括輸入層 ,隱層 ,輸出層及各層之間的傳輸函數(shù)幾個(gè)方面。 圖 newff函數(shù)建立一個(gè)新的 BP神經(jīng)網(wǎng)絡(luò) 網(wǎng)絡(luò)數(shù)據(jù)的預(yù)處理 [17] 預(yù)處理方法有歸一化處理、標(biāo)準(zhǔn)化處理和主成分分析。 為輸入節(jié)點(diǎn)數(shù) 。 傳輸函數(shù) 基于 神經(jīng)網(wǎng)絡(luò)的手