【正文】 函數(shù)常采用S(sigmoid),還可能采用純線性(Pureline)函數(shù)。a為1～10之間的常數(shù)。 為輸入節(jié)點數(shù)。輸出層的節(jié)點數(shù)輸出層節(jié)點數(shù)取決于兩個方面,輸出數(shù)據(jù)類型和表示該類型所需要的數(shù)據(jù)大小。網(wǎng)絡數(shù)據(jù)的預處理[17]預處理方法有歸一化處理、標準化處理和主成分分析。對多層BP神經(jīng)網(wǎng)絡，隱層層數(shù)至少為1層或1層以上，每個隱層的神經(jīng)元個數(shù)至少為1個或1個以上，否則與多層網(wǎng)絡的命題矛盾而不成立。從()式可推出下列連接權值的修正量公式 ()對于輸出節(jié)點： ()對于隱節(jié)點： () BP網(wǎng)絡的設計BP網(wǎng)絡的設計主要包括輸入層,隱層,輸出層及各層之間的傳輸函數(shù)幾個方面。設網(wǎng)絡輸入模式樣本為，期望輸出為 ，均方誤差函數(shù)為： ()而對于所有的學習樣本，系統(tǒng)的均方誤差為： ()為了達到學習目的，要根據(jù)誤差函數(shù)來相應地調(diào)整網(wǎng)絡間的連接權值。輸出層輸出層的輸入與輸出與隱含層類似，分別為： () () 反向傳播過程BP學習算法的誤差函數(shù)一般定義為實際輸出與期望輸出的均方誤差和。隱含層可為一層或者多層，但是隨著隱含層的增多，網(wǎng)格的復雜程度也隨之增加，學習速度減慢，另外網(wǎng)絡的推導能力也有可能下降，即所謂的“over fitting”現(xiàn)象。隱含層對于節(jié)點j，其輸入值為其前一層各節(jié)點輸出值的加權和： ()輸出值 ()式中稱為激勵函數(shù)或者作用函數(shù)。它又分為正向和反向傳播兩種，以下對各層進行詳細介紹。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網(wǎng)絡將誤差信號沿著原來的連接通路反傳回來，通過修改各層神經(jīng)元的權值使得誤差減小，直至達到期望目標。BP 算法由兩部分組成：信息的正向傳遞與誤差的反向傳播。BP算法是一種有監(jiān)督式的學習算法。這種學習算法在模式識別領域中，尤其在字符識別的研究中被廣泛使用。神經(jīng)網(wǎng)絡以其快速的并行處理能力和其強有力的學習能力而獲得越來越廣泛的重視，其中應用最多的是BP神經(jīng)網(wǎng)絡。如：數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)挖掘、產(chǎn)品的自動分撿系統(tǒng)的圖像識別等。學習系統(tǒng)通過強化那些受獎的動作來改善自身的性能。顯然，無教師的訓練方式可使網(wǎng)絡具有自組織和自學習的功能。無教師學習的訓練數(shù)據(jù)集中，只有輸入而沒有目標輸出，訓練過程神經(jīng)網(wǎng)絡自動地將各輸入數(shù)據(jù)的特征提取出來，并將其分成若干類。為了適應環(huán)境變化就要重新調(diào)整加權值，這樣，當學習到新知識的同時，也容易忘掉已學過的舊知識，這一些是有教師學習方法的缺點。在訓練過程中又需教師的監(jiān)督，故這種有教師的學習又稱為監(jiān)督式學習。在一般情況下，性能的改善是按某種預定的度量通過調(diào)節(jié)自身參數(shù)（如權值）隨時間逐步達到的。因此，可以認為神經(jīng)網(wǎng)絡學習的本質(zhì)特征在于神經(jīng)細胞特殊的突觸結構所具有的可塑性連接，而如何調(diào)整連接權重就構成了不同的學習算法。軸突分裂上千條分支，在每條分支末端，通過突觸的結構把來自軸突的電活性變?yōu)殡娮饔茫瑥亩古c之相連的各種神經(jīng)元的活性受到抑制或興奮。一般說來，網(wǎng)絡中所含的神經(jīng)元個數(shù)越多，則它能記憶、識別的模式也就越多。這說明網(wǎng)絡對這兩個模式的學習已經(jīng)獲得了成功，它已將這兩個模式分布地記憶在網(wǎng)絡的各個連接權值上。 如果輸出為“0”(即為結果錯誤)，則把網(wǎng)絡連接權值朝著減小綜合輸入加權值的方向調(diào)整，其目的在于使網(wǎng)絡下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。在此情況下，網(wǎng)絡輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。 所以網(wǎng)絡學習的準則應該是：如果網(wǎng)絡做出錯誤的判決，則通過網(wǎng)絡的學習，應使得網(wǎng)絡減少下次犯同樣錯誤的可能性。人工神經(jīng)網(wǎng)絡首先要以一定的學習準則進行學習，然后才能工作。顯然，神經(jīng)元是信息處理系統(tǒng)的最小單元。由于神經(jīng)元之間有著不同的連接方式，所以組成不同結構形態(tài)的神經(jīng)網(wǎng)絡[14]系統(tǒng)是可能的。人工神經(jīng)元網(wǎng)絡是生理學上的真實人腦神經(jīng)網(wǎng)絡的結構和功能，以及若干基本特性的某種理論抽象、簡化和模擬而構成的一種信息處理系統(tǒng)。每個神經(jīng)元可以看作為一個小的處理單元，這些神經(jīng)元按照某種方式互相連接起來，構成了大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡。最后得到的知識庫由上述兩套模板所組成。由于本系統(tǒng)是對自由手寫體進行識別, 因而要考慮數(shù)字書寫體的多變性。 知識庫的建立由于本文采用的是基于模式知識庫的識別方法，所以對字符的結構特征的分析以及字符模型的構造是一個十分重要的環(huán)節(jié)。對圖像分割后，結構特征提取的算法如下：(1)按從上到下,從左到右的順序掃描預處理后圖像并選擇黑像素點P；(2)計算像素P的8－鄰域之和N；(3)若N=1,則像素P為端點,端點計數(shù)器加一；(4)重復步驟(1)(3),直到遍歷整個圖像。(3)再取對角兩條直線, 分別記下這兩條對角直線與數(shù)字筆段的交點數(shù)。 圖像分割對圖像分割后，結構特征提取的算法如下：(1)對細化后的數(shù)字圖像取豎直的三條直線,分別取在5/12,1/2,7/12處,記下這三條豎直直線與數(shù)字筆段的交點數(shù)。以下詳細介紹。字符由各個子部件構成，逐級分析字符圖像的結構，根據(jù)各元素的屬性、數(shù)量及其相互關系，便可判定待識字符。,c,s)figure,imshow(mat2gray(y))。顯示小波分解后各子圖y=wavecopy(39。)。輸入圖像[c,s]=wavedec2(h,3,39。39。統(tǒng)計特征對微小的畸變不敏感，但區(qū)分相似的能力較差。宏觀特征信息是需要在整幅圖像上獲取的特征信息。如果圖像信號的主要信息能以一個或一組特征量來表征，我們就可以更加直觀、有效和方便地對各種隨機信號進行信息提取、信號檢測、特征識別。 統(tǒng)計特征對復雜圖像信號作小波變換[11]，進行多分辨率分析，已經(jīng)成為圖像信號分析和處理的常用方法。結構特征和統(tǒng)計特征各有其優(yōu)點：結構特征能描述字符的結構，對于不同人書寫的字符，形體不同，但結構都是一致的，所以結構特征能克服手寫字體因人而引起的畸變；統(tǒng)計特征最大的優(yōu)點是對環(huán)境噪音不敏感，如若字符的背景噪音通常都是呈高斯分布，用統(tǒng)計特征進行識別可對此影響忽略不計。無論是識別過程還是學習過程，都要對研究對象固有的、本質(zhì)的重要特征或屬性進行量測并將結果數(shù)值化，形成特征矢量。同樣對于手寫體數(shù)字的識別，特征提取可以降低字符信息量、去除無用的冗余信息，提高識別系統(tǒng)效率，一直是字符識別領域中的關鍵點。通過特征提取，模式分類可以在維數(shù)低得多的空間上進行，從而降低了計算的復雜度。因此，特征提取是模式識別系統(tǒng)的關鍵部分。文中首先對待識別數(shù)字的預處理進行了介紹，包括平滑去噪、二值化、歸一化、細化等圖像處理方法，經(jīng)過這些預處理步驟, 對圖像中部分變形信息進行了修正, 消除圖像中與識別無關的因素, 而且盡量保持原圖像的字符特征, 在實驗中提高了數(shù)字識別網(wǎng)絡的性能。第三、細化后的骨架應盡量是原來筆畫的中心線。手寫體數(shù)字細化的基本要求如下：第一、保持原有字符筆畫的連續(xù)性，不能由于細化造成筆畫斷裂。之所以需要細化處理，是因為二值化點陣圖形中，對識別有價值的文字特征信息主要集中在字符骨架上，細化后的字符骨架既保留了原字符的絕大部分的特征，又利于特征提取。 歸一化處理 細化許多字符識別方法在預處理中都很重視對二值化字符的細化處理。N(n,m)=floor(M(n,m))。m=ceil(m)。n=ceil(n)。 %讀入圖片 ，28 28像素圖像imshow(ans)[r,c]=size(ans)。39。具體算法是：先得到原始圖像的高度和寬度，分別與系統(tǒng)要求得到的高度和寬度作比較，得出要變換的系數(shù)，然后根據(jù)得到的系數(shù)計算每一個原始像素點歸一化后在新圖像中的位置，最后計算新圖像中每個像素點的值，方法是：求出原始像素點及其周圍三個點的像素值的平均值，最后用函數(shù) 取整,調(diào)用格式為 B=floor(A),B 取小于或者等于 A 的整數(shù)。顯然這種算法不適合解決我們面臨的問題。例如 rate= 時，高度和寬度都將縮小一半，原始圖像也就縮小了一半。在數(shù)字圖像處理中有一些比較成熟的縮放圖像的算法，例如 MATLAB 使用 imresize函數(shù)來改變圖像的大小。由于10 14像素圖像（10 是圖像寬度，14 是圖像高度）較小，書寫時難度較大。三類閾值的選擇是一個比較復雜的問題，有的可以由計算機自動選擇，有的需人工干預。圖像的二值化有很多成熟的算法, 有整體閾值二值化法、局部閾值二值化法、動態(tài)閾值二值化法等。對數(shù)字字符圖像二值化后要能真實的再現(xiàn)原數(shù)字, 其基本要求為:筆畫中不出現(xiàn)空白點, 二值化的筆畫基本保持原來文字的結構特征。 endend 二值化處理圖像的二值化就是把圖像中的像素根據(jù)一定的標準劃分成兩種顏色。 end end Xtemp=Xtemp/9。 for j=2:259 Xtemp=0。線性濾波器的設計?；趯Ω盗⑷~變換的分析，如均值濾波器；非線性濾波器則一般直接對鄰域進行操作，如中值濾波器。原始圖像 平滑去噪二值化 歸一化細 化 圖像預處理的基本流程 圖像預處理的處理步驟 圖像的平滑去噪手寫體數(shù)字由于其隨機性大，斷筆，連筆、飛白狀況時常發(fā)生，為了減少灰度圖像的一些不該出現(xiàn)的黑白噪聲，可以采用圖像的平滑去噪技術。有的識別方法對細化要求很高，有的則不需要細化。不同的識別方法對預處理的項目和要求有所不同。這就要求預處理在消除圖像中與識別無關的因素時盡量保持原圖像的字符特征。要識別手寫體數(shù)字首先要對其字符圖像進行預處理?？傊B筆不論對于基于哪種基元的結構識別都是嚴峻的挑戰(zhàn)。筆劃的書寫順序經(jīng)常發(fā)生變化，因此極大地增加了匹配的難度。二是數(shù)字雖然只有十種，但同一數(shù)字寫法千差萬別。手寫阿拉伯數(shù)字具有變形多差異大的特點，字形與書寫人的職業(yè)、文化程度、書寫習慣以及所使用筆墨紙張所處環(huán)境等都有關，所以手寫體數(shù)字變形多、規(guī)律復雜。但實際上，雖然各種新的識別算法不斷的推出。手寫體數(shù)字識別是字符識別的一個分支，問題雖然簡單，但卻有較大的實用價值。42基于神經(jīng)網(wǎng)絡的手寫數(shù)字系統(tǒng)的設計與實現(xiàn) 第二章 手寫數(shù)字識別第二章 手寫體數(shù)字識別字符識別問題的研究已有幾十年的歷史了，但時至今日，字符識別的研究成果遠未達到人們所期望的，這其中有理論研究和技術實現(xiàn)等多方面因素. 在理論方面，我們對人類的視覺認知機理的研究還只是初步的，遠未達到深入和透徹的水平。本文通過圖像預處理和數(shù)字特征提取以后基于神經(jīng)網(wǎng)絡的判別方法，然后結合使用了MATLAB工具箱中提供的人工神經(jīng)網(wǎng)絡函數(shù)設計了一種手寫數(shù)字識別的新方法。 論文結構簡介本畢業(yè)設計主要解決以圖像形式存在的手寫體數(shù)字識別的問題。人工神經(jīng)網(wǎng)絡是由一些類似人腦神經(jīng)元的簡單處理單元相互連接而成的復雜網(wǎng)絡。進入九十年代以來，人工神經(jīng)網(wǎng)絡（ANN）技術發(fā)展十分迅速，它具有模擬人類部分形象思維的能力，是一種模仿人腦學習、記憶、推理等認知功能的新方法。但是自由手寫體數(shù)字的識別工作目前并不成熟，仍舊是文字識別中最有挑戰(zhàn)性的課題之一。正是神經(jīng)網(wǎng)絡所具有的這種自組織自學習能力、推廣能力、非線性和運算高度并行的能力使得模式識別成為目前神經(jīng)網(wǎng)絡最為成功的應用領域。目前國際上有相當多的學者在研究這一課題，它包括了模式識別領域中所有典型的問題:數(shù)據(jù)的采集、處理及選擇、輸入樣本表達的選擇、模式識別分類器的選擇以及用樣本集對識別器的有指導的訓練。這種面向實時應用的模式識別問題促使人們開始將并行處理的神經(jīng)網(wǎng)絡[4]應用到模式識別，而神經(jīng)網(wǎng)絡模式識別技術又將模式識別實時應用推進了一大步，手寫體數(shù)字識別就是這種應用的一個很重要的領域。目前，隨著計算機的迅速發(fā)展，性能價格比的不斷提高，模式識別技術已經(jīng)從理論探討為主發(fā)展到大量的實際應用，人們將更多的注意力開始轉向那些用于語音、圖像、機器人以及人工智能等的模式識別實際問題。三，由于類別數(shù)少，所以模式識別中的許多方法研究均可以以數(shù)字識別作為實驗背景。這事因為，第一，十個阿拉伯數(shù)字是全世界的一套通用字符。對于小類別數(shù)的字符集如數(shù)字、字母的識別，已經(jīng)可以做到對書寫不加任何的限制。脫機字符識別的研究最早始于上個世紀六十年代，是為了應付漢英翻譯的需要。對于手寫體OCR，無論是聯(lián)機還是脫機識別，手寫體的識別都要經(jīng)歷由限制性手寫體識別到非限制性手寫體識別兩個階段。印刷體字符比手寫體字符少了隨機性，它的識別相對容易些，難點已經(jīng)不在識別環(huán)節(jié)，而在于字符的分割上。由于OCR的輸入只是簡單的一副圖像，它就不能像聯(lián)機輸入那樣比較容易的從物理上獲得字符筆劃的順序信息，因此OCR是一個更具挑戰(zhàn)性的問題。OCR所使用的輸入設備可以是任何一種圖像采集設備，如掃描儀、數(shù)字相機等。如果需要計算機去認識這些已經(jīng)成為文字的東西，就需要OCR技術。在聯(lián)機手寫字符識別中，計算機能夠通過與計算機相連的手寫輸入設備獲得輸入字符筆劃的順序、筆劃的方向以及字符的形狀，所以相對OCR來說它更容易識別一