【正文】 訓(xùn)練首先要提供訓(xùn)練集合，它由輸入樣本和與之相應(yīng)的代表正確分類的輸出組成，調(diào)整權(quán)值系統(tǒng)，訓(xùn)練集合的每一矢量是否有特定的期望輸出，這是一種有監(jiān)督的學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)應(yīng)用與模式識(shí)別問(wèn)題包括兩個(gè)階段。處理單元的輸出信號(hào)可以使任一種所要求的數(shù)學(xué)模型。每一個(gè)處理單元的都有一個(gè)單輸出到所期望的連接。它是由簡(jiǎn)單信息處理單元（人工神經(jīng)元）互聯(lián)組成的網(wǎng)絡(luò)，能接受處理信息，網(wǎng)絡(luò)的信息處理由處理單元間的互相作用來(lái)實(shí)現(xiàn)，它是通過(guò)把問(wèn)題表達(dá)成處理單元間的連接權(quán)來(lái)處理。其中，80%~90%的人工神經(jīng)網(wǎng)絡(luò)模型采用前饋反向傳播網(wǎng)絡(luò)（BackPropagation Network，簡(jiǎn)稱BP網(wǎng)絡(luò)）。ANN是一種按照人腦的組織和活動(dòng)原來(lái)而構(gòu)造的一種數(shù)據(jù)驅(qū)動(dòng)型非線性映射模型，它具有強(qiáng)大的并行處理、自適應(yīng)自組織、聯(lián)想記憶、容錯(cuò)魯棒以及逼近任意非線性等特性，在預(yù)測(cè)評(píng)估、模式識(shí)別、信號(hào)處理、組合優(yōu)化及知識(shí)工程等領(lǐng)域具有廣泛的應(yīng)用。但是，由于Minsky和Papert指出單層系統(tǒng)的局限性，并表達(dá)了對(duì)多層系統(tǒng)的悲觀看法，在20世紀(jì)70年代，對(duì)ANN的研究興趣減弱。因此這樣將2020的矩陣壓縮到44的矩陣，這樣的矩陣一共4個(gè)，累計(jì)444=64個(gè)特征值。對(duì)于本文的數(shù)字圖像大小為2020的圖像來(lái)說(shuō)，將會(huì)產(chǎn)生一個(gè)2020的矩陣。A0 A1A2A7(i,j)A3A6A5A4 八個(gè)相鄰單元位置示意圖~(i,j)水平邊緣強(qiáng)度H，垂直邊緣強(qiáng)度V，右對(duì)角線邊緣強(qiáng)度R和左對(duì)角線邊緣強(qiáng)度L： （） （） （） （）為了方便計(jì)算機(jī)處理，在上四式對(duì)4個(gè)方向的邊緣強(qiáng)度（水平、垂直、左對(duì)角、右對(duì)角）可以定義4組（8個(gè)）卷積模板運(yùn)算。 全局Kirsh邊緣方向特征本文使用的全局Kirsh邊緣方向特征是基于邊緣強(qiáng)度（又稱梯度）的提取，通過(guò)分區(qū)密度統(tǒng)計(jì)來(lái)得到一組特征向量。上述連通區(qū)域的檢測(cè)，可以采用深度優(yōu)先算法進(jìn)行遍歷完成（具體深度優(yōu)先算法的實(shí)現(xiàn)可以參考相關(guān)資料，本文不做詳細(xì)描述）。環(huán)的識(shí)別很簡(jiǎn)單，如果字符的四連通區(qū)域都是8并且周圍是被0包圍的話，那么認(rèn)為該區(qū)域是一個(gè)環(huán)。Step2：提取環(huán)凸凹特性。該方法的步驟如下：Step1：計(jì)算賦值背景。本文提出將提取的數(shù)字圖像中環(huán)個(gè)數(shù)和凸凹區(qū)域的個(gè)數(shù)作為描述字符的特性的一個(gè)特征值，由于神經(jīng)網(wǎng)絡(luò)具有一定的抽象能力，即使由于少數(shù)字符因斷筆等造成環(huán)凸凹不準(zhǔn)確，但其能更具其他特征值進(jìn)行整體分析，具有一定的容忍能力，因此有效的解決斷筆可能導(dǎo)致環(huán)凸凹特性不準(zhǔn)確的問(wèn)題。 字符3的水平和垂直投影 環(huán)凸凹特征環(huán)凸凹特征夠準(zhǔn)確描述字符的大體輪廓信息，例如對(duì)與數(shù)字1，無(wú)論何種寫法，其不會(huì)包含環(huán)形，而對(duì)于數(shù)字0，6，8，9則應(yīng)該存在環(huán)形。因此本文采用水平、垂直投影特征作為特征值。該圖顯示了字符3的水平投影和垂直投影，通過(guò)該投影我們可以看出對(duì)于數(shù)字3的水平投影有其特有的波形形狀。 水平、垂直投影特征投影密度常用來(lái)描述字符筆劃的寬度，同時(shí)它也可以反映字符一定程度上的筆劃結(jié)構(gòu)信息。也就是說(shuō)，這個(gè)相對(duì)值對(duì)與數(shù)字圖片局部筆劃的形變或弧的噪聲點(diǎn)帶來(lái)的影響不敏感。本文對(duì)原始圖像進(jìn)行歸一化處理后的圖像是2020的點(diǎn)陣，將之劃分為大小55的小區(qū)域，共計(jì)16個(gè)，因此得出一個(gè)十六維的粗網(wǎng)格特征。由于10個(gè)字符的筆劃具有比較固定的總體分布狀況，從特征選擇的質(zhì)量來(lái)講，不同數(shù)字的特征向量在特征空間中的分布是比較分散的，即特征空間中不同類的類間距離是比較大的。 粗網(wǎng)格特征粗網(wǎng)格特征是一組注重字符圖像的整體的分布特征，此種特征對(duì)噪聲具有極強(qiáng)的抑制能力。那么下面定義重心矩如下： （）其中i=1,2；j=1,2。 重心矩特征由于不同字符的筆劃不同，其像素點(diǎn)的分布不同，所造成不同字符的四個(gè)象限中四個(gè)不同區(qū)域的重心位置與字符重心位置的距離不同（由于在圖像預(yù)處理中，圖像的重心已經(jīng)和中心對(duì)齊了）。統(tǒng)計(jì)特征對(duì)微小的畸變不敏感，但區(qū)分相似的能力較差。傳統(tǒng)的全局特征主要包括：全局變換特征、不變矩特征、全局筆劃方向特征等。 投影特征示意圖之所以選用投影特征作為手寫體數(shù)字識(shí)別的特征，主要是因?yàn)橥队疤卣饔?jì)算簡(jiǎn)單，能夠反應(yīng)字符的內(nèi)部結(jié)構(gòu)和筆劃的分布情況，唯一性好，可區(qū)別性好，是比較有代表性的特征，不同數(shù)字之間的12個(gè)投影特征的各個(gè)分量差異比較明顯，可以考慮作為分類的細(xì)特征。 投影特征，將一個(gè)字符點(diǎn)陣劃分為四個(gè)象限區(qū)域，共有十二個(gè)邊線。但是，當(dāng)書寫風(fēng)格引起統(tǒng)一字符的之心位置不同時(shí)，該方法提取的特征準(zhǔn)確性差。該算法由于涉及字符拓?fù)浣Y(jié)構(gòu)方面的信息，所以對(duì)字符旋轉(zhuǎn)縮放和變形有較強(qiáng)的容忍度。 數(shù)字8細(xì)化圖像上檢測(cè)到的特殊點(diǎn)的示意圖 穿越密度特征穿越密度（次數(shù)）特征已被廣泛的應(yīng)用于字符識(shí)別的研究中。該方法的基本思想是：先按一定順序掃描細(xì)化圖像中的每一個(gè)點(diǎn)，若某點(diǎn)的鏈碼方向從水平（垂直）方向變換為垂直（水平）方向，則認(rèn)為該點(diǎn)位拐點(diǎn)。但是，由于上述方法在閾值的選擇上需要依靠經(jīng)驗(yàn)設(shè)定，對(duì)于不同大小規(guī)范化的樣本，都需要重新確定一次閾值。而對(duì)于拐點(diǎn)，文獻(xiàn)[20]提出了一種確定拐點(diǎn)的方法，就圖像骨架取相鄰7點(diǎn)，以中心為考察點(diǎn)，分別用反正切公式計(jì)算前四點(diǎn)和后四點(diǎn)的近似直線的角度，考察這兩個(gè)直線的夾角θ是否大于所設(shè)定的閾值T來(lái)判定中間點(diǎn)是否為拐點(diǎn)。上面敘述的是一個(gè)通俗易懂的方法，其可以做進(jìn)一步優(yōu)化。Step2：從上到下從左到右依次掃描，如果該點(diǎn)不是三叉點(diǎn)的話，不做任何處理，否則的話，則檢測(cè)該像素點(diǎn)鄰域的8個(gè)點(diǎn)中是否有四叉點(diǎn)，如果有四叉點(diǎn)，則該點(diǎn)標(biāo)記為非特殊點(diǎn)。然而從直觀上看，該灰色像素的三叉點(diǎn)應(yīng)該不能計(jì)算在內(nèi)（否則的話字符圖像8就多了一個(gè)三叉點(diǎn)），應(yīng)該屬于“重復(fù)”檢測(cè)。然而上述方法對(duì)某些三叉點(diǎn)和四叉點(diǎn)的檢測(cè)并不是很準(zhǔn)確，該像素連接著上、下、左三個(gè)方向的“骨架”，如果去除該像素的話，原細(xì)化圖像將產(chǎn)生斷開(kāi)現(xiàn)象，因此該像素點(diǎn)是不可缺少的。如果d=3，則p為三叉點(diǎn)。拐點(diǎn)是筆劃書寫方向上有顯著變化的點(diǎn)。 結(jié)構(gòu)點(diǎn)特征目前，在手寫體字符識(shí)別的特征提取中，結(jié)構(gòu)點(diǎn)特征占了很重要的一部分。與統(tǒng)計(jì)方法相比，結(jié)構(gòu)分析不注重特征的絕對(duì)位置，只考慮特征的相對(duì)關(guān)系，因而對(duì)書寫風(fēng)格的變化不敏感，其缺點(diǎn)在于特征提取的算法都相對(duì)復(fù)雜。 手寫體數(shù)字識(shí)別中的結(jié)構(gòu)特征提取采用結(jié)構(gòu)特征對(duì)字符進(jìn)行結(jié)構(gòu)分析以達(dá)到識(shí)別目的是一種非常直觀的方法。由此可見(jiàn)，對(duì)手寫體數(shù)字圖像進(jìn)行特征值的提取，特征值的選擇不僅能濃縮信息、降低維數(shù)、提高處理效率的同時(shí)，其對(duì)系統(tǒng)的識(shí)別性能也有很重要的影響。然而，對(duì)于特征的選擇和提取，卻沒(méi)有可遵循的理論來(lái)指導(dǎo)，我們很難比較一個(gè)物體中哪些特征是實(shí)質(zhì)性，哪些特征是代表性的，哪些特征可能是不重要或與識(shí)別無(wú)關(guān)緊要的，這些都需要大量的實(shí)驗(yàn)和理論指導(dǎo)。此過(guò)程實(shí)際上就是傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別進(jìn)行物體識(shí)別時(shí)所采用的一般方法，具體來(lái)說(shuō)就是特征提取和分類函數(shù)的設(shè)計(jì)的問(wèn)題，而特征提取是問(wèn)題難點(diǎn)和關(guān)鍵所在。人在進(jìn)行物體識(shí)別時(shí)，是利用大腦中通過(guò)學(xué)形成的記憶庫(kù)，對(duì)識(shí)別的物體進(jìn)行一種黑箱式的映像，從記憶庫(kù)中找出相匹配的類別。2) 統(tǒng)計(jì)特征提取方法從統(tǒng)計(jì)模式識(shí)別的觀點(diǎn)來(lái)看，字符識(shí)別實(shí)際上是一個(gè)模式分類問(wèn)題，人對(duì)自然物體的識(shí)別，是建立在對(duì)該物體進(jìn)行學(xué)習(xí)、特征分析的基礎(chǔ)上的，計(jì)算機(jī)模式識(shí)別的過(guò)程與人的識(shí)別過(guò)程有著相似的地方。所以，書寫畸變對(duì)結(jié)構(gòu)特征分析法有著不可忽視的影響。單純建立在圖像處理方法上的筆段分析只能十分機(jī)械的按圖像就事論事，結(jié)果提取到的筆段難免與人的判別不完全一致。采用結(jié)構(gòu)特征提取方法的難點(diǎn)在于筆劃或筆段等基元的準(zhǔn)確提取。雖然字符的筆劃特征受字體、字形大小等影響較小，是識(shí)別字符的良好特征，但可惜筆劃特征對(duì)實(shí)際的書寫文本來(lái)說(shuō)比較難穩(wěn)定的提取。人認(rèn)字就是抓住了這些本質(zhì)不變的特征，因此能適應(yīng)不同的書寫風(fēng)格的文字。目前研究比較成熟，效果較好的是基于筆劃和基于筆段分析的手寫體字符識(shí)別。1) 結(jié)構(gòu)特征提取方法采用結(jié)構(gòu)特征提取字符進(jìn)行結(jié)構(gòu)分析從而達(dá)到識(shí)別的目的，是一種非常直觀的方法，其思想與人認(rèn)字的原理有點(diǎn)相像，但又有所不同。所選取的特征是否是穩(wěn)定，是否代表一類字符的特點(diǎn)，是系統(tǒng)識(shí)別率的高低關(guān)鍵。所以，統(tǒng)計(jì)特征和結(jié)構(gòu)特征相互之間具有一定的互補(bǔ)性。結(jié)構(gòu)特征和統(tǒng)計(jì)特征各有優(yōu)點(diǎn)：結(jié)構(gòu)特征對(duì)細(xì)節(jié)變化比較敏感，對(duì)噪聲干擾較大的圖像，識(shí)別率不高。去除無(wú)用的冗余信息、提高識(shí)別系統(tǒng)性能。當(dāng)然也可以先經(jīng)過(guò)選擇，去掉那些明顯沒(méi)有分類信息的特征，再進(jìn)行映射，以降低維數(shù)。有時(shí)這兩者并不是截然分開(kāi)的。特征提取的選擇取決于這些預(yù)處理的結(jié)果。這些有利于縮小特征提取選擇的難度和提高識(shí)別率。就數(shù)字識(shí)別來(lái)說(shuō)，在實(shí)際過(guò)程中，如何選擇若干種特征提取的方法取決于識(shí)別的用途。一個(gè)解決的辦法是尋找不同的數(shù)據(jù)的共同特征，或稱不變量。在樣本數(shù)目不是很多的情況下，用很多特征進(jìn)行分類器設(shè)計(jì)，無(wú)論從計(jì)算復(fù)雜程度還是分類器性能來(lái)看都是不合適的，因此研究如何把高維特征空間壓縮到低維特征空間，以便有效的設(shè)計(jì)分類器就成為一個(gè)重要的問(wèn)題，這也是模式識(shí)別中的一個(gè)關(guān)鍵問(wèn)題。更重要的是，訓(xùn)練分類器和判別一個(gè)分類器的好壞所需要的數(shù)量也會(huì)隨著所用的特征量的數(shù)目呈指數(shù)增長(zhǎng)。具體來(lái)說(shuō)，特征的可辨性是指屬于不同類別的樣本，特征應(yīng)該有相對(duì)差別較大的值，這樣不同類別的樣本才能區(qū)分的開(kāi)；特征的可靠性是指對(duì)與屬于同一類別的樣本，而其應(yīng)具有穩(wěn)定性，這樣同一類別的樣本才可以判別為同一類別而不至于誤判；特征的獨(dú)立性是指選擇出來(lái)的不同特征之間應(yīng)該互不相關(guān)，這樣才能減少信息的冗余性；特征的數(shù)量要少是指特征量越少越容易滿足前面的三個(gè)原則，處理速度也會(huì)相應(yīng)提高。而且，對(duì)給定的訓(xùn)練樣本進(jìn)行特征提取可以獲得更精確的分類函數(shù)的描述，以構(gòu)造更可靠的分類規(guī)則。特征提取的目標(biāo)是找到某種變換，將n維或nn維的模式類別空間轉(zhuǎn)換到維數(shù)更小的特征空間，并同時(shí)保留識(shí)別所需要的大部分信息。首先對(duì)切成行的字符串進(jìn)行垂直投影，然后根據(jù)波谷特性將字符串進(jìn)行切分。首先對(duì)字符串進(jìn)行水平投影，然后分別根據(jù)波谷將字符串進(jìn)行切分。因此本文采用的手寫數(shù)字串切分方法主要還是上節(jié)所提到的基于投影的直線切分法。5) 模具類型5：針對(duì)8的上下雙弧線型。3) 模具類型3：針對(duì)9的上弧線下斜線型。其中他們共總結(jié)了五類模具切分曲線（）：1) 模具類型1：針對(duì)7的斜線類型。 多模具切分法多模具切分方法屬于較新的研究成果，是由北京郵電大學(xué)的張洪剛等人于2003年提出的。在其理想狀態(tài)下，數(shù)字串的每一個(gè)字符都可能落在窗口之中，這就避免了切分過(guò)程，直接完成數(shù)字串的識(shí)別。 滑動(dòng)窗口法滑動(dòng)窗口的切分方法是Martin,。它是一個(gè)多步?jīng)Q策過(guò)程，通過(guò)把第一個(gè)N步過(guò)程轉(zhuǎn)化為N個(gè)單步過(guò)程的方法使其復(fù)雜度按對(duì)數(shù)級(jí)降低。也就是說(shuō)數(shù)字串切分過(guò)程就是尋找最佳路徑問(wèn)題。 動(dòng)態(tài)規(guī)劃算法手寫字串的切分過(guò)程中，其實(shí)就是在一個(gè)圖中找出一條路徑，最合理的將圖中的字符分離的過(guò)程。其中按照起始點(diǎn)位置和下一步尋址策略可將滴水方法分為四種：從頂部左側(cè)向下、從頂部右側(cè)向左下、從低部左側(cè)向右上、從底部右側(cè)向左上。所以，該方法一般適合于進(jìn)行一些簡(jiǎn)單的粗切分工作，也可以解決印刷體數(shù)字、車牌照或書寫比較工整、字符間間距明顯的切分問(wèn)題，而精確的、復(fù)雜問(wèn)題的切分就需要結(jié)合其它方法來(lái)解決了。一般而言，垂直投影曲線中的大波谷都出現(xiàn)在沒(méi)有筆畫或未連筆的地方，而對(duì)于手寫體數(shù)字串而言，沒(méi)有筆畫或未連筆的地方一般都是兩個(gè)數(shù)字之間的正確切分區(qū)域。投影是字符切分方法中最簡(jiǎn)單、最直觀、高效的方法。該類方法克服了切分的盲目性，但是由于引入了識(shí)別處理，計(jì)算量增大，很難滿足實(shí)時(shí)性的要求。于是后來(lái)有學(xué)者提出了基于識(shí)別的切分方法。目前屬于曲線的切分的算法有：滴水算法、多磨具切分算法、基于動(dòng)態(tài)規(guī)劃切分算法等。曲線切分是利用曲線進(jìn)行字符間的切分，這類切分因?yàn)榍蟹志€是曲線，可以補(bǔ)充直線切分的不足，很適合書寫較為復(fù)雜的字符間的切分。然而它只適用于數(shù)字之間存在較大的空隙的情況，而對(duì)于存在數(shù)字字符交叉或粘連的情況就顯得無(wú)能為力了。直線切分顧名思義就是利用直線進(jìn)行字符的切分。前者回避了數(shù)字串切分的這個(gè)復(fù)雜的問(wèn)題，將兩個(gè)步驟簡(jiǎn)化為一個(gè)步驟，有它的優(yōu)越性，但是不切分直接識(shí)別的這種技術(shù)到目前為止還僅限于理論研究角度。，其中左邊為原始二值圖像，右邊為最終細(xì)化圖像。條件G1為：，其中，其中，為圍繞p點(diǎn)的8領(lǐng)域的映射值。其算法如下：1) 對(duì)圖像以每33大小劃分子網(wǎng)格，對(duì)每個(gè)子網(wǎng)格進(jìn)行兩次操作，其中每個(gè)33子網(wǎng)格滿足如下矩陣形式： 2) 在第一次操作時(shí)，當(dāng)且僅當(dāng)條件G1,G2和G3被全部滿足時(shí)，則刪除中心像素p（即讓p = 0）。傳統(tǒng)的基于邊緣點(diǎn)刪除的細(xì)化算法，在細(xì)化過(guò)程中只對(duì)邊緣點(diǎn)的可刪除進(jìn)行判斷并做相應(yīng)的處理，由于受跟蹤順序及所考察領(lǐng)域的影響，容易產(chǎn)生骨架的非對(duì)稱性；基于內(nèi)點(diǎn)保留的細(xì)化算法，容易使所得的骨架大于一個(gè)像素。用MN（一般采用33或者55）的窗口對(duì)某一像素進(jìn)行檢測(cè)時(shí)，如該點(diǎn)是可刪除點(diǎn)，立即刪除，則為串行細(xì)化處理，它的刪除要影響到后續(xù)點(diǎn)的檢測(cè)；如對(duì)邊緣點(diǎn)全部檢測(cè)完畢后，再同時(shí)更新所有可刪除點(diǎn)的值，則為并行細(xì)化處理；串行、并行處理混合處理則屬于串并行處理。四鄰域連接算法是在水平垂直四個(gè)方向的連接，八鄰域連接則是在四鄰域的基礎(chǔ)上加上正反45o對(duì)角線方向，總共八個(gè)方向。由于細(xì)化骨架具有良好的結(jié)構(gòu)描述特性，所以近幾十年來(lái)，許多學(xué)者已經(jīng)提出了很多相關(guān)的細(xì)化算法，并將其用在不同的字符識(shí)別中。4) 要保持原有的拓?fù)?、幾何特征，特別是一些明顯的拐角不應(yīng)被平滑掉。2) 要細(xì)化為單線，即筆劃寬度只有一個(gè)像素。經(jīng)過(guò)細(xì)化的文字圖像既保留了原文字絕大部分特征，又利于特征提取，而且圖像字符點(diǎn)陣比原圖像的要少，降低了處理工作量。為了便于描述形狀信息和提取特征，對(duì)那些細(xì)長(zhǎng)的區(qū)域常用它的“類似骨架”的細(xì)線來(lái)表示（如字符筆劃），這些細(xì)線處于圖形的中軸附近，而且從視覺(jué)上來(lái)說(shuō)仍然保持原來(lái)的形狀。字符圖像細(xì)化結(jié)果的好壞將直接影響到字符特征提取的準(zhǔn)確與否（尤其是一些結(jié)構(gòu)特征的提取），最終影響到整個(gè)字