【正文】 適的，若訓(xùn)練過(guò)程中的均方誤差出現(xiàn)平坦化 甚至說(shuō)是震蕩現(xiàn)象，則說(shuō)明學(xué)習(xí)速率選的比較大。學(xué)習(xí)速率太大會(huì)導(dǎo)致系統(tǒng)不穩(wěn)定，學(xué)習(xí)速率太小將導(dǎo)致訓(xùn)練時(shí)間延長(zhǎng)使的收斂很慢，但是可以保證網(wǎng)絡(luò)的誤差值跳不出誤差范圍，使的訓(xùn)練結(jié)果趨于最小誤差值。 （ ） m：輸入節(jié)點(diǎn)數(shù)； n：輸出節(jié)點(diǎn)數(shù)； c：介于 1～ 10 的常數(shù)。 在此基礎(chǔ)上本文有提出了一種隱含層節(jié)點(diǎn)的解決方法：利用逐步回歸分析法結(jié)合參數(shù)的顯著性檢驗(yàn)來(lái)刪除部分線形相關(guān)的隱含層節(jié)點(diǎn)，節(jié)點(diǎn)刪除的標(biāo)準(zhǔn)是：當(dāng)上一層節(jié)點(diǎn)指向的下一層節(jié)點(diǎn)的所有權(quán)值均落在了死區(qū) （通常取 177。 （ 2） 進(jìn)化方法 該方法結(jié)合了生物進(jìn)化的原理稱為遺傳算法 (GAGeic Algorithm)，具有全局搜索的能力，對(duì) BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化和調(diào)整有著顯著的作用。如果隱含層節(jié)點(diǎn)數(shù)過(guò)少的話，可能導(dǎo)致網(wǎng)絡(luò)不能進(jìn)行訓(xùn)練或?qū)е戮W(wǎng)絡(luò)性能變差；如果隱層節(jié)點(diǎn)數(shù)過(guò)多，雖然能夠使的神經(jīng)網(wǎng)絡(luò)的整體系統(tǒng)誤差降低，但它不僅延長(zhǎng)了神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間，且容易在訓(xùn)練過(guò)程中陷入局部極小值點(diǎn)而無(wú)法得到最優(yōu)點(diǎn)， 甚至不能收斂，網(wǎng)絡(luò)的容錯(cuò)能力差， 往往使得其反，這也是訓(xùn)練時(shí)網(wǎng)絡(luò)出現(xiàn)“過(guò)擬合的原因。本文是對(duì) 26 個(gè)英文字母進(jìn)行識(shí)別所以確定輸出層的節(jié)點(diǎn)數(shù)就是 26 個(gè)。所以要想確定輸入層節(jié)點(diǎn)的個(gè)數(shù)就必須確定要輸入的有效數(shù)據(jù)的個(gè)數(shù)。此時(shí)經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過(guò)非線形轉(zhuǎn)換的信息。 如圖 所示拓?fù)浣Y(jié)構(gòu)的單隱層（隱含層只有一層）前饋網(wǎng)絡(luò)，通常稱為三層前向反饋神經(jīng)網(wǎng)絡(luò)，即：輸入層、中間層、隱含層及輸出層。這說(shuō)明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)是成功的自學(xué)習(xí)后 BP 神經(jīng)網(wǎng)絡(luò)自身已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。這樣網(wǎng)絡(luò)輸濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 22 出值為 “1”和 “0”的概率都為 。人工神經(jīng)網(wǎng)絡(luò)必須要以一定的學(xué)習(xí)準(zhǔn)則來(lái)進(jìn)行學(xué)習(xí)，然后才能運(yùn)用于實(shí)踐。各個(gè)輸出值由于其連接權(quán)值的不同而被放大或縮小。 BP 網(wǎng)絡(luò)有師學(xué)習(xí)方式需要設(shè)定期望值和無(wú)師學(xué)習(xí)方式只需輸入模式之分。 神經(jīng)網(wǎng)絡(luò)的模型圖 BP 網(wǎng)絡(luò)模型包括輸出模型、輸入模型、誤差計(jì)算模型、作用函數(shù)模型和自學(xué)習(xí)模型 [7]。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理特征，可以大大提高工作速度。各神經(jīng)元之間的連接強(qiáng)度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲(chǔ)信息 的功能。但是對(duì)于神經(jīng)細(xì)胞的來(lái)說(shuō)比較特殊，具有許 多的個(gè)性突起，所以把神經(jīng)元細(xì)胞為細(xì)胞體、樹突、軸突三個(gè)部分（如 圖 ）。單個(gè)神經(jīng)元的結(jié)構(gòu)和功能比較簡(jiǎn)單，但是大量神經(jīng)元之間相互組合而產(chǎn)生的系統(tǒng)卻相當(dāng)復(fù)雜。因此，外 廓特征對(duì)孤立點(diǎn)和噪音不敏感，次特征比較穩(wěn)定對(duì)識(shí)別率有所提高。規(guī)整化的字符以 N N 的點(diǎn)陣表示，在這里 N 為 32。 圖 八個(gè)掃描方向 本文采用筆劃 密度的方式訓(xùn)練特征；從水平和垂直方向掃描數(shù)字，計(jì)算掃描線和字符相交的次數(shù)，即筆劃密度特征向量。 135 度方向， 90 度方向， 45度方向 如圖 ，統(tǒng)計(jì)八個(gè)不同方向上由外至內(nèi)首個(gè)黑點(diǎn)距離邊界的距離 [24]。 本文采用了反色（就是將原圖片中的黑白色互換，如圖 ）的方法 計(jì)算白色區(qū)域的重心特征： 圖 原圖像 原圖像反色后的圖像 得 到的重心坐標(biāo)是（ ,） . 提取圖像的矩陣像素特征 在介紹圖像的矩陣像素特征前先 舉例介紹 矩陣變換如 表 變換前后表 ： 表 （ a） 一開始的矩陣形式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 17 表 （ b）變換后的矩陣形式 1 2 3 4 5 6 7 . . . 11 12 . . . 16 17 18 . . . . . . 25 之所以采取矩陣像素特征是因?yàn)檫@種特征能夠很好的反應(yīng)手 寫字母的整體骨架結(jié)構(gòu)對(duì)字母的正確識(shí)別有很大的作用。因此，以粗網(wǎng)格為特征進(jìn)行數(shù)字識(shí)別，具有較好的正確識(shí)別率。 本文采取的粗網(wǎng)格特征提取 的核心思想是，把字符的 二值像素矩陣分成 16個(gè)局部區(qū)域， 把每個(gè) 區(qū)域上的點(diǎn)陣密度作為一個(gè)特征，統(tǒng)計(jì)每個(gè)區(qū)域字符象素占的百分比作為特征向量 [18]。運(yùn)行程序后所得到的 百分比例 如 表 ： 表 像素百分比 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 字母特征 結(jié)構(gòu)特征 統(tǒng)計(jì)特征 重心特征 心 筆畫密度特征 外輪 廓特征 像素百分比特征 粗網(wǎng)格特征 矩陣像素特征 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 15 提取矩陣的粗網(wǎng)格特征 粗網(wǎng)格特征注重的是字符圖像的局部分布特征，反應(yīng)的是英文字符的局部像素比例。本 文采用的是黑像素點(diǎn)的比例。本文為了對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以后提高字符的識(shí)別率。這里提到的統(tǒng)計(jì)特征應(yīng)對(duì)同一類字符的形變最大化的保持不變。字符的特征可 以分為兩大特征，一：結(jié)構(gòu)特征二：統(tǒng)計(jì)特征。 在字符的識(shí)別當(dāng)中，特征的選擇是一個(gè)關(guān)鍵問(wèn)題。 (4)細(xì)化后的圖像要有效地保留原圖像的核心骨架結(jié)構(gòu)，比如保留細(xì)化前圖像的拓?fù)浣Y(jié)構(gòu)等。 細(xì)化就是就是在保留原始圖像的拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上盡可能的消去二值圖像邊緣的像素將待識(shí)別字符的寬度減少為 1，即為單像素寬度，這個(gè)過(guò)程就是字符的細(xì)化。歸一化把原始的圖像放大成一個(gè)相同規(guī)格的全新的字符圖像，其中新增加的像素其灰度值只是基于原始字符圖0 0 1 0 0 0 1 0 1 0 0 1 1 1 0 1 0 0 0 1 0 0 0 0 0 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 11 像所派生出來(lái)的，所以圖像的信息量并未增加，但使得圖像更易于處理有利于提高識(shí)別率。無(wú)論是為了建模還是為了計(jì)算，首先基本度量單位要同一，神經(jīng)網(wǎng)絡(luò)是以樣本在事件中的統(tǒng)計(jì)分別幾率來(lái)進(jìn)行訓(xùn)練（概率計(jì)算）和預(yù)的。也就是轉(zhuǎn)換成唯一的標(biāo)準(zhǔn)形式以抵抗仿射變換。把圖像中的像素按灰度級(jí)閥值 T分成兩大類 C0和 C1C0=（ 0、 1……T ） C1=(T、 T+1……255) 若用 σ 2w 、σ 2B、σ 2T表示 示類內(nèi)、類間和總體建立三個(gè)函數(shù)式 [11]： ???22WB? ??? 22TB? ??? 22WT? （ ） 則最優(yōu)值 ?2max rg BAT ? （ ） TE{ 0,1,L?1} 運(yùn)用這種方法計(jì)算簡(jiǎn)單，穩(wěn)定且有效，是實(shí)際應(yīng)用中經(jīng)常采用的方法之一。有效地確定閥值所得到得二值化圖像可以提高英文字母的正確識(shí)別率。二值化在 matlab 中是如何實(shí)現(xiàn)的呢？ 256 個(gè)亮度等級(jí)的灰度 圖像經(jīng)過(guò)選取適當(dāng)?shù)拈y值而仍然可以獲得反映圖像局部和整體特征的二值化圖像。 對(duì) C 進(jìn)行濾波前后的對(duì)比如下圖： 濾波前 濾 波后 圖 手寫字符濾波前后比對(duì)圖 二值化 在數(shù)字圖像的處理當(dāng)中，二值圖像有著非常重要的地位。它在平滑去除噪聲方面十分有效 ,并且 它能夠保護(hù)圖像尖銳的邊緣。 均值濾波和中值濾波的比較：對(duì)于均值濾波 把目標(biāo)像素點(diǎn)都用模板周圍的 8個(gè)像素的灰度均值來(lái)代替。 （ 2）中值濾波：相對(duì)于均值濾波來(lái)說(shuō)中值濾波是一種非線性的濾波方式，它是圖像預(yù)處理中有效地去噪方式，被廣泛的應(yīng)用。 本文預(yù)處理設(shè)計(jì) 本章的預(yù)處理過(guò)程的設(shè)計(jì) 如 圖 ： 樣本字母 預(yù)處理 特征提取 訓(xùn)練模式 待識(shí)字母 預(yù)處理 特征提取 分類 結(jié)果輸出 學(xué)習(xí)階段 識(shí)別階段 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 7 圖 預(yù)處理過(guò)程 去噪 我們得到的原始圖像應(yīng)書寫風(fēng)格的不同，外部環(huán)境的影響往往存在個(gè)別的孤立點(diǎn)，這就是我們說(shuō)的噪音。 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 6 2 預(yù)處理 系統(tǒng)框架 基于 BP 神經(jīng)網(wǎng)絡(luò)的手寫英文系目的識(shí)別過(guò)程分為學(xué)習(xí)階段和識(shí)別階段，學(xué)習(xí)階段和識(shí)別階段都要對(duì)樣本字母進(jìn)行預(yù)處理、特征提取，學(xué)習(xí)階段還要進(jìn)行訓(xùn)練確定穩(wěn)定的權(quán)值，識(shí)別階段還要經(jīng)過(guò)分類在輸出識(shí)別結(jié)果。并結(jié)合提取的特征向量，確定本文采用的 BP 網(wǎng)絡(luò)的網(wǎng)絡(luò)模型。本章中介紹了預(yù)處理的不同方法，并詳細(xì)分析各階段的顯現(xiàn)過(guò)程?；?BP 網(wǎng)絡(luò)的手寫英文字母識(shí)別包括兩個(gè)階段：一個(gè)是訓(xùn)練階段和一個(gè)是識(shí)別階段，這兩個(gè)階段包含輸入、預(yù)處理、特征提取、分類及輸出五個(gè)部分。 [8] 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 5 識(shí)別系統(tǒng)性能的評(píng)價(jià) 衡量一個(gè) BP 神經(jīng)網(wǎng)絡(luò)系統(tǒng)性能好壞的主要指標(biāo)有：正確識(shí)別率（正確識(shí)別率 = 正確識(shí)別樣本數(shù) / 全部樣本數(shù) *100 %） 、 錯(cuò)誤識(shí)別率、識(shí)別速度、用戶界面的友好性，產(chǎn)品的穩(wěn)定性，易用性及可行性等諸多方面。 [6] 人工神經(jīng)網(wǎng)絡(luò)方法 人工神經(jīng)網(wǎng)絡(luò)（ ArtificialNeuralNetworks，簡(jiǎn)寫為 ANNs）也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（ NNs）又稱作連接模型（ ConnectionistModel），它模范動(dòng)物的神經(jīng)網(wǎng)絡(luò)行為特征，是一種分布式并行信息處理的算法模型。 統(tǒng)計(jì)與結(jié)構(gòu)相結(jié)合的識(shí)別方 法 統(tǒng)計(jì)與結(jié)構(gòu)相結(jié)合的識(shí)別方法能夠很好的解決字符正確識(shí)別率的問(wèn)題，結(jié)構(gòu)識(shí)別方法和統(tǒng)計(jì)識(shí)別方法分別應(yīng)用在識(shí)別的不同層次上。前者如紙的質(zhì)量、墨水、污點(diǎn)對(duì)書寫字符的影響；后者表現(xiàn)為同一個(gè)人書寫同一字符時(shí)，雖形狀相似，但不可能完全一樣。 圖 ，句法模式識(shí)別框圖 統(tǒng)計(jì)模式識(shí)別方法 廣義地說(shuō)，存在于時(shí)間和空間中可以觀察的事物，如果可以區(qū)別它們是否相同或相似，都可以稱為模式；狹義地說(shuō)，模式是通過(guò)對(duì)具體的個(gè)別事物進(jìn)行觀測(cè) 所得到的具有時(shí)間和空間分布的信息；把模式所屬的類別或同一類中模式的總體 輸入模式 分類及描述 句法分析 模式表達(dá) 預(yù)處理 樣本模式 文法判斷 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 4 稱之為模式類 (又簡(jiǎn)稱為類）。因此，不同特征提取特征和神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法決定了識(shí)別系統(tǒng)所用得處理方法。 當(dāng)通過(guò)上述的排列瀏覽方法生成識(shí)別邏輯單元后，圖像處理可以采用“離線”方式而不是過(guò)去的 實(shí)時(shí) 方式。我國(guó)的許多研究部門在 80 年代初期就開始對(duì)字符識(shí)別進(jìn)行研究，從 80 年代開始，神經(jīng)網(wǎng)絡(luò)的識(shí)別研究開發(fā)就一直受到國(guó)家“ 863”計(jì)劃的資助與支持，并已經(jīng)有了初步的回報(bào)。因而，稱二人為人工神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的標(biāo)志人物。在 1943 年， W字母識(shí)別固然有很多難題，但是相信隨著科學(xué)計(jì)算機(jī)技術(shù)、人工神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及人腦功能的進(jìn)一步揭示，英文字母識(shí)別的理論和方法必將有大的飛躍 .結(jié)合人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史，我們有著對(duì) BP 神經(jīng)網(wǎng)絡(luò)的展望。它在英文信息處理、辦公室自動(dòng)化、機(jī)器翻譯、人工智能等高技術(shù)領(lǐng)域，都有著重要的實(shí)用價(jià)值和理論意義。目前，這些項(xiàng)應(yīng)用仍是識(shí)別領(lǐng)域最主要用途之一。識(shí)別技術(shù)用于計(jì)算機(jī)的數(shù)據(jù)自動(dòng)輸人，早期的識(shí)別系統(tǒng)被用于大量形式多樣的數(shù)據(jù)輸人方面，比如處理汽油借記卡等。早在 60—70 年代，世界各國(guó)就開始有關(guān)于 OCR 的研究，而在研究的初期，多以文字的識(shí)別方法研究為主線，且識(shí)別的文字僅為 0~9 的數(shù)字。 第三，具有高速尋找優(yōu)化解的能力。 基于 人工神經(jīng)網(wǎng)絡(luò) 字母識(shí)別 的特點(diǎn)和優(yōu)越性，主要表現(xiàn)在三個(gè)方面 ： 第一，具有自學(xué)習(xí)功能。 英文字母識(shí)別系統(tǒng)的設(shè)計(jì)經(jīng)過(guò)以下幾個(gè)過(guò)程：預(yù)處理、特征提取、 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、識(shí)別。本文的重點(diǎn)在于 BP 神經(jīng)網(wǎng)絡(luò)。 字 母識(shí)別時(shí) ，只在先把許多不同的圖像樣板和對(duì)應(yīng)的應(yīng)識(shí)別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)， 然后在 識(shí)別之前 對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練形成穩(wěn)定的權(quán)值 這樣 網(wǎng)絡(luò) 通過(guò)自學(xué)習(xí)功能，慢慢學(xué)會(huì)識(shí)別類似的圖像。 字母識(shí)別時(shí) 尋找一個(gè)復(fù)雜問(wèn)題的優(yōu)化解，往往需要很大的計(jì)算量，利用一個(gè)針對(duì)某問(wèn)題而設(shè)計(jì)的反饋型人工神經(jīng)網(wǎng)絡(luò) 的字母識(shí)別系統(tǒng) ，發(fā)揮計(jì)算機(jī)的高速運(yùn)算能力，可能很快找到優(yōu)化解。以同樣擁有方塊文字的日本為例子，其開始的光學(xué)字符識(shí)別技術(shù)走在世界前列， 1960 年左右開始研究光學(xué)字符識(shí)別的基本識(shí)別理論，在初期以數(shù)字為對(duì)象，直到 1965 至 1970 年之間開始有一些簡(jiǎn)單的產(chǎn)品，例如印刷文字的郵政編碼識(shí)別系統(tǒng)，識(shí)別郵件上的郵政編碼，幫助郵局作區(qū)域分信的作業(yè)活動(dòng)；因此至到今天郵政編碼一直是各國(guó)所倡導(dǎo)的地址書寫方式。這種應(yīng)用能夠從非打印卡的賬號(hào)中辨認(rèn)購(gòu)買者。 英語(yǔ) 是 世界上使用人數(shù)最多的文字之一。 對(duì)于印刷體字符，首先采用光學(xué)的方式將文檔資料轉(zhuǎn)換成原始黑白點(diǎn)陣