【正文】 …255) 若用 σ 2w 、σ 2B、σ 2T表示 示類內(nèi)、類間和總體建立三個函數(shù)式 [11]： ???22WB? ??? 22TB? ??? 22WT? （ ） 則最優(yōu)值 ?2max rg BAT ? （ ） TE{ 0,1,L?1} 運用這種方法計算簡單，穩(wěn)定且有效，是實際應(yīng)用中經(jīng)常采用的方法之一。將每個數(shù)字圖像統(tǒng)一到同一的高度和寬度，這就是圖像的歸一化。也就是轉(zhuǎn)換成唯一的標(biāo)準形式以抵抗仿射變換。 歸一化使得所有的圖像在識別之前都在同一個起跑線是 為了加快訓(xùn)練網(wǎng)絡(luò)的收斂性，歸一化的具體作用是歸納統(tǒng)一樣本的統(tǒng)計分布性。無論是為了建模還是為了計算，首先基本度量單位要同一，神經(jīng)網(wǎng)絡(luò)是以樣本在事件中的統(tǒng)計分別幾率來進行訓(xùn)練（概率計算）和預(yù)的。重心到中心歸一化后的坐標(biāo)由式 [12]： ))1()1((),( ?????? ?? vhvufvuf （ ） 公式當(dāng)中： w 為圖像的 寬度， h為圖像的高度 外輪廓歸一化的原理是利用圖像的伸縮性得到一定尺寸的圖像 .具體的算法如下：首先得到原來字符的高度，并與系統(tǒng)要求的高度進行比較，得到長或?qū)挼淖儞Q系數(shù)，然后根據(jù)得到的變換系數(shù)求得圖像變換后的寬度和高度。歸一化把原始的圖像放大成一個相同規(guī)格的全新的字符圖像，其中新增加的像素其灰度值只是基于原始字符圖0 0 1 0 0 0 1 0 1 0 0 1 1 1 0 1 0 0 0 1 0 0 0 0 0 濟南大學(xué)泉城學(xué)院畢業(yè)論文 11 像所派生出來的，所以圖像的信息量并未增加，但使得圖像更易于處理有利于提高識別率。因為在識別過程當(dāng)中印刷體和手寫體對識別正確率有影響，不同的英文字體以及不同人的書寫形式都對識別的正確率產(chǎn)生重要的影響，但是每個英文字母的核心骨架是不會有很大的變化，這樣字符的細化處理可有效的消除這種不利的影響提高是別的正確率。 細化就是就是在保留原始圖像的拓撲結(jié)構(gòu)的基礎(chǔ)上盡可能的消去二值圖像邊緣的像素將待識別字符的寬度減少為 1，即為單像素寬度，這個過程就是字符的細化。 (2)細化算法不應(yīng)該去除重要點例如拐點。 (4)細化后的圖像要有效地保留原圖像的核心骨架結(jié)構(gòu)，比如保留細化前圖像的拓撲結(jié)構(gòu)等。 濟南大學(xué)泉城學(xué)院畢業(yè)論文 13 3 字母特征提取 特征提取概述 特征提取 指的是使用計算機提取圖像信息，來決定每個圖像的點是否屬于一個圖像特征。 在字符的識別當(dāng)中，特征的選擇是一個關(guān)鍵問題。因 為在很多實際應(yīng)用問題中往往不容易找到字符最重要的特征，或受某些條件限制不能對它們進行實際的測量，這就使的特征選擇和提取的任務(wù)非常的困難，所以特征的有效選擇成為字符識別系統(tǒng)最困難的任務(wù)之一。字符的特征可 以分為兩大特征，一：結(jié)構(gòu)特征二：統(tǒng)計特征。本文用到了結(jié)構(gòu)特征中的外輪廓特征和筆畫特征以及重心特征。這里提到的統(tǒng)計特征應(yīng)對同一類字符的形變最大化的保持不變。本文用到了像素百分比的全局特征和粗網(wǎng)格的局部特征提取。本文為了對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練以后提高字符的識別率。 本文特征提取設(shè)計 特征提取的原則是所選用的特征能過很好的反應(yīng)字 母本身的特點，一般噪聲不會影響字母選取的的結(jié)構(gòu)特征或者說較小的形變或噪聲在統(tǒng)計特征中的百分比很小。本 文采用的是黑像素點的比例。這正符合特征提取的要求：有效提取不同字符個性化的特點成為 BP 神經(jīng)網(wǎng)絡(luò)的一個輸入點。運行程序后所得到的 百分比例 如 表 ： 表 像素百分比 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 字母特征 結(jié)構(gòu)特征 統(tǒng)計特征 重心特征 心 筆畫密度特征 外輪 廓特征 像素百分比特征 粗網(wǎng)格特征 矩陣像素特征 濟南大學(xué)泉城學(xué)院畢業(yè)論文 15 提取矩陣的粗網(wǎng)格特征 粗網(wǎng)格特征注重的是字符圖像的局部分布特征，反應(yīng)的是英文字符的局部像素比例。一般來說，雖然手寫數(shù)字的書寫方式千變?nèi)f化，但是數(shù)字筆劃的分布呈現(xiàn)出一定的規(guī)律變化。 本文采取的粗網(wǎng)格特征提取 的核心思想是，把字符的 二值像素矩陣分成 16個局部區(qū)域， 把每個 區(qū)域上的點陣密度作為一個特征，統(tǒng)計每個區(qū)域字符象素占的百分比作為特征向量 [18]。 粗網(wǎng)格特征反映的是字符的局部特征，是個百分比相對值，對于本文圖像局部的形變或噪聲對應(yīng)二值化的數(shù)字點陣就是局部元素的 1 的值，如果圖像帶有局部的形變或著噪音，與沒有形變和噪聲的平滑圖像相比來說，因為要除一個比較大的分母，計算出來的百分比相對值變化不是不大。因此，以粗網(wǎng)格為特征進行數(shù)字識別，具有較好的正確識別率。令反? m,n 表示點陣中第 m行，第 n 列象素。 本文采用了反色（就是將原圖片中的黑白色互換，如圖 ）的方法 計算白色區(qū)域的重心特征： 圖 原圖像 原圖像反色后的圖像 得 到的重心坐標(biāo)是（ ,） . 提取圖像的矩陣像素特征 在介紹圖像的矩陣像素特征前先 舉例介紹 矩陣變換如 表 變換前后表 ： 表 （ a） 一開始的矩陣形式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 濟南大學(xué)泉城學(xué)院畢業(yè)論文 17 表 （ b）變換后的矩陣形式 1 2 3 4 5 6 7 . . . 11 12 . . . 16 17 18 . . . . . . 25 之所以采取矩陣像素特征是因為這種特征能夠很好的反應(yīng)手 寫字母的整體骨架結(jié)構(gòu)對字母的正確識別有很大的作用。 筆劃 特征 筆劃 特征有很多種不同的取法，它是識別領(lǐng)域常選用的一種特征提取法方式，它屬于一種結(jié)構(gòu)特征 （一）首個黑點位置特征。 135 度方向， 90 度方向， 45度方向 如圖 ，統(tǒng)計八個不同方向上由外至內(nèi)首個黑點距離邊界的距離 [24]。例如， 對 82 32? 的樣本在水平方向上每隔 8 行掃描一次，提取了 4 個特征值，并在垂直方向上也每隔 4 行掃描一次，提取 4 個特征值，最后共形成 8 個值的特征向量。 圖 八個掃描方向 本文采用筆劃 密度的方式訓(xùn)練特征；從水平和垂直方向掃描數(shù)字，計算掃描線和字符相交的次數(shù)，即筆劃密度特征向量。 外輪廓特征提取 英文字母的外輪廓特征能夠很好的反映出字符的整體結(jié)構(gòu)和特征，提取輪廓特征時。規(guī)整化的字符以 N N 的點陣表示，在這里 N 為 32。這樣依次求得四個外邊框的外輪廓特征。因此，外 廓特征對孤立點和噪音不敏感，次特征比較穩(wěn)定對識別率有所提高。這些特征可以有效地提高了英文字母的識別率。單個神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但是大量神經(jīng)元之間相互組合而產(chǎn)生的系統(tǒng)卻相當(dāng)復(fù)雜。數(shù)相對于數(shù)字計算機來說，人工神經(jīng)網(wǎng)更接近與人腦的功能，它不像計算機一樣按編輯好的程序一步一步來執(zhí)行運算操作，相對 于這種死板的運算人工神經(jīng)網(wǎng)絡(luò)能夠自身總結(jié)規(guī)律、適應(yīng)環(huán)境完通過自身學(xué)習(xí)完成某種運算、識別或過程控制。但是對于神經(jīng)細胞的來說比較特殊，具有許 多的個性突起，所以把神經(jīng)元細胞為細胞體、樹突、軸突三個部分（如 圖 ）。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起。各神經(jīng)元之間的連接強度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲信息 的功能。下面通過人工神經(jīng)網(wǎng)絡(luò)與通用的計算機工作特點來對比一下： 濟南大學(xué)泉城學(xué)院畢業(yè)論文 20 若從速度的角度出發(fā)，人腦神經(jīng)元之間傳遞信息的速度要遠低于計算機，前者為毫秒量級，而后者的頻率往往可達幾百兆赫。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理特征，可以大大提高工作速度。在學(xué)習(xí)或訓(xùn)練過程中不斷的改變權(quán)重 值來適應(yīng)環(huán)境的要求。 神經(jīng)網(wǎng)絡(luò)的模型圖 BP 網(wǎng)絡(luò)模型包括輸出模型、輸入模型、誤差計算模型、作用函數(shù)模型和自學(xué)習(xí)模型 [7]。 （ 2）作用函數(shù)模型： 作用函數(shù)是反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)又稱刺激函數(shù)，一般取為 (0,1)內(nèi)連續(xù)取值 Sigmoid 函數(shù)： )1(1)(f e xx ??? （ ） （ 3）誤差計算模型 誤差計算模型是反映神經(jīng)網(wǎng)絡(luò)期望輸出與計算輸出之間誤差大小的一個函數(shù) ： ? ??? 2p )(21 otE pipi ； （ ） tpi為節(jié)點的期望輸出值； Opi為節(jié)點計算輸出值。 BP 網(wǎng)絡(luò)有師學(xué)習(xí)方式需要設(shè)定期望值和無師學(xué)習(xí)方式只需輸入模式之分。 BP神經(jīng)網(wǎng)絡(luò)由三層節(jié)點集合組成：輸入層、輸出層、隱含層。各個輸出值由于其連接權(quán)值的不同而被放大或縮小。這是一非線性系統(tǒng)，其優(yōu)點是信息分布式存儲和并行協(xié)同處理。人工神經(jīng)網(wǎng)絡(luò)必須要以一定的學(xué)習(xí)準則來進行學(xué)習(xí)，然后才能運用于實踐。 網(wǎng)絡(luò)學(xué)習(xí)的基本準則：如果網(wǎng)絡(luò)作出了一個錯誤的的判決，則通過 BP 神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力，使得 BP 神經(jīng)網(wǎng)絡(luò)減少下次識別時犯同樣錯誤的可能性。這樣網(wǎng)絡(luò)輸濟南大學(xué)泉城學(xué)院畢業(yè)論文 22 出值為 “1”和 “0”的概率都為 。如果輸出為 “1”(結(jié)果錯誤 )，則把網(wǎng)絡(luò)的權(quán)值朝著減小綜合輸入加權(quán)值的方向進行調(diào)整，其目是使網(wǎng)絡(luò)下次再遇到 “A”的模式輸入時，減小犯錯誤的可能性。這說明網(wǎng)絡(luò)對這兩個模式的學(xué)習(xí)是成功的自學(xué)習(xí)后 BP 神經(jīng)網(wǎng)絡(luò)自身已將這兩個模式分布地記憶在網(wǎng)絡(luò)的各個連接權(quán)值上。 一般情況下，網(wǎng)絡(luò)中所含的神經(jīng)元的個數(shù)與其能記憶、識別 的模式是成正比的。 如圖 所示拓撲結(jié)構(gòu)的單隱層（隱含層只有一層）前饋網(wǎng)絡(luò)，通常稱為三層前向反饋神經(jīng)網(wǎng)絡(luò)，即：輸入層、中間層、隱含層及輸出層。單層的前饋神經(jīng)網(wǎng)絡(luò)只能夠解覺線性可分問題，能夠解決非線性問題的 BP 神經(jīng)網(wǎng)絡(luò)必須是具有隱含層（一層或多層）的多層網(wǎng)絡(luò)。此時經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。確定輸入層的節(jié)點數(shù)就不需要確定數(shù)據(jù)源的維數(shù)這是因為輸入層的節(jié)點數(shù)就是就是輸入數(shù)據(jù)的個數(shù)。所以要想確定輸入層節(jié)點的個數(shù)就必須確定要輸入的有效數(shù)據(jù)的個數(shù)。在本系統(tǒng)中輸入層的節(jié)點數(shù)就是提取的特征向量的個數(shù)。本文是對 26 個英文字母進行識別所以確定輸出層的節(jié)點數(shù)就是 26 個。保證輸出結(jié)果的可靠性，指定位置輸出為 1 其余位置為 0，我們期望的輸出形式見附錄。如果隱含層節(jié)點數(shù)過少的話，可能導(dǎo)致網(wǎng)絡(luò)不能進行訓(xùn)練或?qū)е戮W(wǎng)絡(luò)性能變差；如果隱層節(jié)點數(shù)過多，雖然能夠使的神經(jīng)網(wǎng)絡(luò)的整體系統(tǒng)誤差降低，但它不僅延長了神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間，且容易在訓(xùn)練過程中陷入局部極小值點而無法得到最優(yōu)點， 甚至不能收斂，網(wǎng)絡(luò)的容錯能力差， 往往使得其反，這也是訓(xùn)練時網(wǎng)絡(luò)出現(xiàn)“過擬合的原因。 （ 1）增長方法 在開始的時候構(gòu)造一 個小規(guī)模的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在訓(xùn)練的時候，結(jié)合具體實際問題，針對網(wǎng)絡(luò)性能要求的提高逐步來增加隱含層的節(jié)點數(shù)，直到滿足所要求的誤差。 （ 2） 進化方法 該方法結(jié)合了生物進化的原理稱為遺傳算法 (GAGeic Algorithm)，具有全局搜索的能力，對 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化和調(diào)整有著顯著的作用。常用的方法有：復(fù)雜性調(diào)整方法、靈敏度計算方法、互相作用的修剪方法、增益方法。 在此基礎(chǔ)上本文有提出了一種隱含層節(jié)點的解決方法：利用逐步回歸分析法結(jié)合參數(shù)的顯著性檢驗來刪除部分線形相關(guān)的隱含層節(jié)點，節(jié)點刪除的標(biāo)準是：當(dāng)上一層節(jié)點指向的下一層節(jié)點的所有權(quán)值均落在了死區(qū) （通常取 177。等區(qū)間）中時，則該節(jié)點可刪除。 （ ） m：輸入節(jié)點數(shù)； n：輸出節(jié)點數(shù)； c：介于 1～ 10 的常數(shù)。 本文采用了式（ ） 來確 定隱含層的節(jié)點數(shù)為 40（其中 c取 7） ,并加以訓(xùn)練結(jié)果識別率達到期望的結(jié)果 ， 因此最終確定為 40. 各層節(jié)點確定之后就確定了本文采用的 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 圖 所示： 濟南大學(xué)泉城學(xué)院畢業(yè)論文 25 圖 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)計和訓(xùn)練過程 [17] BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置直接影響到最后的識別結(jié)果決定著網(wǎng)絡(luò)設(shè)計的好壞，有著重要的意思。學(xué)習(xí)速率太大會導(dǎo)致系統(tǒng)不穩(wěn)定，學(xué)習(xí)速率太小將導(dǎo)致訓(xùn)練時間延長使的收斂很慢，但是可以保證網(wǎng)絡(luò)的誤差值跳不出誤差范圍，使的訓(xùn)練結(jié)果趨于最小誤差值。 本文在選取學(xué)習(xí)速率是，一般要選取幾個不同的學(xué)習(xí)速率進行訓(xùn)練，通過觀察訓(xùn)練后的均方誤差值的下降速率來來決定學(xué)習(xí)速率的大小。適的，若訓(xùn)練過程中的均方誤差出現(xiàn)平坦化 甚至說是震蕩現(xiàn)象，則說明學(xué)習(xí)速率選的比