【正文】 255) 若用 σ 2w 、σ 2B、σ 2T表示 示類內(nèi)、類間和總體建立三個(gè)函數(shù)式 [11]： ???22WB? ??? 22TB? ??? 22WT? （ ） 則最優(yōu)值 ?2ma x rg BAT ? （ ） TE{ 0,1,L?1} 運(yùn)用這種方法計(jì)算簡(jiǎn)單，穩(wěn)定且有效，是實(shí)際應(yīng)用中經(jīng)常采用的方法之一。將每個(gè)數(shù)字圖像統(tǒng)一到同一的高度和寬度，這就是圖像的歸一化。也就是轉(zhuǎn)換成唯一的標(biāo)準(zhǔn)形式以抵抗仿射變換。 歸一化使得所有的圖像在識(shí)別之前都在同一個(gè)起跑線是 為了加快訓(xùn)練網(wǎng)絡(luò)的收斂性，歸一化的具體作用是歸納統(tǒng)一樣本的統(tǒng)計(jì)分布性。無論是為了建模還是為了計(jì)算，首先基本度量單位要同一，神經(jīng)網(wǎng)絡(luò)是以樣本在事件中的統(tǒng)計(jì)分別幾率來進(jìn)行訓(xùn)練（概率計(jì)算）和預(yù)的。重心到中心歸一化后的坐標(biāo)由式 [12]： ))1()1((),( ?????? ?? vhvufvuf （ ） 公式當(dāng)中： w為圖像的 寬度， h為圖像的高度 外輪廓?dú)w一化的原理是利用圖像的伸縮性得到一定尺寸的圖像 .具體的算法如下：首先得到原來字符的高度，并與系統(tǒng)要求的高度進(jìn)行比較，得到長(zhǎng)或?qū)挼淖儞Q系數(shù)，然后根據(jù)得到的變換系數(shù)求得圖像變換后的寬度和高度。歸一化把原始的圖像放大成一個(gè)相同規(guī)格的全新的字符圖像，其中新增加的像素其灰度值只是基于原始字符圖0 0 1 0 0 0 1 0 1 0 0 1 1 1 0 1 0 0 0 1 0 0 0 0 0 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 11 像所派生出來的，所以圖像的信息量并未增加，但使得圖像更易于處理有利于提高識(shí)別率。因?yàn)樵谧R(shí)別過程當(dāng)中印刷體和手寫體對(duì)識(shí)別正確率有影響，不同的英文字體以及不同人的書寫形式都對(duì)識(shí)別的正確率產(chǎn)生重要的影響，但是每個(gè)英文字母的核心骨架是不會(huì)有很大的變化，這樣字符的細(xì)化處理可有效的消除這種不利的影響提高是別的正確率。 細(xì)化就是就是在保留原始圖像的拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上盡可能的消去二值圖像邊緣的像素將待識(shí)別字符的寬度減少為 1，即為單像素寬度，這個(gè)過程就是字符的細(xì)化。 (2)細(xì)化算法不應(yīng)該去除重要點(diǎn)例如拐點(diǎn)。 (4)細(xì)化后的圖像要有效地保留原圖像的核心骨架結(jié)構(gòu)，比如保留細(xì)化前圖像的拓?fù)浣Y(jié)構(gòu)等。 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 13 3 字母特征提取 特征提取概述 特征提取 指的是使用計(jì)算機(jī)提取圖像信息，來決定每個(gè)圖像的點(diǎn)是否屬于一個(gè)圖像特征。 在字符的識(shí)別當(dāng)中，特征的選擇是一個(gè)關(guān)鍵問題。因 為在很多實(shí)際應(yīng)用問題中往往不容易找到字符最重要的特征，或受某些條件限制不能對(duì)它們進(jìn)行實(shí)際的測(cè)量，這就使的特征選擇和提取的任務(wù)非常的困難，所以特征的有效選擇成為字符識(shí)別系統(tǒng)最困難的任務(wù)之一。字符的特征可 以分為兩大特征，一：結(jié)構(gòu)特征二：統(tǒng)計(jì)特征。本文用到了結(jié)構(gòu)特征中的外輪廓特征和筆畫特征以及重心特征。這里提到的統(tǒng)計(jì)特征應(yīng)對(duì)同一類字符的形變最大化的保持不變。本文用到了像素百分比的全局特征和粗網(wǎng)格的局部特征提取。本文為了對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以后提高字符的識(shí)別率。 本文特征提取設(shè)計(jì) 特征提取的原則是所選用的特征能過很好的反應(yīng)字 母本身的特點(diǎn)，一般噪聲不會(huì)影響字母選取的的結(jié)構(gòu)特征或者說較小的形變或噪聲在統(tǒng)計(jì)特征中的百分比很小。本 文采用的是黑像素點(diǎn)的比例。這正符合特征提取的要求：有效提取不同字符個(gè)性化的特點(diǎn)成為 BP 神經(jīng)網(wǎng)絡(luò)的一個(gè)輸入點(diǎn)。運(yùn)行程序后所得到的 百分比例 如 表 ： 表 像素百分比 A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 字母特征 結(jié)構(gòu)特征 統(tǒng)計(jì)特征 重心特征 心 筆畫密度特征 外輪 廓特征 像素百分比特征 粗網(wǎng)格特征 矩陣像素特征 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 15 提取矩陣的粗網(wǎng)格特征 粗網(wǎng)格特征注重的是字符圖像的局部分布特征，反應(yīng)的是英文字符的局部像素比例。一般來說，雖然手寫數(shù)字的書寫方式千變?nèi)f化，但是數(shù)字筆劃的分布呈現(xiàn)出一定的規(guī)律變化。 本文采取的粗網(wǎng)格特征提取 的核心思想是，把字符的 二值像素矩陣分成 16個(gè)局部區(qū)域， 把每個(gè) 區(qū)域上的點(diǎn)陣密度作為一個(gè)特征，統(tǒng)計(jì)每個(gè)區(qū)域字符象素占的百分比作為特征向量 [18]。 粗網(wǎng)格特征反映的是字符的局部特征，是個(gè)百分比相對(duì)值，對(duì)于本文圖像局部的形變或噪聲對(duì)應(yīng)二值化的數(shù)字點(diǎn)陣就是局部元素的 1 的值，如果圖像帶有局部的形變或著噪音，與沒有形變和噪聲的平滑圖像相比來說，因?yàn)橐粋€(gè)比較大的分母，計(jì)算出來的百分比相對(duì)值變化不是不大。因此，以粗網(wǎng)格為特征進(jìn)行數(shù)字識(shí)別，具有較好的正確識(shí)別率。令反? m,n 表示點(diǎn)陣中第 m行，第 n 列象素。 本文采用了反色（就是將原圖片中的黑白色互換，如圖 ）的方法 計(jì)算白色區(qū)域的重心特征： 圖 原圖像 原圖像反色后的圖像 得 到的重心坐標(biāo)是（ ,） . 提取圖像的矩陣像素特征 在介紹圖像的矩陣像素特征前先 舉例介紹 矩陣變換如 表 變換前后表 ： 表 （ a） 一開始的矩陣形式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 17 表 （ b）變換后的矩陣形式 1 2 3 4 5 6 7 . . . 11 12 . . . 16 17 18 . . . . . . 25 之所以采取矩陣像素特征是因?yàn)檫@種特征能夠很好的反應(yīng)手 寫字母的整體骨架結(jié)構(gòu)對(duì)字母的正確識(shí)別有很大的作用。 筆劃 特征 筆劃 特征有很多種不同的取法，它是識(shí)別領(lǐng)域常選用的一種特征提取法方式，它屬于一種結(jié)構(gòu)特征 （一）首個(gè)黑點(diǎn)位置特征。 135 度方向， 90 度方向， 45度方向 如圖 ，統(tǒng)計(jì)八個(gè)不同方向上由外至內(nèi)首個(gè)黑點(diǎn)距離邊界的距離 [24]。例如， 對(duì) 82 32? 的樣本在水平方向上每隔 8 行掃描一次，提取了 4 個(gè)特征值，并在垂直方向上也每隔 4 行掃描一次，提取 4 個(gè)特征值，最后共形成 8 個(gè)值的特征向量。 圖 八個(gè)掃描方向 本文采用筆劃 密度的方式訓(xùn)練特征；從水平和垂直方向掃描數(shù)字，計(jì)算掃描線和字符相交的次數(shù)，即筆劃密度特征向量。 外輪廓特征提取 英文字母的外輪廓特征能夠很好的反映出字符的整體結(jié)構(gòu)和特征，提取輪廓特征時(shí)。規(guī)整化的字符以 N N 的點(diǎn)陣表示，在這里 N 為 32。這樣依次求得四個(gè)外邊框的外輪廓特征。因此，外 廓特征對(duì)孤立點(diǎn)和噪音不敏感，次特征比較穩(wěn)定對(duì)識(shí)別率有所提高。這些特征可以有效地提高了英文字母的識(shí)別率。單個(gè)神經(jīng)元的結(jié)構(gòu)和功能比較簡(jiǎn)單，但是大量神經(jīng)元之間相互組合而產(chǎn)生的系統(tǒng)卻相當(dāng)復(fù)雜。數(shù)相對(duì)于數(shù)字計(jì)算機(jī)來說，人工神經(jīng)網(wǎng)更接近與人腦的功能，它不像計(jì)算機(jī)一樣按編輯好的程序一步一步來執(zhí)行運(yùn)算操作，相對(duì) 于這種死板的運(yùn)算人工神經(jīng)網(wǎng)絡(luò)能夠自身總結(jié)規(guī)律、適應(yīng)環(huán)境完通過自身學(xué)習(xí)完成某種運(yùn)算、識(shí)別或過程控制。但是對(duì)于神經(jīng)細(xì)胞的來說比較特殊，具有許 多的個(gè)性突起，所以把神經(jīng)元細(xì)胞為細(xì)胞體、樹突、軸突三個(gè)部分（如 圖 ）。樹突是作為引入輸入信號(hào)的突起，而軸突是作為輸出端的突起。各神經(jīng)元之間的連接強(qiáng)度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲(chǔ)信息 的功能。下面通過人工神經(jīng)網(wǎng)絡(luò)與通用的計(jì)算機(jī)工作特點(diǎn)來對(duì)比一下： 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 20 若從速度的角度出發(fā)，人腦神經(jīng)元之間傳遞信息的速度要遠(yuǎn)低于計(jì)算機(jī)，前者為毫秒量級(jí)，而后者的頻率往往可達(dá)幾百兆赫。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理特征，可以大大提高工作速度。在學(xué)習(xí)或訓(xùn)練過程中不斷的改變權(quán)重 值來適應(yīng)環(huán)境的要求。 神經(jīng)網(wǎng)絡(luò)的模型圖 BP 網(wǎng)絡(luò)模型包括輸出模型、輸入模型、誤差計(jì)算模型、作用函數(shù)模型和自學(xué)習(xí)模型 [7]。 （ 2）作用函數(shù)模型： 作用函數(shù)是反映下層輸入對(duì)上層節(jié)點(diǎn)刺激脈沖強(qiáng)度的函數(shù)又稱刺激函數(shù)，一般取為 (0,1)內(nèi)連續(xù)取值 Sigmoid 函數(shù)： )1(1)(f e xx ??? （ ） （ 3）誤差計(jì)算模型 誤差計(jì)算模型是反映神經(jīng)網(wǎng)絡(luò)期望輸出與計(jì)算輸出之間誤差大小的一個(gè)函數(shù) ： ? ??? 2p )(21 otE pipi ； （ ） tpi為節(jié)點(diǎn)的期望輸出值； Opi為節(jié)點(diǎn)計(jì)算輸出值。 BP 網(wǎng)絡(luò)有師學(xué)習(xí)方式需要設(shè)定期望值和無師學(xué)習(xí)方式只需輸入模式之分。 BP 神經(jīng)網(wǎng)絡(luò)由三層節(jié)點(diǎn)集合組成：輸入層、輸出層、隱含層。各個(gè)輸出值由于其連接權(quán)值的不同而被放大或縮小。這是一非線性系統(tǒng)，其優(yōu)點(diǎn)是信息分布式存儲(chǔ)和并行協(xié)同處理。人工神經(jīng)網(wǎng)絡(luò)必須要以一定的學(xué)習(xí)準(zhǔn)則來進(jìn)行學(xué)習(xí)，然后才能運(yùn)用于實(shí)踐。 網(wǎng)絡(luò)學(xué)習(xí)的基本準(zhǔn)則：如果網(wǎng)絡(luò)作出了一個(gè)錯(cuò)誤的的判決，則通過 BP 神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力，使得 BP 神經(jīng)網(wǎng)絡(luò)減少下次識(shí)別時(shí)犯同樣錯(cuò)誤的可能性。這樣網(wǎng)絡(luò)輸濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 22 出值為 “1”和 “0”的概率都為 。如果輸出為 “1”(結(jié)果錯(cuò)誤 )，則把網(wǎng)絡(luò)的權(quán)值朝著減小綜合輸入加權(quán)值的方向進(jìn)行調(diào)整，其目是使網(wǎng)絡(luò)下次再遇到 “A”的模式輸入時(shí)，減小犯錯(cuò)誤的可能性。這說明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)是成功的自學(xué)習(xí)后 BP 神經(jīng)網(wǎng)絡(luò)自身已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。 一般情況下，網(wǎng)絡(luò)中所含的神經(jīng)元的個(gè)數(shù)與其能記憶、識(shí)別 的模式是成正比的。 如圖 所示拓?fù)浣Y(jié)構(gòu)的單隱層（隱含層只有一層）前饋網(wǎng)絡(luò)，通常稱為三層前向反饋神經(jīng)網(wǎng)絡(luò)，即：輸入層、中間層、隱含層及輸出層。單層的前饋神經(jīng)網(wǎng)絡(luò)只能夠解覺線性可分問題，能夠解決非線性問題的 BP 神經(jīng)網(wǎng)絡(luò)必須是具有隱含層（一層或多層）的多層網(wǎng)絡(luò)。此時(shí)經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。確定輸入層的節(jié)點(diǎn)數(shù)就不需要確定數(shù)據(jù)源的維數(shù)這是因?yàn)檩斎雽拥墓?jié)點(diǎn)數(shù)就是就是輸入數(shù)據(jù)的個(gè)數(shù)。所以要想確定輸入層節(jié)點(diǎn)的個(gè)數(shù)就必須確定要輸入的有效數(shù)據(jù)的個(gè)數(shù)。在本系統(tǒng)中輸入層的節(jié)點(diǎn)數(shù)就是提取的特征向量的個(gè)數(shù)。本文是對(duì) 26 個(gè)英文字母進(jìn)行識(shí)別所以確定輸出層的節(jié)點(diǎn)數(shù)就是 26 個(gè)。保證輸出結(jié)果的可靠性，指定位置輸出為 1 其余位置為 0，我們期望的輸出形式見附錄。如果隱含層節(jié)點(diǎn)數(shù)過少的話，可能導(dǎo)致網(wǎng)絡(luò)不能進(jìn)行訓(xùn)練或?qū)е戮W(wǎng)絡(luò)性能變差；如果隱層節(jié)點(diǎn)數(shù)過多，雖然能夠使的神經(jīng)網(wǎng)絡(luò)的整體系統(tǒng)誤差降低，但它不僅延長(zhǎng)了神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間，且容易在訓(xùn)練過程中陷入局部極小值點(diǎn)而無法得到最優(yōu)點(diǎn)， 甚至不能收斂，網(wǎng)絡(luò)的容錯(cuò)能力差， 往往使得其反，這也是訓(xùn)練時(shí)網(wǎng)絡(luò)出現(xiàn)“過擬合的原因。 （ 1）增長(zhǎng)方法 在開始的時(shí)候構(gòu)造一 個(gè)小規(guī)模的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在訓(xùn)練的時(shí)候，結(jié)合具體實(shí)際問題，針對(duì)網(wǎng)絡(luò)性能要求的提高逐步來增加隱含層的節(jié)點(diǎn)數(shù)，直到滿足所要求的誤差。 （ 2） 進(jìn)化方法 該方法結(jié)合了生物進(jìn)化的原理稱為遺傳算法 (GAGeic Algorithm)，具有全局搜索的能力，對(duì) BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化和調(diào)整有著顯著的作用。常用的方法有：復(fù)雜性調(diào)整方法、靈敏度計(jì)算方法、互相作用的修剪方法、增益方法。 在此基礎(chǔ)上本文有提出了一種隱含層節(jié)點(diǎn)的解決方法：利用逐步回歸分析法結(jié)合參數(shù)的顯著性檢驗(yàn)來刪除部分線形相關(guān)的隱含層節(jié)點(diǎn)，節(jié)點(diǎn)刪除的標(biāo)準(zhǔn)是：當(dāng)上一層節(jié)點(diǎn)指向的下一層節(jié)點(diǎn)的所有權(quán)值均落在了死區(qū) （通常取 177。等區(qū)間）中時(shí)，則該節(jié)點(diǎn)可刪除。 （ ） m：輸入節(jié)點(diǎn)數(shù)； n：輸出節(jié)點(diǎn)數(shù)； c：介于 1～ 10 的常數(shù)。 本文采用了式（ ） 來確 定隱含層的節(jié)點(diǎn)數(shù)為 40（其中 c 取 7） ,并加以訓(xùn)練結(jié)果識(shí)別率達(dá)到期望的結(jié)果 ， 因此最終確定為 40. 各層節(jié)點(diǎn)確定之后就確定了本文采用的 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 圖 所示： 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 25 圖 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)計(jì)和訓(xùn)練過程 [17] BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置直接影響到最后的識(shí)別結(jié)果決定著網(wǎng)絡(luò)設(shè)計(jì)的好壞，有著重要的意思。學(xué)習(xí)速率太大會(huì)導(dǎo)致系統(tǒng)不穩(wěn)定，學(xué)習(xí)速率太小將導(dǎo)致訓(xùn)練時(shí)間延長(zhǎng)使的收斂很慢，但是可以保證網(wǎng)絡(luò)的誤差值跳不出誤差范圍，使的訓(xùn)練結(jié)果趨于最小誤差值。 本文在選取學(xué)習(xí)速率是，一般要選取幾個(gè)不同的學(xué)習(xí)速率進(jìn)行訓(xùn)練，通過觀察訓(xùn)練后的均方誤差值的下降速率來來決定學(xué)習(xí)速率的大小。適的，若訓(xùn)練過程中的均方誤差出現(xiàn)平坦化 甚至說是震蕩現(xiàn)象，則說明學(xué)習(xí)速率選的比