【正文】 經(jīng)過(guò)訓(xùn)練本文選取的學(xué)習(xí)速率是 . 學(xué)習(xí)速率為 0． 003 像素百分比 粗網(wǎng)格 特征 矩陣變換 筆畫密度 外輪廓 特征 重心 特征 . .. . . . . . . X1 X2 Xn W12 W21 W1n Y1 Yn 輸入層 隱含層 輸出層 濟(jì)南大學(xué)泉。如果均方誤差值的下降速率較快，則說(shuō)明學(xué)習(xí)速率選取的還是比較合。所以本文選取了較小的學(xué)習(xí)速率來(lái)保證系統(tǒng)的正確識(shí)別率，學(xué)習(xí)速率的選取范圍一般在O． 01 到 之間 [28]。下面是一些參數(shù)的設(shè)計(jì)： 每迭代 50 步顯示一次訓(xùn)練結(jié)果 ． trainParam． show=5 0： 學(xué)習(xí)速率決定著每一 次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值的變化量地大小。 隱含層節(jié)點(diǎn)的選擇不僅僅是一種方法來(lái)決定，我們可以結(jié)合多種方法進(jìn)行選擇，在通過(guò) BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練來(lái)最終確定隱含層的節(jié)點(diǎn) [25]。最佳隱節(jié)點(diǎn)數(shù) L 可參考下面的公式計(jì)算： L ??? m 。、 177。 （ 4） 自適應(yīng)方法 這一方法來(lái)之于生物神經(jīng)元的各種狀態(tài)變化會(huì)導(dǎo)致人腦空間思維方式的變化這一原理，經(jīng)過(guò)網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)來(lái)生成解決提出問(wèn)題的適宜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該方法在網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的確定過(guò)程中綜結(jié)合了增長(zhǎng)方法和修剪方法這兩種方法。 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 24 （ 3） 修剪方法 首先構(gòu)造一個(gè)具有冗余節(jié)點(diǎn)的多層次的網(wǎng)絡(luò)結(jié)構(gòu)，然后在訓(xùn)練中逐步刪除不必要的節(jié)點(diǎn) 或權(quán)值。例如， Mezard 的 Tiling 算法、 Fahlman 的 CC(CascadeCorrelation)算法都是增長(zhǎng)方法的原理。因此在網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)目的選擇時(shí)我們遵循這樣的原則：在能夠有效地解決所提出的問(wèn)題的基礎(chǔ)上，隱含層的節(jié)點(diǎn)數(shù)再加上 l 到 2 個(gè)來(lái)加快誤差的下降速度加快訓(xùn)練過(guò)程。 隱含層節(jié)點(diǎn)數(shù)的優(yōu)化確定 隱含層的節(jié)點(diǎn)數(shù)的確定目前為止在世界 上還沒有一個(gè)固定的算法。本文的設(shè)計(jì)思想是希望 26 個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)位置上的輸出是 1，而其他位 置上的輸出為 0，一次對(duì)應(yīng)著 AZ26 個(gè)英文字母，輸入特征的影響或是訓(xùn)練次數(shù)較低以及訓(xùn)練過(guò)程中的噪聲影響可能會(huì)導(dǎo)致輸出結(jié)果不是 1 或 0 而出現(xiàn)其他的值，入 、 、 、 等一系列的值不符合設(shè)計(jì)的要求 為了使網(wǎng)絡(luò)具有一定的適應(yīng)環(huán)境的能力將其輸出結(jié)果用網(wǎng)絡(luò)函數(shù) 處理，相當(dāng)于曾加一個(gè)閥值比如說(shuō)是 ，則大于 輸出為 1，小于 輸出為0。 網(wǎng)絡(luò)的輸出層節(jié)點(diǎn)數(shù)一般就是所識(shí)別事物的類別數(shù)，比如說(shuō)簽名識(shí)別結(jié)果只有兩種真或假，所以輸出層節(jié)點(diǎn)數(shù)就有兩個(gè)。本文提到必須確定有效數(shù)據(jù)這時(shí)因?yàn)閿?shù)據(jù)源中有很多的沒有經(jīng)過(guò)處理甚至是虛假的數(shù)據(jù)，那就會(huì)對(duì)網(wǎng)絡(luò)的識(shí)別正確率造成影響，要防止這種數(shù)據(jù)進(jìn)入輸入層，確定輸入數(shù)據(jù)的合適數(shù)濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 23 目分為以下 4 步 ： （ 1）確定能夠反應(yīng)字符特征的所有數(shù)據(jù)； （ 2）消除不可靠或邊緣的數(shù)據(jù)源； （ 3）選擇可以代表字符共同特征（或?qū)嶋H應(yīng)用）數(shù)據(jù)源； （ 4）刪除那些只在理論上可以但不實(shí)用的數(shù)據(jù)源； 輸入數(shù)據(jù)的維數(shù)是根據(jù)要解決的具體問(wèn)題而確定的。輸入的這些數(shù)據(jù)可以是連續(xù)的也可以是離散的甚至可以是二進(jìn)制數(shù) 0、 1，輸入節(jié)點(diǎn)與輸入數(shù)據(jù)是等價(jià)的。 [9][32] 神經(jīng)網(wǎng)絡(luò)的各層節(jié)點(diǎn)數(shù) 輸入 層和輸出層 神經(jīng)網(wǎng)絡(luò)的輸入層實(shí)質(zhì)就是一個(gè)緩沖存貯器，它的職責(zé)就是把提取的特征數(shù)據(jù)加到神經(jīng)網(wǎng)絡(luò)中。 BP 神經(jīng)網(wǎng)絡(luò)模型處理圖像的基本原 理是：輸入信號(hào) Xi通過(guò)隱含層節(jié)點(diǎn)作用于輸出節(jié)點(diǎn)，經(jīng)過(guò) f 非線形變換，產(chǎn)生輸出信號(hào) Yk，網(wǎng)絡(luò)訓(xùn)練的每個(gè)樣本包括輸入向量 X 和期望輸出量 t，網(wǎng)絡(luò)輸出值 Y 與期望輸出值 t 之間的偏差，通過(guò)調(diào)整輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)的聯(lián)接強(qiáng)度取值 Wij和隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間的聯(lián)接強(qiáng)度 Tjk以及閾值，使誤差沿梯度方向下降，經(jīng)過(guò)反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)（權(quán)值和閾值），訓(xùn)練即告停止。其特點(diǎn)是：上層神經(jīng)元只與下一層神經(jīng)元間相互全連接，同一層內(nèi)的神經(jīng)元無(wú)連接，構(gòu)成了具有層次結(jié)構(gòu)的前向反饋型的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。但是神經(jīng)元的個(gè)數(shù)也不可以太多否則影響其是別的速度過(guò)多的神經(jīng)元也容易出錯(cuò)，所以神經(jīng)元也不可以太多。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè) A 或 B 模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷進(jìn)行識(shí)別 [22]。進(jìn)行如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)大量輸入手寫字母 “A”、 “B”后，通過(guò)網(wǎng)絡(luò)自學(xué)習(xí)能力，網(wǎng)絡(luò)判斷的正確率將會(huì)大大提高。此時(shí)如果輸出值為 “0”(正確 )，則權(quán)值就會(huì)增大，以便使網(wǎng)絡(luò)再次遇到 “A”這個(gè)字符的模式輸入時(shí)，仍然能作 出正確的判斷。第一，給網(wǎng)絡(luò)的各連接權(quán)值賦予 (0， 1)之間內(nèi)的一個(gè)隨機(jī)值，將 “A”所對(duì)應(yīng)的圖象模式，其實(shí)質(zhì)是一系列的值，輸入給網(wǎng)絡(luò)的輸入層， BP 網(wǎng)絡(luò)把輸入值進(jìn)行加權(quán)求和與門限值比較然后進(jìn)行非線性的運(yùn)算，得到神經(jīng)網(wǎng)絡(luò)的輸出值?，F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫英文字母 “A”、 “B”兩個(gè)字母的識(shí)別為例進(jìn)行說(shuō)明，規(guī)定當(dāng) “A”輸入網(wǎng)絡(luò)時(shí)，其輸出層輸出 “0”，而當(dāng)輸入為 “B”時(shí)，輸 出層輸出為 “1”。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)非常的簡(jiǎn)單，并且功能有限，但是很多神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能夠?qū)崿F(xiàn)的具體操作卻是豐富多彩的。 輸入層 隱含層 輸出 層 圖 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) BP 神經(jīng)網(wǎng)絡(luò)的工作原理 人工神經(jīng)網(wǎng)絡(luò)的實(shí)質(zhì)就是模擬人思維的一種方式。每一層節(jié)點(diǎn)的輸出結(jié)果送到下一層節(jié)點(diǎn)。自學(xué)習(xí)模型為： )()1( nan wwijiij ????? ?? （ ） 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 21 h 為學(xué)習(xí)因子； Фi為輸出節(jié)點(diǎn) i 的計(jì)算誤差； Oj為輸出節(jié)點(diǎn) j 的計(jì)算輸出； a為動(dòng)量因子 知道了 BP神經(jīng)網(wǎng)絡(luò)的各結(jié)構(gòu)模型我們進(jìn)一步建立本文所用到的 BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)， 如 圖 所示。 （ 4）自學(xué)習(xí)模型 神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)過(guò)程，即連接下層和上層節(jié)點(diǎn)之間的權(quán)值 Wij的設(shè)定和誤差縮小過(guò)程。 （ 1）各節(jié)點(diǎn)輸出模型： 隱含層節(jié)點(diǎn)輸出模型： )(? ??? ?jjijj xwo f （ ） 輸出節(jié)點(diǎn)輸出模型： )(? ??? ?jjijk oty f （ ） f 為非線形作用的函數(shù)； θ 神經(jīng)單元閾值。同一網(wǎng)絡(luò)學(xué)習(xí)方式及內(nèi)容不同可具有不同的功能因此人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)具有初步自適應(yīng)的能力。但是，由于人腦是一個(gè)大規(guī)模并行與串行組合處理系統(tǒng)，因而，在許多問(wèn)題上可以作出快速判斷、決策和處理，其速度則遠(yuǎn)高于串行結(jié)構(gòu)的普通計(jì)算機(jī)。利用大量神經(jīng)元相互聯(lián)接組成人工神經(jīng)網(wǎng)絡(luò)可顯示出人的大腦的某些特征。 圖 神經(jīng)元 每個(gè)神經(jīng)元的突觸數(shù)目正常，最高可達(dá) 10 個(gè)。突起的作用就是用其來(lái)傳遞信息。在生物學(xué)當(dāng)中神經(jīng)元和其他的細(xì)胞一樣，有細(xì)胞膜、細(xì)胞質(zhì)、細(xì)胞核構(gòu)成。 人工神經(jīng)網(wǎng)絡(luò)反映出來(lái)的許多特性與人的大腦功能功能非常的相似，這并不是生物系統(tǒng)的逼真描述，只能算是是某種簡(jiǎn)化、抽象模仿。 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 19 4 BP 神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單基本元件 —神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。 表 是 4 個(gè)字母ABCD 訓(xùn)練的外輪廓特征數(shù)據(jù)： 表 外輪廓數(shù)據(jù) 0 0 0 0 0 0 0 0 0 0． 531 0 0 0 0 0 0 總結(jié)本文采取了像素百分比一個(gè)特征向量，粗網(wǎng)格特征 16 個(gè)特征向量，重心特征一個(gè)，矩陣的像素特征 32? 32，筆畫密度 16 個(gè)，外 輪廓 4 個(gè)共計(jì) 1062個(gè)特征向量。這四個(gè)外輪廓特征量反映了字符的形狀 特征，是一個(gè)相對(duì)百分比值。 本文的外輪廓特征提取方法是： 取得英文字母的外邊框，從字符左邊框向?qū)γ孢M(jìn)行掃描，計(jì)算最初與字母筆畫相碰的白色部分的面積和面積整幅圖的面積之比，作為字符左邊的外輪廓特征。從歸一化的字符中直導(dǎo)出字符的邊緣輪廓。對(duì) 32*32 灰度圖在水平方向上從上至下每 4 行掃描一次，提取 8 個(gè)特征， 900方向每隔 4 行掃描一次，形成 8+8=16濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 18 個(gè)的特征值。從密度特征的提取方法容易看到，筆劃密度特征對(duì)字形畸變的抗干擾能力較強(qiáng)。 （二）筆劃密度特征的提取方法是 ：以不同方向掃描數(shù)字 ，計(jì)算掃描線和筆劃相交的次數(shù)，形成筆劃密度特征向量。 沿逆時(shí)針方向選取八個(gè)方向，即 0 度方向， 45度方向． 90 度方向．， 135 度方向， 180 度方向。 26 個(gè)英文字母的書寫方式不同進(jìn)行二值化后的像素矩陣的排列方式不一樣，一一提取個(gè)個(gè)像素點(diǎn)的值作為 1024 個(gè)特征，因?yàn)闅w一化后的矩陣是 32? 32 的矩陣所以得到了 1024 的向量輸入點(diǎn)，提取之后得到的是一個(gè)矩陣形式，為了方便輸出要將該矩陣變換為 1? 1024 的行矩陣 。定義： ? ?? ????? ????? 1010 1010m NNMM NNMM mnmn ffm （ ） ? ?? ????? ????? 1010 1010n NNMM NNMM mnmn ffn （ ） 其中， m=l， 2?? M1， n=l， 2?? N.(m ,n )是整個(gè)字符的重心 [23]。 圖 預(yù)處理后粗網(wǎng)格的分割方法 表 白色區(qū)域依次所占的比例 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 16 重心特征 由于不同英文字符的書寫方式不同，則它的象素點(diǎn)的分布情況千差萬(wàn)別不同，所以造成了不同的英文字符的重心位置發(fā)生變化，與其有關(guān)的一些離散量包含了字符幾何的特征信息。換句話說(shuō)，這個(gè) 百分比相對(duì)值對(duì)于二值化圖片局部筆劃的變形或孤立的噪聲點(diǎn)帶來(lái)的影響不是很大。針對(duì) 32 32 的點(diǎn)陣，我 劃分成大小為 4 4 的 16 個(gè)小區(qū)域（如 圖 ），因此，共得出一個(gè)十六維的粗網(wǎng)格特征值 （ 如表 ） 。由于 26 個(gè)英文字符的筆劃相對(duì)于漢字來(lái)說(shuō)具有比較固定的總體分布情況，從選取的特征的質(zhì)量來(lái)講是很好的，不同字符的特征向量在空間中的分布是較分散的，也就是說(shuō)特征空間中不同類之間的類間距是差別是比較大的。此種特征的一個(gè)大的好處是對(duì)噪聲具有很強(qiáng)的抑制能力。相對(duì)整體的一個(gè)百分比個(gè)別孤立點(diǎn)所占的百分比例較小，整體黑點(diǎn)的百分比變化范圍很小，因此像素百分比 的特征對(duì)于消除孤立點(diǎn)或噪音有一定的能力。因?yàn)椴煌挠⑽淖帜腹P畫不 同 在歸一化之后黑像素點(diǎn)的比例有很大的變化，所以這一特征能夠很好的反應(yīng)不同英文字母的個(gè)性化的特點(diǎn)。 本文結(jié)合結(jié)構(gòu)特征和統(tǒng)計(jì)特征采用了多種提取方法，通過(guò) matlab 自編程序采用的結(jié)構(gòu)特征包括：重心特征、筆畫密度特征、外輪廓特征，統(tǒng)計(jì)特征包括 ：像素百分比特征、矩陣像素特征、粗網(wǎng)格特征，共六種特征 ,如圖 所示： 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 14 圖 字母提取特征 像素百分比特征 像素百分比特征是指在二值化圖像當(dāng)中所有的白像素點(diǎn)（或黑像素點(diǎn)）占整幅圖像像素點(diǎn)的比例。下面就對(duì)這種基于結(jié)構(gòu)和統(tǒng)計(jì)特整提取進(jìn)行詳細(xì)的介紹。 一個(gè) 好的識(shí)別系統(tǒng) ，應(yīng)該符合以下條件 ： (1) 具有較好的平移不變性、旋轉(zhuǎn)不變性和尺度不變性； (2) 穩(wěn)定性好，具有較好的抗噪能力； (3)具有較好的類內(nèi)一致性和類間區(qū)分度。統(tǒng)計(jì)征可以分為全局特征和局部特整。統(tǒng)計(jì)特征是指從原始數(shù)據(jù)圖像中提取與分類最相關(guān)的信息，使各類之 間的差距極小，類間差距極大。 結(jié)構(gòu)特征提取的重點(diǎn)是要確定以基元像素值表示出來(lái)的的結(jié)構(gòu)信息，主要有輪廓、筆畫、骨架等結(jié)構(gòu)特征。 本文識(shí)別的對(duì)象是手寫體的英文字母，屬于字符識(shí)別的領(lǐng)域。對(duì)于某一具體的識(shí)別應(yīng)用，所選擇的特征往往會(huì)影響最終的正確識(shí)別率。特征提取就是把圖像上的點(diǎn)分成不同的區(qū)域子集，這些子區(qū)域往往屬于孤立的點(diǎn)、連續(xù)的曲線或連續(xù)的區(qū)域。 細(xì)化前后我們用簡(jiǎn)單的二值化矩陣（如下）舉例來(lái)表示： Example: L = 0 0 0 0 0 0 0 0 0 0 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 12 0 1 1 1 1 1 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 1 1