【正文】 ????? ?? （ ） 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 21 h 為學(xué)習(xí)因子； Фi為輸出節(jié)點(diǎn) i 的計(jì)算誤差； Oj為輸出節(jié)點(diǎn) j 的計(jì)算輸出； a為動(dòng)量因子 知道了 BP神經(jīng)網(wǎng)絡(luò)的各結(jié)構(gòu)模型我們進(jìn)一步建立本文所用到的 BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)， 如 圖 所示。現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫(xiě)英文字母 “A”、 “B”兩個(gè)字母的識(shí)別為例進(jìn)行說(shuō)明，規(guī)定當(dāng) “A”輸入網(wǎng)絡(luò)時(shí)，其輸出層輸出 “0”，而當(dāng)輸入為 “B”時(shí)，輸 出層輸出為 “1”。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè) A 或 B 模式時(shí)，能夠作出迅速、準(zhǔn)確的判斷進(jìn)行識(shí)別 [22]。 [9][32] 神經(jīng)網(wǎng)絡(luò)的各層節(jié)點(diǎn)數(shù) 輸入 層和輸出層 神經(jīng)網(wǎng)絡(luò)的輸入層實(shí)質(zhì)就是一個(gè)緩沖存貯器，它的職責(zé)就是把提取的特征數(shù)據(jù)加到神經(jīng)網(wǎng)絡(luò)中。本文的設(shè)計(jì)思想是希望 26 個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)位置上的輸出是 1，而其他位 置上的輸出為 0，一次對(duì)應(yīng)著 AZ26 個(gè)英文字母，輸入特征的影響或是訓(xùn)練次數(shù)較低以及訓(xùn)練過(guò)程中的噪聲影響可能會(huì)導(dǎo)致輸出結(jié)果不是 1 或 0 而出現(xiàn)其他的值，入 、 、 、 等一系列的值不符合設(shè)計(jì)的要求 為了使網(wǎng)絡(luò)具有一定的適應(yīng)環(huán)境的能力將其輸出結(jié)果用網(wǎng)絡(luò)函數(shù) 處理，相當(dāng)于曾加一個(gè)閥值比如說(shuō)是 ，則大于 輸出為 1，小于 輸出為0。 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 24 （ 3） 修剪方法 首先構(gòu)造一個(gè)具有冗余節(jié)點(diǎn)的多層次的網(wǎng)絡(luò)結(jié)構(gòu)，然后在訓(xùn)練中逐步刪除不必要的節(jié)點(diǎn) 或權(quán)值。 隱含層節(jié)點(diǎn)的選擇不僅僅是一種方法來(lái)決定，我們可以結(jié)合多種方法進(jìn)行選擇，在通過(guò) BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練來(lái)最終確定隱含層的節(jié)點(diǎn) [25]。經(jīng)過(guò)訓(xùn)練本文選取的學(xué)習(xí)速率是 . 學(xué)習(xí)速率為 0． 003 像素百分比 粗網(wǎng)格 特征 矩陣變換 筆畫(huà)密度 外輪廓 特征 重心 特征 . .. . . . . . . X1 X2 Xn W12 W21 W1n Y1 Yn 輸入層 隱含層 輸出層 濟(jì)南大學(xué)泉。下面是一些參數(shù)的設(shè)計(jì)： 每迭代 50 步顯示一次訓(xùn)練結(jié)果 ． trainParam． show=5 0： 學(xué)習(xí)速率決定著每一 次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值的變化量地大小。 （ 4） 自適應(yīng)方法 這一方法來(lái)之于生物神經(jīng)元的各種狀態(tài)變化會(huì)導(dǎo)致人腦空間思維方式的變化這一原理，經(jīng)過(guò)網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)來(lái)生成解決提出問(wèn)題的適宜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該方法在網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的確定過(guò)程中綜結(jié)合了增長(zhǎng)方法和修剪方法這兩種方法。 隱含層節(jié)點(diǎn)數(shù)的優(yōu)化確定 隱含層的節(jié)點(diǎn)數(shù)的確定目前為止在世界 上還沒(méi)有一個(gè)固定的算法。輸入的這些數(shù)據(jù)可以是連續(xù)的也可以是離散的甚至可以是二進(jìn)制數(shù) 0、 1，輸入節(jié)點(diǎn)與輸入數(shù)據(jù)是等價(jià)的。但是神經(jīng)元的個(gè)數(shù)也不可以太多否則影響其是別的速度過(guò)多的神經(jīng)元也容易出錯(cuò)，所以神經(jīng)元也不可以太多。第一，給網(wǎng)絡(luò)的各連接權(quán)值賦予 (0， 1)之間內(nèi)的一個(gè)隨機(jī)值，將 “A”所對(duì)應(yīng)的圖象模式，其實(shí)質(zhì)是一系列的值，輸入給網(wǎng)絡(luò)的輸入層， BP 網(wǎng)絡(luò)把輸入值進(jìn)行加權(quán)求和與門(mén)限值比較然后進(jìn)行非線性的運(yùn)算，得到神經(jīng)網(wǎng)絡(luò)的輸出值。每一層節(jié)點(diǎn)的輸出結(jié)果送到下一層節(jié)點(diǎn)。同一網(wǎng)絡(luò)學(xué)習(xí)方式及內(nèi)容不同可具有不同的功能因此人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)。 圖 神經(jīng)元 每個(gè)神經(jīng)元的突觸數(shù)目正常，最高可達(dá) 10 個(gè)。 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 19 4 BP 神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單基本元件 —神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。從歸一化的字符中直導(dǎo)出字符的邊緣輪廓。 沿逆時(shí)針?lè)较蜻x取八個(gè)方向，即 0 度方向， 45度方向． 90 度方向．， 135 度方向， 180 度方向。換句話說(shuō)，這個(gè) 百分比相對(duì)值對(duì)于二值化圖片局部筆劃的變形或孤立的噪聲點(diǎn)帶來(lái)的影響不是很大。相對(duì)整體的一個(gè)百分比個(gè)別孤立點(diǎn)所占的百分比例較小，整體黑點(diǎn)的百分比變化范圍很小，因此像素百分比 的特征對(duì)于消除孤立點(diǎn)或噪音有一定的能力。 一個(gè) 好的識(shí)別系統(tǒng) ，應(yīng)該符合以下條件 ： (1) 具有較好的平移不變性、旋轉(zhuǎn)不變性和尺度不變性； (2) 穩(wěn)定性好，具有較好的抗噪能力； (3)具有較好的類(lèi)內(nèi)一致性和類(lèi)間區(qū)分度。 本文識(shí)別的對(duì)象是手寫(xiě)體的英文字母，屬于字符識(shí)別的領(lǐng)域。 (3)算法不應(yīng)該對(duì)噪聲敏感，即當(dāng)待識(shí)字符邊界上出現(xiàn)噪聲時(shí)，對(duì)細(xì)化結(jié)果不產(chǎn)生影響。在得到寬度和高度之后，把新圖像里面的點(diǎn)映射到原圖像中。 基本上歸一化思想是利用圖像的不變矩尋找一組參數(shù)使其能夠消除其他變換函數(shù)對(duì)圖像變換的影響。對(duì)于全局閥值來(lái)說(shuō)選取閥值 T 整幅圖像當(dāng)中凡是大于閥值 T 的均為 1，相反只要小于閥值 T 則為 0 二對(duì)于局部閥值來(lái)說(shuō)首先要對(duì)圖像進(jìn)行分割，每一部分的閥值 T 是不一樣的實(shí)質(zhì)就是進(jìn)行圖像的局部二值化。本文要求較高的識(shí)別率選用了中值濾波來(lái)實(shí)現(xiàn)英文字母的識(shí)別。設(shè)模板窗口像素點(diǎn)的個(gè)數(shù)為 5 灰度值分別為 0、 2 經(jīng)過(guò)中值濾波函數(shù) filter 后輸出序列外 0、 8 在去中間值為 4，則 5 個(gè)像素點(diǎn) G（ x1,y1）G(x5,y5）的灰度值為 5。 本文采用的的字母圖像的預(yù)處理過(guò)程：去噪、二值化、歸一化和細(xì)化 。 第四章介紹分類(lèi)器的設(shè)計(jì)原理和實(shí)現(xiàn)算法，指出 BP 網(wǎng) 絡(luò)用于手寫(xiě)字母識(shí)別參數(shù)選擇。 論文組織結(jié)構(gòu) 手寫(xiě)字母識(shí)別是指利用 BP 神經(jīng)網(wǎng)絡(luò)辨認(rèn)手寫(xiě)英文字母的一種技術(shù)，它屬于OCR 范疇。 （ 4）句子匹配： 對(duì)符號(hào)的三級(jí)模糊度進(jìn)行匹配進(jìn)而得到識(shí)別結(jié)果。屬于同一類(lèi)別的各個(gè)模式之間的差異，部分是由環(huán)境噪聲和傳感器的性質(zhì)所引起的，部分是模式本身所具有的隨機(jī)性質(zhì)。 手寫(xiě)字母識(shí)別方法 英文字母的結(jié)構(gòu)表達(dá)形式和相應(yīng)的單詞形成方法有多種，每種結(jié)構(gòu)形式又可以選擇不同的特征，并且特征有不同的抽取方法，這 樣識(shí)別算法、標(biāo)準(zhǔn)、舉學(xué)工具也不相同，這就造成了英文字母識(shí)別的算法種類(lèi)繁多，結(jié)構(gòu)不盡相同。 [1] 我國(guó)在識(shí)別領(lǐng)域的研究起步較晚，在 20 世紀(jì) 70 年代才開(kāi)始對(duì)符號(hào)、字母、數(shù)字進(jìn)行識(shí)別 研究，對(duì)漢字的識(shí)別研究開(kāi)始于 70 年代末期，到 86 年我國(guó)漢字的識(shí)別研究進(jìn)人一個(gè)跨越性的時(shí)期，并取得了豐碩成果，并相繼推出了許多中文識(shí)別的實(shí)用產(chǎn)品。下面將以時(shí)間為順序，以著名的人物或某一方面的突出研究成果為線索，簡(jiǎn)要介紹人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程。人工鍵入速度慢而且勞動(dòng)強(qiáng)度大，對(duì)于大量已有的文檔資料，英文自動(dòng)識(shí)別輸人就成為了最佳的選擇。神經(jīng)網(wǎng)絡(luò)可以用于分類(lèi)、聚類(lèi)、預(yù)測(cè)等諸多領(lǐng)域。 用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò) 在字母識(shí)別時(shí) 可以實(shí)現(xiàn)這種聯(lián)想 。 濟(jì)南大學(xué)泉城學(xué)院 畢 業(yè) 論 文 題 目 基于 BP 神經(jīng)網(wǎng)絡(luò)的字母識(shí)別系統(tǒng) 設(shè)計(jì)與實(shí)現(xiàn) 專(zhuān) 業(yè) 電氣工程及其自動(dòng)化 班 級(jí) 07Q2 學(xué) 生 學(xué) 號(hào) 指導(dǎo)教師 二〇一一 年六月七日 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 I 摘 要 基于前向反饋神經(jīng)網(wǎng)絡(luò)的字母識(shí)別技術(shù)在科學(xué)技術(shù)日新月異的今天迅速得到發(fā)展，在諸多的方面得到應(yīng)用包括出版、金融、軍事、現(xiàn)金登記 、頁(yè)面瀏覽以及任何帶有重復(fù)性、變化性數(shù)據(jù)的文件 。第二，具有聯(lián)想存儲(chǔ)功能 。 BP 神經(jīng)網(wǎng)絡(luò)手寫(xiě)字母識(shí)別技術(shù)的研究有著重要的意義。快速高效地將字母輸人計(jì)算機(jī)，是信息處理的一個(gè)關(guān)鍵問(wèn)題。 研究現(xiàn)狀 于 21 世紀(jì) 40 年代早期人工神經(jīng)網(wǎng)絡(luò)在國(guó)外率先得到發(fā)展。 1984 年，他又提出了連續(xù)時(shí)間 Hopfield神經(jīng)網(wǎng)絡(luò)模型，為神經(jīng)計(jì)算機(jī)的研究做了開(kāi)拓性的貢獻(xiàn)，開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的全新的途徑，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究發(fā)展， 1985 年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù)，保證整個(gè)系統(tǒng)趨于全局的穩(wěn)定點(diǎn)在日本的“真實(shí)世界計(jì)算”項(xiàng)目中，人工智 能的研究成了一個(gè)重要的組成部分。譬如金融服務(wù)業(yè)的支票處理服務(wù)的“便捷圖像數(shù)據(jù)辨別”就是這樣的。 [31] 對(duì)模式的統(tǒng)計(jì)分類(lèi)方法，即把模式類(lèi)看成是用某個(gè)隨機(jī)向量實(shí)現(xiàn)的集合，又稱(chēng)為決策理論識(shí)別方 法。 （ 2）基元提?。豪蒙窠?jīng)網(wǎng)絡(luò)和 Freeman 分別生成節(jié)點(diǎn)基元集合和連線基元集合，他們組成了符號(hào)基元集合 （ 3）符號(hào)文法：利用得到的符號(hào)基元集合來(lái)建立符號(hào)的有向圖的表示法再利用圖的遍歷算法遍歷所有節(jié)點(diǎn)形成符號(hào)句再用模糊度形成三級(jí)模糊度符號(hào)句子。由于與很多因素有關(guān)，比如作者的書(shū)寫(xiě)習(xí)慣、掃描的質(zhì)量、識(shí)別運(yùn)用的 算法、學(xué)習(xí)與訓(xùn)練的樣本等，都可能影響識(shí)別正確率，所以 BP 神經(jīng)網(wǎng)絡(luò)產(chǎn)品不但需要一個(gè)核心技術(shù)，產(chǎn)品的操作使用方便性、所提供的除錯(cuò)功能及方法，也是決定產(chǎn)品好壞的重要因素 [9]。本文選取的特征包括重心、像素百分比密度特征、矩陣變換特征、粗網(wǎng)格特征、外輪廓特征筆劃密度特征六種方法。因此預(yù)處理過(guò)程的效果會(huì)對(duì)特征的提取、數(shù)字識(shí)別產(chǎn)生重要的影響。那么中值濾波的具體實(shí)現(xiàn)形式又是什么呢？我們?cè)O(shè)一個(gè)一維序列的數(shù)組 f1,f2,…,fn, 取移動(dòng)窗口的長(zhǎng)度為 m（當(dāng)然 m 為奇數(shù)），我們 ,對(duì)其進(jìn)行中 值 濾 波 時(shí) ， 就 是 從 我 們 選 定 的 序 列 中 連 續(xù) 抽 出 m 個(gè)數(shù)字母圖像的預(yù)處理 字字母去噪處理 字字母二值化處理 字字母歸一化處理 字字母細(xì)化處理 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 8 fia,…,fi 1,fi,fi+1,…,fi+a(fi 為窗口的中心值 ,a=(m1)/2),再將這 m個(gè)點(diǎn)按其數(shù)值大小進(jìn)行排序，數(shù)值順序單調(diào)上升或單調(diào)下降，取其序號(hào)的中心點(diǎn)的那個(gè) 數(shù)作為濾波輸出。如果是用在要求識(shí)別速度快但對(duì)正確率要求必是很高的場(chǎng)合我們可以選擇運(yùn)用均值濾波的方式，如果使用在要求高正確率的場(chǎng)合，比如銀行、金融業(yè)，我們就必須運(yùn)用中值濾波來(lái)實(shí)現(xiàn)。 圖 像的二值化過(guò)程運(yùn)用了許多的算法大體可以分為兩類(lèi)一類(lèi)是全局閥值；一類(lèi)是局部閥值。將每個(gè)數(shù)字圖像統(tǒng)一到同一的高度和寬度，這就是圖像的歸一化。重心到中心歸一化后的坐標(biāo)由式 [12]： ))1()1((),( ?????? ?? vhvufvuf （ ） 公式當(dāng)中： w 為圖像的 寬度， h為圖像的高度 外輪廓?dú)w一化的原理是利用圖像的伸縮性得到一定尺寸的圖像 .具體的算法如下：首先得到原來(lái)字符的高度，并與系統(tǒng)要求的高度進(jìn)行比較，得到長(zhǎng)或?qū)挼淖儞Q系數(shù)，然后根據(jù)得到的變換系數(shù)求得圖像變換后的寬度和高度。 (2)細(xì)化算法不應(yīng)該去除重要點(diǎn)例如拐點(diǎn)。因 為在很多實(shí)際應(yīng)用問(wèn)題中往往不容易找到字符最重要的特征，或受某些條件限制不能對(duì)它們進(jìn)行實(shí)際的測(cè)量，這就使的特征選擇和提取的任務(wù)非常的困難，所以特征的有效選擇成為字符識(shí)別系統(tǒng)最困難的任務(wù)之一。本文用到了像素百分比的全局特征和粗網(wǎng)格的局部特征提取。這正符合特征提取的要求：有效提取不同字符個(gè)性化的特點(diǎn)成為 BP 神經(jīng)網(wǎng)絡(luò)的一個(gè)輸入點(diǎn)。 粗網(wǎng)格特征反映的是字符的局部特征，是個(gè)百分比相對(duì)值，對(duì)于本文圖像局部的形變或噪聲對(duì)應(yīng)二值化的數(shù)字點(diǎn)陣就是局部元素的 1 的值，如果圖像帶有局部的形變或著噪音，與沒(méi)有形變和噪聲的平滑圖像相比來(lái)說(shuō)，因?yàn)橐粋€(gè)比較大的分母，計(jì)算出來(lái)的百分比相對(duì)值變化不是不大。 筆劃 特征 筆劃 特征有很多種不同的取法，它是識(shí)別領(lǐng)域常選用的一種特征提取法方式，它屬于一種結(jié)構(gòu)特征 （一）首個(gè)黑點(diǎn)位置特征。 外輪廓特征提取 英文字母的外輪廓特征能夠很好的反映出字符的整體結(jié)構(gòu)和特征，提取輪廓特征時(shí)。這些特征可以有效地提高了英文字母的識(shí)別率。樹(shù)突是作為引入輸入信號(hào)的突起，而軸突是作為輸出端的突起。在學(xué)習(xí)或訓(xùn)練過(guò)程中不斷的改變權(quán)重 值來(lái)適應(yīng)環(huán)境的要求。 BP神經(jīng)網(wǎng)絡(luò)由三層節(jié)點(diǎn)集合組成：輸入層、輸出層、隱含層。 網(wǎng)絡(luò)學(xué)習(xí)的基本準(zhǔn)則：如果網(wǎng)絡(luò)作出了一個(gè)錯(cuò)誤的的判決，則通過(guò) BP 神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力，使得 BP 神經(jīng)網(wǎng)絡(luò)減少下次識(shí)別時(shí)犯同樣錯(cuò)誤的可能性。 一般情況下，網(wǎng)絡(luò)中所含的神經(jīng)元的個(gè)數(shù)與其能記憶、識(shí)別 的模式是成正比的。確定輸入層的節(jié)點(diǎn)數(shù)就不需要確定數(shù)據(jù)源的維數(shù)這是因?yàn)檩斎雽拥墓?jié)點(diǎn)數(shù)就是就是輸入數(shù)據(jù)的個(gè)數(shù)。保證輸出結(jié)果的可靠性，指定位置輸出為 1 其余位置為 0，我們期望的輸出形式見(jiàn)附錄。常用的方法有：復(fù)雜性調(diào)整方法、靈敏度計(jì)算方法、互相作用的修剪方法、增益方法。 本文采用了式（ ） 來(lái)確 定隱含層的節(jié)點(diǎn)數(shù)為 40（其中 c取 7） ,并加以訓(xùn)練結(jié)果識(shí)別率達(dá)到期望的結(jié)果 ， 因此最終確定為 40. 各層節(jié)點(diǎn)確定之后就確定了本文采用的 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 圖 所示： 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 25 圖 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)計(jì)和訓(xùn)練過(guò)程 [17] BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置直接影響到最后的識(shí)別結(jié)果決定著網(wǎng)絡(luò)設(shè)計(jì)的好壞，有著重要的