【正文】 .............. 32 參 考 文 獻 ........................................................................................................ 33 致 謝 .............................................................................................................. 35 附 錄 .............................................................................................................. 36 濟南大學泉城學院畢業(yè)論文 1 1 前言 研究背景及意義 手寫字母識別技術(shù)是光學字符識別（ Optical Character Recognition ，簡稱OCR）的一個分支， 字母識別 的研究背景要追溯到早期的光學識別技術(shù)，距今已有 40 多年的發(fā)展歷史。 用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò) 在字母識別時 可以實現(xiàn)這種聯(lián)想 。隱含層節(jié)點的確定本文給出了多種方法，本文運用了根值 的方法。 濟南大學泉城學院 畢 業(yè) 論 文 題 目 基于 BP 神經(jīng)網(wǎng)絡(luò)的字母識別系統(tǒng) 設(shè)計與實現(xiàn) 專 業(yè) 電氣工程及其自動化 班 級 07Q2 學 生 學 號 指導(dǎo)教師 二〇一一 年六月七日 濟南大學泉城學院畢業(yè)論文 I 摘 要 基于前向反饋神經(jīng)網(wǎng)絡(luò)的字母識別技術(shù)在科學技術(shù)日新月異的今天迅速得到發(fā)展，在諸多的方面得到應(yīng)用包括出版、金融、軍事、現(xiàn)金登記 、頁面瀏覽以及任何帶有重復(fù)性、變化性數(shù)據(jù)的文件 。 本文運用的是三層神經(jīng)網(wǎng)絡(luò)，輸入層、隱含層、輸出層。第二，具有聯(lián)想存儲功能 。 本文是在 matlab 環(huán)境下模擬整個英文字母的識別過程，隨著科學技術(shù)的 發(fā)展識別技術(shù)更加成熟，各種難 題都將會得到解決。 BP 神經(jīng)網(wǎng)絡(luò)手寫字母識別技術(shù)的研究有著重要的意義。早期的設(shè)備與打孔處理器一起來使用，伴隨著計算機和識別系統(tǒng)精密程度的提高?？焖俑咝У貙⒆帜篙斎擞嬎銠C，是信息處理的一個關(guān)鍵問題。 英文字符識別是模式識別的一個重要分支，也是文字識別領(lǐng)域比較困難的問題，它涉及模式識別、數(shù)字信號處理、圖像處理、人工智能、模糊數(shù)學、計算機、信息論、中文信息處理等諸多學科，是一門綜合性的技術(shù)。 研究現(xiàn)狀 于 21 世紀 40 年代早期人工神經(jīng)網(wǎng)絡(luò)在國外率先得到發(fā)展。 Pitts 通過分析、總結(jié)神經(jīng)元的特性的基礎(chǔ)上提出了神經(jīng)元的數(shù)學模型。 1984 年，他又提出了連續(xù)時間 Hopfield神經(jīng)網(wǎng)絡(luò)模型，為神經(jīng)計算機的研究做了開拓性的貢獻，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計算的全新的途徑，有力地推動了神經(jīng)網(wǎng)絡(luò)的研究發(fā)展， 1985 年，又有學者提出了波耳茲曼模型，在學習中采用統(tǒng)計熱力學模擬退火技術(shù)，保證整個系統(tǒng)趨于全局的穩(wěn)定點在日本的“真實世界計算”項目中，人工智 能的研究成了一個重要的組成部分?！皥D像處理過程”并不要求 BP 識別成功地派上用場，例如， BP 神經(jīng)網(wǎng)絡(luò)系統(tǒng)將文件轉(zhuǎn)變成電子數(shù)字條目的能力，將有效地取代顯微膠片。譬如金融服務(wù)業(yè)的支票處理服務(wù)的“便捷圖像數(shù)據(jù)辨別”就是這樣的。在很多情況下，可以運用形式語言理論中的文法對模式的結(jié)構(gòu)內(nèi)容進行表示，有時也稱其為句法模式識別。 [31] 對模式的統(tǒng)計分類方法，即把模式類看成是用某個隨機向量實現(xiàn)的集合，又稱為決策理論識別方 法。這個區(qū)域就可以用來表示該隨機向量實現(xiàn)的集合。 （ 2）基元提?。豪蒙窠?jīng)網(wǎng)絡(luò)和 Freeman 分別生成節(jié)點基元集合和連線基元集合，他們組成了符號基元集合 （ 3）符號文法：利用得到的符號基元集合來建立符號的有向圖的表示法再利用圖的遍歷算法遍歷所有節(jié)點形成符號句再用模糊度形成三級模糊度符號句子。人工神經(jīng)網(wǎng)絡(luò)具備自學習和自適應(yīng)能力，通過先前提供的大量的輸入數(shù)據(jù)，進行分析，掌握輸入輸出之間內(nèi)在的規(guī)律，最終利用這些規(guī)律，利用提取得到的新數(shù)據(jù)來計算 輸出結(jié)果，這種學習分析的過程被稱為“訓練”。由于與很多因素有關(guān)，比如作者的書寫習慣、掃描的質(zhì)量、識別運用的 算法、學習與訓練的樣本等，都可能影響識別正確率，所以 BP 神經(jīng)網(wǎng)絡(luò)產(chǎn)品不但需要一個核心技術(shù)，產(chǎn)品的操作使用方便性、所提供的除錯功能及方法，也是決定產(chǎn)品好壞的重要因素 [9]。 第一章前言當中介紹了手寫 體數(shù)字識別的研究背景與意義、現(xiàn)狀、手寫字母的四種實現(xiàn)方法，對識別系統(tǒng)性能的評價 第二章討論了手寫英文字母識別的預(yù)處理方法，包括圖像的去噪、二值、歸一化、細化。本文選取的特征包括重心、像素百分比密度特征、矩陣變換特征、粗網(wǎng)格特征、外輪廓特征筆劃密度特征六種方法。指出了影響正確識別率的幾個潛在的機理。因此預(yù)處理過程的效果會對特征的提取、數(shù)字識別產(chǎn)生重要的影響。 （ 1）均值濾波：均值濾波是一種典型的線性濾波方式，它的工作原理是對于目標像素存在一個模板，在 這個模板中包括目標像素周圍的 8 個像素點，用著八個像素點的灰度平均值來代替目標像素點的灰度值。那么中值濾波的具體實現(xiàn)形式又是什么呢？我們設(shè)一個一維序列的數(shù)組 f1,f2,…,fn, 取移動窗口的長度為 m（當然 m 為奇數(shù)），我們 ,對其進行中 值 濾 波 時 ， 就 是 從 我 們 選 定 的 序 列 中 連 續(xù) 抽 出 m 個數(shù)字母圖像的預(yù)處理 字字母去噪處理 字字母二值化處理 字字母歸一化處理 字字母細化處理 濟南大學泉城學院畢業(yè)論文 8 fia,…,fi 1,fi,fi+1,…,fi+a(fi 為窗口的中心值 ,a=(m1)/2),再將這 m個點按其數(shù)值大小進行排序，數(shù)值順序單調(diào)上升或單調(diào)下降，取其序號的中心點的那個 數(shù)作為濾波輸出。但是無法有效地去除噪聲，只能微弱的減弱噪聲。如果是用在要求識別速度快但對正確率要求必是很高的場合我們可以選擇運用均值濾波的方式，如果使用在要求高正確率的場合，比如銀行、金融業(yè)，我們就必須運用中值濾波來實現(xiàn)。第二，要進行二值圖像的處理與分析，首先要把 0255 的灰度圖像進行二值化，得到二值化圖像。 圖 像的二值化過程運用了許多的算法大體可以分為兩類一類是全局閥值；一類是局部閥值。它是由 Otsu 于 1979 年提出的一種基于判別式分析的方法。將每個數(shù)字圖像統(tǒng)一到同一的高度和寬度，這就是圖像的歸一化。 歸一化使得所有的圖像在識別之前都在同一個起跑線是 為了加快訓練網(wǎng)絡(luò)的收斂性，歸一化的具體作用是歸納統(tǒng)一樣本的統(tǒng)計分布性。重心到中心歸一化后的坐標由式 [12]： ))1()1((),( ?????? ?? vhvufvuf （ ） 公式當中： w 為圖像的 寬度， h為圖像的高度 外輪廓歸一化的原理是利用圖像的伸縮性得到一定尺寸的圖像 .具體的算法如下：首先得到原來字符的高度，并與系統(tǒng)要求的高度進行比較，得到長或?qū)挼淖儞Q系數(shù)，然后根據(jù)得到的變換系數(shù)求得圖像變換后的寬度和高度。因為在識別過程當中印刷體和手寫體對識別正確率有影響，不同的英文字體以及不同人的書寫形式都對識別的正確率產(chǎn)生重要的影響，但是每個英文字母的核心骨架是不會有很大的變化，這樣字符的細化處理可有效的消除這種不利的影響提高是別的正確率。 (2)細化算法不應(yīng)該去除重要點例如拐點。 濟南大學泉城學院畢業(yè)論文 13 3 字母特征提取 特征提取概述 特征提取 指的是使用計算機提取圖像信息，來決定每個圖像的點是否屬于一個圖像特征。因 為在很多實際應(yīng)用問題中往往不容易找到字符最重要的特征，或受某些條件限制不能對它們進行實際的測量，這就使的特征選擇和提取的任務(wù)非常的困難，所以特征的有效選擇成為字符識別系統(tǒng)最困難的任務(wù)之一。本文用到了結(jié)構(gòu)特征中的外輪廓特征和筆畫特征以及重心特征。本文用到了像素百分比的全局特征和粗網(wǎng)格的局部特征提取。 本文特征提取設(shè)計 特征提取的原則是所選用的特征能過很好的反應(yīng)字 母本身的特點，一般噪聲不會影響字母選取的的結(jié)構(gòu)特征或者說較小的形變或噪聲在統(tǒng)計特征中的百分比很小。這正符合特征提取的要求：有效提取不同字符個性化的特點成為 BP 神經(jīng)網(wǎng)絡(luò)的一個輸入點。一般來說，雖然手寫數(shù)字的書寫方式千變?nèi)f化，但是數(shù)字筆劃的分布呈現(xiàn)出一定的規(guī)律變化。 粗網(wǎng)格特征反映的是字符的局部特征，是個百分比相對值，對于本文圖像局部的形變或噪聲對應(yīng)二值化的數(shù)字點陣就是局部元素的 1 的值，如果圖像帶有局部的形變或著噪音，與沒有形變和噪聲的平滑圖像相比來說，因為要除一個比較大的分母，計算出來的百分比相對值變化不是不大。令反? m,n 表示點陣中第 m行，第 n 列象素。 筆劃 特征 筆劃 特征有很多種不同的取法，它是識別領(lǐng)域常選用的一種特征提取法方式，它屬于一種結(jié)構(gòu)特征 （一）首個黑點位置特征。例如， 對 82 32? 的樣本在水平方向上每隔 8 行掃描一次，提取了 4 個特征值，并在垂直方向上也每隔 4 行掃描一次，提取 4 個特征值，最后共形成 8 個值的特征向量。 外輪廓特征提取 英文字母的外輪廓特征能夠很好的反映出字符的整體結(jié)構(gòu)和特征，提取輪廓特征時。這樣依次求得四個外邊框的外輪廓特征。這些特征可以有效地提高了英文字母的識別率。數(shù)相對于數(shù)字計算機來說，人工神經(jīng)網(wǎng)更接近與人腦的功能，它不像計算機一樣按編輯好的程序一步一步來執(zhí)行運算操作，相對 于這種死板的運算人工神經(jīng)網(wǎng)絡(luò)能夠自身總結(jié)規(guī)律、適應(yīng)環(huán)境完通過自身學習完成某種運算、識別或過程控制。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起。下面通過人工神經(jīng)網(wǎng)絡(luò)與通用的計算機工作特點來對比一下： 濟南大學泉城學院畢業(yè)論文 20 若從速度的角度出發(fā)，人腦神經(jīng)元之間傳遞信息的速度要遠低于計算機，前者為毫秒量級，而后者的頻率往往可達幾百兆赫。在學習或訓練過程中不斷的改變權(quán)重 值來適應(yīng)環(huán)境的要求。 （ 2）作用函數(shù)模型： 作用函數(shù)是反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)又稱刺激函數(shù)，一般取為 (0,1)內(nèi)連續(xù)取值 Sigmoid 函數(shù)： )1(1)(f e xx ??? （ ） （ 3）誤差計算模型 誤差計算模型是反映神經(jīng)網(wǎng)絡(luò)期望輸出與計算輸出之間誤差大小的一個函數(shù) ： ? ??? 2p )(21 otE pipi ； （ ） tpi為節(jié)點的期望輸出值； Opi為節(jié)點計算輸出值。 BP神經(jīng)網(wǎng)絡(luò)由三層節(jié)點集合組成：輸入層、輸出層、隱含層。這是一非線性系統(tǒng)，其優(yōu)點是信息分布式存儲和并行協(xié)同處理。 網(wǎng)絡(luò)學習的基本準則：如果網(wǎng)絡(luò)作出了一個錯誤的的判決，則通過 BP 神經(jīng)網(wǎng)絡(luò)的自學習能力，使得 BP 神經(jīng)網(wǎng)絡(luò)減少下次識別時犯同樣錯誤的可能性。如果輸出為 “1”(結(jié)果錯誤 )，則把網(wǎng)絡(luò)的權(quán)值朝著減小綜合輸入加權(quán)值的方向進行調(diào)整，其目是使網(wǎng)絡(luò)下次再遇到 “A”的模式輸入時，減小犯錯誤的可能性。 一般情況下，網(wǎng)絡(luò)中所含的神經(jīng)元的個數(shù)與其能記憶、識別 的模式是成正比的。單層的前饋神經(jīng)網(wǎng)絡(luò)只能夠解覺線性可分問題，能夠解決非線性問題的 BP 神經(jīng)網(wǎng)絡(luò)必須是具有隱含層（一層或多層）的多層網(wǎng)絡(luò)。確定輸入層的節(jié)點數(shù)就不需要確定數(shù)據(jù)源的維數(shù)這是因為輸入層的節(jié)點數(shù)就是就是輸入數(shù)據(jù)的個數(shù)。在本系統(tǒng)中輸入層的節(jié)點數(shù)就是提取的特征向量的個數(shù)。保證輸出結(jié)果的可靠性，指定位置輸出為 1 其余位置為 0，我們期望的輸出形式見附錄。 （ 1）增長方法 在開始的時候構(gòu)造一 個小規(guī)模的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在訓練的時候，結(jié)合具體實際問題，針對網(wǎng)絡(luò)性能要求的提高逐步來增加隱含層的節(jié)點數(shù)，直到滿足所要求的誤差。常用的方法有：復(fù)雜性調(diào)整方法、靈敏度計算方法、互相作用的修剪方法、增益方法。等區(qū)間）中時，則該節(jié)點可刪除。 本文采用了式（ ） 來確 定隱含層的節(jié)點數(shù)為 40（其中 c取 7） ,并加以訓練結(jié)果識別率達到期望的結(jié)果 ， 因此最終確定為 40. 各層節(jié)點確定之后就確定了本文采用的 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 圖 所示： 濟南大學泉城學院畢業(yè)論文 25 圖 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)計和訓練過程 [17] BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置直接影響到最后的識別結(jié)果決定著網(wǎng)絡(luò)設(shè)計的好壞，有著重要的意思。 本文在選取學習速率是，一般要選取幾個不同的學習速率進行訓練，通過觀察訓練后的均方誤差值的下降速率來來決定學習速率的