【正文】 ................................................ 30 實(shí)驗(yàn)結(jié)果分析 ....................................................................................... 31 結(jié) 論 .............................................................................................................. 32 參 考 文 獻(xiàn) ........................................................................................................ 33 致 謝 .............................................................................................................. 35 附 錄 .............................................................................................................. 36 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 1 1 前言 研究背景及意義 手寫(xiě)字母識(shí)別技術(shù)是光學(xué)字符識(shí)別（ Optical Character Recognition ，簡(jiǎn)稱OCR）的一個(gè)分支， 字母識(shí)別 的研究背景要追溯到早期的光學(xué)識(shí)別技術(shù)，距今已有 40 多年的發(fā)展歷史。 字母識(shí)別時(shí) 尋找一個(gè)復(fù)雜問(wèn)題的優(yōu)化解，往往需要很大的計(jì)算量，利用一個(gè)針對(duì)某問(wèn)題而設(shè)計(jì)的反饋型人工神經(jīng)網(wǎng)絡(luò) 的字母識(shí)別系統(tǒng) ，發(fā)揮計(jì)算機(jī)的高速運(yùn)算能力，可能很快找到優(yōu)化解。 用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò) 在字母識(shí)別時(shí) 可以實(shí)現(xiàn)這種聯(lián)想 。 字 母識(shí)別時(shí) ，只在先把許多不同的圖像樣板和對(duì)應(yīng)的應(yīng)識(shí)別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)， 然后在 識(shí)別之前 對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練形成穩(wěn)定的權(quán)值 這樣 網(wǎng)絡(luò) 通過(guò)自學(xué)習(xí)功能，慢慢學(xué)會(huì)識(shí)別類似的圖像。隱含層節(jié)點(diǎn)的確定本文給出了多種方法，本文運(yùn)用了根值 的方法。本文的重點(diǎn)在于 BP 神經(jīng)網(wǎng)絡(luò)。 濟(jì)南大學(xué)泉城學(xué)院 畢 業(yè) 論 文 題 目 基于 BP 神經(jīng)網(wǎng)絡(luò)的字母識(shí)別系統(tǒng) 設(shè)計(jì)與實(shí)現(xiàn) 專 業(yè) 電氣工程及其自動(dòng)化 班 級(jí) 07Q2 學(xué) 生 學(xué) 號(hào) 指導(dǎo)教師 二〇一一 年六月七日 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 I 摘 要 基于前向反饋神經(jīng)網(wǎng)絡(luò)的字母識(shí)別技術(shù)在科學(xué)技術(shù)日新月異的今天迅速得到發(fā)展，在諸多的方面得到應(yīng)用包括出版、金融、軍事、現(xiàn)金登記 、頁(yè)面瀏覽以及任何帶有重復(fù)性、變化性數(shù)據(jù)的文件 。 英文字母識(shí)別系統(tǒng)的設(shè)計(jì)經(jīng)過(guò)以下幾個(gè)過(guò)程：預(yù)處理、特征提取、 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、識(shí)別。 本文運(yùn)用的是三層神經(jīng)網(wǎng)絡(luò)，輸入層、隱含層、輸出層。 基于 人工神經(jīng)網(wǎng)絡(luò) 字母識(shí)別 的特點(diǎn)和優(yōu)越性，主要表現(xiàn)在三個(gè)方面 ： 第一，具有自學(xué)習(xí)功能。第二，具有聯(lián)想存儲(chǔ)功能 。 第三，具有高速尋找優(yōu)化解的能力。 本文是在 matlab 環(huán)境下模擬整個(gè)英文字母的識(shí)別過(guò)程，隨著科學(xué)技術(shù)的 發(fā)展識(shí)別技術(shù)更加成熟，各種難 題都將會(huì)得到解決。早在 60—70 年代，世界各國(guó)就開(kāi)始有關(guān)于 OCR 的研究，而在研究的初期，多以文字的識(shí)別方法研究為主線，且識(shí)別的文字僅為 0~9 的數(shù)字。 BP 神經(jīng)網(wǎng)絡(luò)手寫(xiě)字母識(shí)別技術(shù)的研究有著重要的意義。識(shí)別技術(shù)用于計(jì)算機(jī)的數(shù)據(jù)自動(dòng)輸人，早期的識(shí)別系統(tǒng)被用于大量形式多樣的數(shù)據(jù)輸人方面，比如處理汽油借記卡等。早期的設(shè)備與打孔處理器一起來(lái)使用，伴隨著計(jì)算機(jī)和識(shí)別系統(tǒng)精密程度的提高。目前，這些項(xiàng)應(yīng)用仍是識(shí)別領(lǐng)域最主要用途之一?？焖俑咝У貙⒆帜篙斎擞?jì)算機(jī)，是信息處理的一個(gè)關(guān)鍵問(wèn)題。它在英文信息處理、辦公室自動(dòng)化、機(jī)器翻譯、人工智能等高技術(shù)領(lǐng)域，都有著重要的實(shí)用價(jià)值和理論意義。 英文字符識(shí)別是模式識(shí)別的一個(gè)重要分支，也是文字識(shí)別領(lǐng)域比較困難的問(wèn)題，它涉及模式識(shí)別、數(shù)字信號(hào)處理、圖像處理、人工智能、模糊數(shù)學(xué)、計(jì)算機(jī)、信息論、中文信息處理等諸多學(xué)科，是一門(mén)綜合性的技術(shù)。字母識(shí)別固然有很多難題，但是相信隨著科學(xué)計(jì)算機(jī)技術(shù)、人工神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及人腦功能的進(jìn)一步揭示，英文字母識(shí)別的理論和方法必將有大的飛躍 .結(jié)合人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史，我們有著對(duì) BP 神經(jīng)網(wǎng)絡(luò)的展望。 研究現(xiàn)狀 于 21 世紀(jì) 40 年代早期人工神經(jīng)網(wǎng)絡(luò)在國(guó)外率先得到發(fā)展。在 1943 年， W Pitts 通過(guò)分析、總結(jié)神經(jīng)元的特性的基礎(chǔ)上提出了神經(jīng)元的數(shù)學(xué)模型。因而，稱二人為人工神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的標(biāo)志人物。 1984 年，他又提出了連續(xù)時(shí)間 Hopfield神經(jīng)網(wǎng)絡(luò)模型，為神經(jīng)計(jì)算機(jī)的研究做了開(kāi)拓性的貢獻(xiàn)，開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的全新的途徑，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究發(fā)展， 1985 年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù)，保證整個(gè)系統(tǒng)趨于全局的穩(wěn)定點(diǎn)在日本的“真實(shí)世界計(jì)算”項(xiàng)目中，人工智 能的研究成了一個(gè)重要的組成部分。我國(guó)的許多研究部門(mén)在 80 年代初期就開(kāi)始對(duì)字符識(shí)別進(jìn)行研究，從 80 年代開(kāi)始，神經(jīng)網(wǎng)絡(luò)的識(shí)別研究開(kāi)發(fā)就一直受到國(guó)家“ 863”計(jì)劃的資助與支持，并已經(jīng)有了初步的回報(bào)?！皥D像處理過(guò)程”并不要求 BP 識(shí)別成功地派上用場(chǎng)，例如， BP 神經(jīng)網(wǎng)絡(luò)系統(tǒng)將文件轉(zhuǎn)變成電子數(shù)字條目的能力，將有效地取代顯微膠片。 當(dāng)通過(guò)上述的排列瀏覽方法生成識(shí)別邏輯單元后，圖像處理可以采用“離線”方式而不是過(guò)去的 實(shí)時(shí) 方式。譬如金融服務(wù)業(yè)的支票處理服務(wù)的“便捷圖像數(shù)據(jù)辨別”就是這樣的。因此，不同特征提取特征和神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法決定了識(shí)別系統(tǒng)所用得處理方法。在很多情況下，可以運(yùn)用形式語(yǔ)言理論中的文法對(duì)模式的結(jié)構(gòu)內(nèi)容進(jìn)行表示，有時(shí)也稱其為句法模式識(shí)別。 圖 ，句法模式識(shí)別框圖 統(tǒng)計(jì)模式識(shí)別方法 廣義地說(shuō)，存在于時(shí)間和空間中可以觀察的事物，如果可以區(qū)別它們是否相同或相似，都可以稱為模式；狹義地說(shuō)，模式是通過(guò)對(duì)具體的個(gè)別事物進(jìn)行觀測(cè) 所得到的具有時(shí)間和空間分布的信息；把模式所屬的類別或同一類中模式的總體 輸入模式 分類及描述 句法分析 模式表達(dá) 預(yù)處理 樣本模式 文法判斷 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 4 稱之為模式類 (又簡(jiǎn)稱為類）。 [31] 對(duì)模式的統(tǒng)計(jì)分類方法，即把模式類看成是用某個(gè)隨機(jī)向量實(shí)現(xiàn)的集合，又稱為決策理論識(shí)別方 法。前者如紙的質(zhì)量、墨水、污點(diǎn)對(duì)書(shū)寫(xiě)字符的影響；后者表現(xiàn)為同一個(gè)人書(shū)寫(xiě)同一字符時(shí)，雖形狀相似，但不可能完全一樣。這個(gè)區(qū)域就可以用來(lái)表示該隨機(jī)向量實(shí)現(xiàn)的集合。 統(tǒng)計(jì)與結(jié)構(gòu)相結(jié)合的識(shí)別方 法 統(tǒng)計(jì)與結(jié)構(gòu)相結(jié)合的識(shí)別方法能夠很好的解決字符正確識(shí)別率的問(wèn)題，結(jié)構(gòu)識(shí)別方法和統(tǒng)計(jì)識(shí)別方法分別應(yīng)用在識(shí)別的不同層次上。 （ 2）基元提?。豪蒙窠?jīng)網(wǎng)絡(luò)和 Freeman 分別生成節(jié)點(diǎn)基元集合和連線基元集合，他們組成了符號(hào)基元集合 （ 3）符號(hào)文法：利用得到的符號(hào)基元集合來(lái)建立符號(hào)的有向圖的表示法再利用圖的遍歷算法遍歷所有節(jié)點(diǎn)形成符號(hào)句再用模糊度形成三級(jí)模糊度符號(hào)句子。 [6] 人工神經(jīng)網(wǎng)絡(luò)方法 人工神經(jīng)網(wǎng)絡(luò)（ ArtificialNeuralNetworks，簡(jiǎn)寫(xiě)為 ANNs）也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（ NNs）又稱作連接模型（ ConnectionistModel），它模范動(dòng)物的神經(jīng)網(wǎng)絡(luò)行為特征，是一種分布式并行信息處理的算法模型。人工神經(jīng)網(wǎng)絡(luò)具備自學(xué)習(xí)和自適應(yīng)能力，通過(guò)先前提供的大量的輸入數(shù)據(jù)，進(jìn)行分析，掌握輸入輸出之間內(nèi)在的規(guī)律，最終利用這些規(guī)律，利用提取得到的新數(shù)據(jù)來(lái)計(jì)算 輸出結(jié)果，這種學(xué)習(xí)分析的過(guò)程被稱為“訓(xùn)練”。 [8] 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 5 識(shí)別系統(tǒng)性能的評(píng)價(jià) 衡量一個(gè) BP 神經(jīng)網(wǎng)絡(luò)系統(tǒng)性能好壞的主要指標(biāo)有：正確識(shí)別率（正確識(shí)別率 = 正確識(shí)別樣本數(shù) / 全部樣本數(shù) *100 %） 、 錯(cuò)誤識(shí)別率、識(shí)別速度、用戶界面的友好性，產(chǎn)品的穩(wěn)定性，易用性及可行性等諸多方面。由于與很多因素有關(guān)，比如作者的書(shū)寫(xiě)習(xí)慣、掃描的質(zhì)量、識(shí)別運(yùn)用的 算法、學(xué)習(xí)與訓(xùn)練的樣本等，都可能影響識(shí)別正確率，所以 BP 神經(jīng)網(wǎng)絡(luò)產(chǎn)品不但需要一個(gè)核心技術(shù)，產(chǎn)品的操作使用方便性、所提供的除錯(cuò)功能及方法，也是決定產(chǎn)品好壞的重要因素 [9]?；?BP 網(wǎng)絡(luò)的手寫(xiě)英文字母識(shí)別包括兩個(gè)階段：一個(gè)是訓(xùn)練階段和一個(gè)是識(shí)別階段，這兩個(gè)階段包含輸入、預(yù)處理、特征提取、分類及輸出五個(gè)部分。 第一章前言當(dāng)中介紹了手寫(xiě) 體數(shù)字識(shí)別的研究背景與意義、現(xiàn)狀、手寫(xiě)字母的四種實(shí)現(xiàn)方法，對(duì)識(shí)別系統(tǒng)性能的評(píng)價(jià) 第二章討論了手寫(xiě)英文字母識(shí)別的預(yù)處理方法，包括圖像的去噪、二值、歸一化、細(xì)化。本章中介紹了預(yù)處理的不同方法，并詳細(xì)分析各階段的顯現(xiàn)過(guò)程。本文選取的特征包括重心、像素百分比密度特征、矩陣變換特征、粗網(wǎng)格特征、外輪廓特征筆劃密度特征六種方法。并結(jié)合提取的特征向量，確定本文采用的 BP 網(wǎng)絡(luò)的網(wǎng)絡(luò)模型。指出了影響正確識(shí)別率的幾個(gè)潛在的機(jī)理。 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 6 2 預(yù)處理 系統(tǒng)框架 基于 BP 神經(jīng)網(wǎng)絡(luò)的手寫(xiě)英文系目的識(shí)別過(guò)程分為學(xué)習(xí)階段和識(shí)別階段，學(xué)習(xí)階段和識(shí)別階段都要對(duì)樣本字母進(jìn)行預(yù)處理、特征提取，學(xué)習(xí)階段還要進(jìn)行訓(xùn)練確定穩(wěn)定的權(quán)值，識(shí)別階段還要經(jīng)過(guò)分類在輸出識(shí)別結(jié)果。因此預(yù)處理過(guò)程的效果會(huì)對(duì)特征的提取、數(shù)字識(shí)別產(chǎn)生重要的影響。 本文預(yù)處理設(shè)計(jì) 本章的預(yù)處理過(guò)程的設(shè)計(jì) 如 圖 ： 樣本字母 預(yù)處理 特征提取 訓(xùn)練模式 待識(shí)字母 預(yù)處理 特征提取 分類 結(jié)果輸出 學(xué)習(xí)階段 識(shí)別階段 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 7 圖 預(yù)處理過(guò)程 去噪 我們得到的原始圖像應(yīng)書(shū)寫(xiě)風(fēng)格的不同，外部環(huán)境的影響往往存在個(gè)別的孤立點(diǎn)，這就是我們說(shuō)的噪音。 （ 1）均值濾波：均值濾波是一種典型的線性濾波方式，它的工作原理是對(duì)于目標(biāo)像素存在一個(gè)模板，在 這個(gè)模板中包括目標(biāo)像素周圍的 8 個(gè)像素點(diǎn)，用著八個(gè)像素點(diǎn)的灰度平均值來(lái)代替目標(biāo)像素點(diǎn)的灰度值。 （ 2）中值濾波：相對(duì)于均值濾波來(lái)說(shuō)中值濾波是一種非線性的濾波方式，它是圖像預(yù)處理中有效地去噪方式，被廣泛的應(yīng)用。那么中值濾波的具體實(shí)現(xiàn)形式又是什么呢？我們?cè)O(shè)一個(gè)一維序列的數(shù)組 f1,f2,…,fn, 取移動(dòng)窗口的長(zhǎng)度為 m（當(dāng)然 m 為奇數(shù)），我們 ,對(duì)其進(jìn)行中 值 濾 波 時(shí) ， 就 是 從 我 們 選 定 的 序 列 中 連 續(xù) 抽 出 m 個(gè)數(shù)字母圖像的預(yù)處理 字字母去噪處理 字字母二值化處理 字字母歸一化處理 字字母細(xì)化處理 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 8 fia,…,fi 1,fi,fi+1,…,fi+a(fi 為窗口的中心值 ,a=(m1)/2),再將這 m個(gè)點(diǎn)按其數(shù)值大小進(jìn)行排序，數(shù)值順序單調(diào)上升或單調(diào)下降，取其序號(hào)的中心點(diǎn)的那個(gè) 數(shù)作為濾波輸出。 均值濾波和中值濾波的比較：對(duì)于均值濾波 把目標(biāo)像素點(diǎn)都用模板周圍的 8個(gè)像素的灰度均值來(lái)代替。但是無(wú)法有效地去除噪聲，只能微弱的減弱噪聲。它在平滑去除噪聲方面十分有效 ,并且 它能夠保護(hù)圖像尖銳的邊緣。如果是用在要求識(shí)別速度快但對(duì)正確率要求必是很高的場(chǎng)合我們可以選擇運(yùn)用均值濾波的方式，如果使用在要求高正確率的場(chǎng)合，比如銀行、金融業(yè)，我們就必須運(yùn)用中值濾波來(lái)實(shí)現(xiàn)。 對(duì) C 進(jìn)行濾波前后的對(duì)比如下圖： 濾波前 濾 波后 圖 手寫(xiě)字符濾波前后比對(duì)圖 二值化 在數(shù)字圖像的處理當(dāng)中，二值圖像有著非常重要的地位。第二，要進(jìn)行二值圖像的處理與分析，首先要把 0255 的灰度圖像進(jìn)行二值化，得到二值化圖像。二值化在 matlab 中是如何實(shí)現(xiàn)的呢？ 256 個(gè)亮度等級(jí)的灰度 圖像經(jīng)過(guò)選取適當(dāng)?shù)拈y值而仍然可以獲得反映圖像局部和整體特征的二值化圖像。 圖 像的二值化過(guò)程運(yùn)用了許多的算法大體可以分為兩類一類是全局閥值；一類是局部閥值。有效地確定閥值所得到得二值化圖像可以提高英文字母的正確識(shí)別率。它是由 Otsu 于 1979 年提出的一種基于判別式分析的方法。把圖像中的像素按灰度級(jí)閥值 T分成兩大類 C0和 C1C0=（ 0、 1……T ） C1=(T、 T+1…