【正文】 ...................................................... 20 BP 神經(jīng)網(wǎng)絡(luò)的工作原理 ................................................................... 21 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 IV 神經(jīng)網(wǎng)絡(luò)的各層節(jié)點(diǎn)數(shù) ........................................................................ 22 輸入層和輸出層 ....................................................................... 22 隱含層節(jié)點(diǎn)數(shù)的優(yōu)化確定 ...................................................... 23 BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)計(jì)和訓(xùn)練過程 [17] ............................................. 25 5 實(shí)驗(yàn)結(jié)果及分析 .............................................................................................. 28 實(shí)驗(yàn)設(shè)計(jì) ............................................................................................... 28 實(shí)驗(yàn)參數(shù) .................................................................................... 28 訓(xùn)練和識(shí)別樣本庫設(shè)計(jì) ............................................................ 28 隱含層節(jié)點(diǎn)對實(shí)驗(yàn)結(jié)果的影響 ............................................................ 28 識(shí)別樣本的正確率 ............................................................................... 30 實(shí)驗(yàn)結(jié)果分析 ....................................................................................... 31 結(jié) 論 .............................................................................................................. 32 參 考 文 獻(xiàn) ........................................................................................................ 33 致 謝 .............................................................................................................. 35 附 錄 .............................................................................................................. 36 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 1 1 前言 研究背景及意義 手寫字母識(shí)別技術(shù)是光學(xué)字符識(shí)別（ Optical Character Recognition ，簡稱OCR）的一個(gè)分支， 字母識(shí)別 的研究背景要追溯到早期的光學(xué)識(shí)別技術(shù)，距今已有 40 多年的發(fā)展歷史。早在 60—70 年代，世界各國就開始有關(guān)于 OCR 的研究，而在研究的初期，多以文字的識(shí)別方法研究為主線，且識(shí)別的文字僅為 0~9 的數(shù)字。以同樣擁有方塊文字的日本為例子，其開始的光學(xué)字符識(shí)別技術(shù)走在世界前列， 1960 年左右開始研究光學(xué)字符識(shí)別的基本識(shí)別理論，在初期以數(shù)字為對象，直到 1965 至 1970 年之間開始有一些簡單的產(chǎn)品，例如印刷文字的郵政編碼識(shí)別系統(tǒng)，識(shí)別郵件上的郵政編碼，幫助郵局作區(qū)域分信的作業(yè)活動(dòng)；因此至到今天郵政編碼一直是各國所倡導(dǎo)的地址書寫方式。 BP 神經(jīng)網(wǎng)絡(luò)手寫字母識(shí)別技術(shù)的研究有著重要的意義。神經(jīng)網(wǎng)絡(luò)可以用于分類、聚類、預(yù)測等諸多領(lǐng)域。識(shí)別技術(shù)用于計(jì)算機(jī)的數(shù)據(jù)自動(dòng)輸人，早期的識(shí)別系統(tǒng)被用于大量形式多樣的數(shù)據(jù)輸人方面，比如處理汽油借記卡等。這種應(yīng)用能夠從非打印卡的賬號(hào)中辨認(rèn)購買者。早期的設(shè)備與打孔處理器一起來使用，伴隨著計(jì)算機(jī)和識(shí)別系統(tǒng)精密程度的提高。識(shí)別的瀏覽器能夠直接訪誤碼 CPO，這項(xiàng)技技術(shù)也影響到了信用卡交易的付款處理的過程。目前，這些項(xiàng)應(yīng)用仍是識(shí)別領(lǐng)域最主要用途之一。 英語 是 世界上使用人數(shù)最多的文字之一?？焖俑咝У貙⒆帜篙斎擞?jì)算機(jī)，是信息處理的一個(gè)關(guān)鍵問題。人工鍵入速度慢而且勞動(dòng)強(qiáng)度大，對于大量已有的文檔資料，英文自動(dòng)識(shí)別輸人就成為了最佳的選擇。它在英文信息處理、辦公室自動(dòng)化、機(jī)器翻譯、人工智能等高技術(shù)領(lǐng)域，都有著重要的實(shí)用價(jià)值和理論意義。 對于印刷體字符，首先采用光學(xué)的方式將文檔資料轉(zhuǎn)換成原始黑白點(diǎn)陣的圖像文件，然后通過識(shí)別軟件將圖像中的文字轉(zhuǎn)換成文本格式，以便文字處理軟 件的進(jìn)一步加工。 英文字符識(shí)別是模式識(shí)別的一個(gè)重要分支，也是文字識(shí)別領(lǐng)域比較困難的問題，它涉及模式識(shí)別、數(shù)字信號(hào)處理、圖像處理、人工智能、模糊數(shù)學(xué)、計(jì)算機(jī)、信息論、中文信息處理等諸多學(xué)科，是一門綜合性的技術(shù)。近幾年來，印刷英文字符識(shí)別系統(tǒng)的單字母識(shí)別正確率已經(jīng)超過 ％，為了進(jìn)一步提高系統(tǒng)的總體識(shí)別率，掃描圖像、圖像的預(yù)處理及識(shí)別后處理等方面的技術(shù)也都得到了深入的研究，并取得了很大的的進(jìn)展，有效地提高了印刷字母識(shí)別系統(tǒng)的總體性能 研究英文字母識(shí)別的 BP 神經(jīng)網(wǎng)絡(luò)模型，最終目的就是要使 BP 字母識(shí)別系統(tǒng)實(shí)現(xiàn)工 業(yè)化，能像現(xiàn)在的一些手寫英文字母識(shí)別系統(tǒng)或印刷體英文字母識(shí)別系統(tǒng)濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 2 一樣成為產(chǎn)品走向市場。字母識(shí)別固然有很多難題，但是相信隨著科學(xué)計(jì)算機(jī)技術(shù)、人工神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及人腦功能的進(jìn)一步揭示，英文字母識(shí)別的理論和方法必將有大的飛躍 .結(jié)合人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史，我們有著對 BP 神經(jīng)網(wǎng)絡(luò)的展望。雖然神經(jīng)網(wǎng)絡(luò)的理論研究有著廣闊的發(fā)展前景 ,但是每個(gè)領(lǐng)域的研究就是既充滿誘惑又充滿挑戰(zhàn) . 沒有人可以肯定告訴我們它的發(fā)展不會(huì)再經(jīng)受挫折 ,也沒有人會(huì)知道一旦成功實(shí)現(xiàn)其最終的目標(biāo)會(huì)給世界帶來多大的巨變 . 但是我們有理由相信堅(jiān)持不懈地 致力于 BP 神經(jīng)網(wǎng)絡(luò)理論方法研究必定會(huì)給 21 世紀(jì)科學(xué)研究帶來輝煌 。 研究現(xiàn)狀 于 21 世紀(jì) 40 年代早期人工神經(jīng)網(wǎng)絡(luò)在國外率先得到發(fā)展。下面將以時(shí)間為順序，以著名的人物或某一方面的突出研究成果為線索，簡要介紹人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程。在 1943 年， W Mcculloch 和 W Pitts 通過分析、總結(jié)神經(jīng)元的特性的基礎(chǔ)上提出了神經(jīng)元的數(shù)學(xué)模型。該模型一直沿用至今，并且一直影響該領(lǐng)域研究的進(jìn)展。因而，稱二人為人工神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的標(biāo)志人物。 1982 年，美國加州工物理學(xué)院 提出了 Hopfield 神經(jīng)網(wǎng)格模型，引入了“計(jì)算能量”的概念，給出了網(wǎng)絡(luò)穩(wěn)定性判斷。 1984 年，他又提出了連續(xù)時(shí)間 Hopfield神經(jīng)網(wǎng)絡(luò)模型，為神經(jīng)計(jì)算機(jī)的研究做了開拓性的貢獻(xiàn)，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的全新的途徑，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究發(fā)展， 1985 年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù)，保證整個(gè)系統(tǒng)趨于全局的穩(wěn)定點(diǎn)在日本的“真實(shí)世界計(jì)算”項(xiàng)目中，人工智 能的研究成了一個(gè)重要的組成部分。 [1] 我國在識(shí)別領(lǐng)域的研究起步較晚，在 20 世紀(jì) 70 年代才開始對符號(hào)、字母、數(shù)字進(jìn)行識(shí)別 研究，對漢字的識(shí)別研究開始于 70 年代末期，到 86 年我國漢字的識(shí)別研究進(jìn)人一個(gè)跨越性的時(shí)期，并取得了豐碩成果，并相繼推出了許多中文識(shí)別的實(shí)用產(chǎn)品。我國的許多研究部門在 80 年代初期就開始對字符識(shí)別進(jìn)行研究，從 80 年代開始，神經(jīng)網(wǎng)絡(luò)的識(shí)別研究開發(fā)就一直受到國家“ 863”計(jì)劃的資助與支持，并已經(jīng)有了初步的回報(bào)。排列瀏覽方法以及高速計(jì)算機(jī)的出現(xiàn)，產(chǎn)生了圖像處理過程這一概念?！皥D像處理過程”并不要求 BP 識(shí)別成功地派上用場，例如， BP 神經(jīng)網(wǎng)絡(luò)系統(tǒng)將文件轉(zhuǎn)變成電子數(shù)字條目的能力，將有效地取代顯微膠片。相對于處理現(xiàn)實(shí)中的文件 式顯微膠片的圖片，這種系統(tǒng)能力為用戶提供了更方便地整理圖像的方法。 當(dāng)通過上述的排列瀏覽方法生成識(shí)別邏輯單元后，圖像處理可以采用“離線”方式而不是過去的 實(shí)時(shí) 方式。這是區(qū)別早期識(shí)別系統(tǒng)的最大的優(yōu)點(diǎn)，現(xiàn)在的識(shí)別系統(tǒng)能夠允許強(qiáng)有力的邏輯系統(tǒng)持續(xù)工作，并不再對要瀏覽的字符的大小字體濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 3 及數(shù)據(jù)位置兩方面信息作出的要求。譬如金融服務(wù)業(yè)的支票處理服務(wù)的“便捷圖像數(shù)據(jù)辨別”就是這樣的。 手寫字母識(shí)別方法 英文字母的結(jié)構(gòu)表達(dá)形式和相應(yīng)的單詞形成方法有多種，每種結(jié)構(gòu)形式又可以選擇不同的特征，并且特征有不同的抽取方法，這 樣識(shí)別算法、標(biāo)準(zhǔn)、舉學(xué)工具也不相同，這就造成了英文字母識(shí)別的算法種類繁多，結(jié)構(gòu)不盡相同。因此，不同特征提取特征和神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法決定了識(shí)別系統(tǒng)所用得處理方法。通?？梢苑譃榻y(tǒng)計(jì)模式方法、結(jié)構(gòu)模式方法、統(tǒng)計(jì)與結(jié)構(gòu)相結(jié)合的方法和人工神經(jīng)網(wǎng)絡(luò)方法 . 結(jié)構(gòu)模式識(shí)別方法 運(yùn)用模式的基元和基元間的結(jié)構(gòu)關(guān)系對模式描述與識(shí)別。在很多情況下，可以運(yùn)用形式語言理論中的文法對模式的結(jié)構(gòu)內(nèi)容進(jìn)行表示，有時(shí)也稱其為句法模式識(shí)別。 預(yù)處理、文法推斷、模式表達(dá)、句法分析四個(gè)部分（如 圖 ）構(gòu)成了結(jié)構(gòu)模式識(shí)別系統(tǒng)。 圖 ，句法模式識(shí)別框圖 統(tǒng)計(jì)模式識(shí)別方法 廣義地說，存在于時(shí)間和空間中可以觀察的事物，如果可以區(qū)別它們是否相同或相似，都可以稱為模式；狹義地說，模式是通過對具體的個(gè)別事物進(jìn)行觀測 所得到的具有時(shí)間和空間分布的信息；把模式所屬的類別或同一類中模式的總體 輸入模式 分類及描述 句法分析 模式表達(dá) 預(yù)處理 樣本模式 文法判斷 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 4 稱之為模式類 (又簡稱為類）。而“模式識(shí)別”則是在某些一定量度或觀測基礎(chǔ)上把待識(shí)模式劃分到各自的模式類中去。 [31] 對模式的統(tǒng)計(jì)分類方法，即把模式類看成是用某個(gè)隨機(jī)向量實(shí)現(xiàn)的集合，又稱為決策理論識(shí)別方 法。屬于同一類別的各個(gè)模式之間的差異，部分是由環(huán)境噪聲和傳感器的性質(zhì)所引起的，部分是模式本身所具有的隨機(jī)性質(zhì)。前者如紙的質(zhì)量、墨水、污點(diǎn)對書寫字符的影響；后者表現(xiàn)為同一個(gè)人書寫同一字符時(shí)，雖形狀相似，但不可能完全一樣。因此當(dāng)用特征向量來表示這些在形狀上稍有差異的字符時(shí)，同這些特征向量對應(yīng)的特征空間中的點(diǎn)便不同一，而是分布在特征空間的某個(gè)區(qū)域中。這個(gè)區(qū)域就可以用來表示該隨機(jī)向量實(shí)現(xiàn)的集合。模式識(shí)別系統(tǒng)在進(jìn)行工作時(shí)只要判斷被識(shí)別的對象落入哪一個(gè)區(qū)域，就能確定出其所屬的類別。 統(tǒng)計(jì)與結(jié)構(gòu)相結(jié)合的識(shí)別方 法 統(tǒng)計(jì)與結(jié)構(gòu)相結(jié)合的識(shí)別方法能夠很好的解決字符正確識(shí)別率的問題，結(jié)構(gòu)識(shí)別方法和統(tǒng)計(jì)識(shí)別方法分別應(yīng)用在識(shí)別的不同層次上。統(tǒng)計(jì)識(shí)別用于基元的提取上二結(jié)構(gòu)識(shí)別用于整體符號(hào)的識(shí)別上，我們可以分為以下幾步： （ 1）符號(hào)處理：用細(xì)化和歸一化對待識(shí)字符進(jìn)行處理。 （ 2）基元提?。豪蒙窠?jīng)網(wǎng)絡(luò)和 Freeman 分別生成節(jié)點(diǎn)基元集合和連線基元集合，他們組成了符號(hào)基元集合 （ 3）符號(hào)文法：利用得到的符號(hào)基元集合來建立符號(hào)的有向圖的表示法再利用圖的遍歷算法遍歷所有節(jié)點(diǎn)形成符號(hào)句再用模糊度形成三級模糊度符號(hào)句子。 （ 4）句子匹配： 對符號(hào)的三級模糊度進(jìn)行匹配進(jìn)而得到識(shí)別結(jié)果。 [6] 人工神經(jīng)網(wǎng)絡(luò)方法 人工神經(jīng)網(wǎng)絡(luò)（ ArtificialNeuralNetworks，簡寫為 ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（ NNs）又稱作連接模型（ ConnectionistModel），它模范動(dòng)物的神經(jīng)網(wǎng)絡(luò)行為特征，是一種分布式并行信息處理的算法模型。該網(wǎng)絡(luò)通過調(diào)整內(nèi)部節(jié)點(diǎn)間相互的連接關(guān)系，進(jìn)行信息處理。人工神經(jīng)網(wǎng)絡(luò)具備自學(xué)習(xí)和自適應(yīng)能力，通過先前提供的大量的輸入數(shù)據(jù)，進(jìn)行分析，掌握輸入輸出之間內(nèi)在的規(guī)律，最終利用這些規(guī)律，利用提取得到的新數(shù)據(jù)來計(jì)算 輸出結(jié)果，這種學(xué)習(xí)分析的過程被稱為“訓(xùn)練”。 人工神經(jīng)網(wǎng)絡(luò)包括 LMBP 神經(jīng)網(wǎng)絡(luò)、 GA神經(jīng)網(wǎng)絡(luò)、 BP神經(jīng)網(wǎng)絡(luò)等多種神經(jīng)網(wǎng)絡(luò)。 [8] 濟(jì)南大學(xué)泉城學(xué)院畢業(yè)論文 5 識(shí)別系統(tǒng)性能的評價(jià) 衡量一個(gè) BP 神經(jīng)網(wǎng)絡(luò)系統(tǒng)性能好壞的主要指標(biāo)有：正確識(shí)別率（正確識(shí)別率 = 正確識(shí)別樣本數(shù) / 全部樣本數(shù) *100 %） 、 錯(cuò)誤識(shí)別率、識(shí)別速度、用戶界面的友好