【正文】 ...................................................... 20 BP 神經(jīng)網(wǎng)絡(luò)的工作原理 ................................................................... 21 濟南大學泉城學院畢業(yè)論文 IV 神經(jīng)網(wǎng)絡(luò)的各層節(jié)點數(shù) ........................................................................ 22 輸入層和輸出層 ....................................................................... 22 隱含層節(jié)點數(shù)的優(yōu)化確定 ...................................................... 23 BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)計和訓練過程 [17] ............................................. 25 5 實驗結(jié)果及分析 .............................................................................................. 28 實驗設(shè)計 ............................................................................................... 28 實驗參數(shù) .................................................................................... 28 訓練和識別樣本庫設(shè)計 ............................................................ 28 隱含層節(jié)點對實驗結(jié)果的影響 ............................................................ 28 識別樣本的正確率 ............................................................................... 30 實驗結(jié)果分析 ....................................................................................... 31 結(jié) 論 .............................................................................................................. 32 參 考 文 獻 ........................................................................................................ 33 致 謝 .............................................................................................................. 35 附 錄 .............................................................................................................. 36 濟南大學泉城學院畢業(yè)論文 1 1 前言 研究背景及意義 手寫字母識別技術(shù)是光學字符識別（ Optical Character Recognition ，簡稱OCR）的一個分支， 字母識別 的研究背景要追溯到早期的光學識別技術(shù)，距今已有 40 多年的發(fā)展歷史。早在 60—70 年代，世界各國就開始有關(guān)于 OCR 的研究，而在研究的初期，多以文字的識別方法研究為主線，且識別的文字僅為 0~9 的數(shù)字。以同樣擁有方塊文字的日本為例子，其開始的光學字符識別技術(shù)走在世界前列， 1960 年左右開始研究光學字符識別的基本識別理論，在初期以數(shù)字為對象，直到 1965 至 1970 年之間開始有一些簡單的產(chǎn)品，例如印刷文字的郵政編碼識別系統(tǒng)，識別郵件上的郵政編碼，幫助郵局作區(qū)域分信的作業(yè)活動；因此至到今天郵政編碼一直是各國所倡導的地址書寫方式。 BP 神經(jīng)網(wǎng)絡(luò)手寫字母識別技術(shù)的研究有著重要的意義。神經(jīng)網(wǎng)絡(luò)可以用于分類、聚類、預測等諸多領(lǐng)域。識別技術(shù)用于計算機的數(shù)據(jù)自動輸人，早期的識別系統(tǒng)被用于大量形式多樣的數(shù)據(jù)輸人方面，比如處理汽油借記卡等。這種應(yīng)用能夠從非打印卡的賬號中辨認購買者。早期的設(shè)備與打孔處理器一起來使用，伴隨著計算機和識別系統(tǒng)精密程度的提高。識別的瀏覽器能夠直接訪誤碼 CPO，這項技技術(shù)也影響到了信用卡交易的付款處理的過程。目前，這些項應(yīng)用仍是識別領(lǐng)域最主要用途之一。 英語 是 世界上使用人數(shù)最多的文字之一。快速高效地將字母輸人計算機，是信息處理的一個關(guān)鍵問題。人工鍵入速度慢而且勞動強度大，對于大量已有的文檔資料，英文自動識別輸人就成為了最佳的選擇。它在英文信息處理、辦公室自動化、機器翻譯、人工智能等高技術(shù)領(lǐng)域，都有著重要的實用價值和理論意義。 對于印刷體字符，首先采用光學的方式將文檔資料轉(zhuǎn)換成原始黑白點陣的圖像文件，然后通過識別軟件將圖像中的文字轉(zhuǎn)換成文本格式，以便文字處理軟 件的進一步加工。 英文字符識別是模式識別的一個重要分支，也是文字識別領(lǐng)域比較困難的問題，它涉及模式識別、數(shù)字信號處理、圖像處理、人工智能、模糊數(shù)學、計算機、信息論、中文信息處理等諸多學科，是一門綜合性的技術(shù)。近幾年來，印刷英文字符識別系統(tǒng)的單字母識別正確率已經(jīng)超過 ％，為了進一步提高系統(tǒng)的總體識別率，掃描圖像、圖像的預處理及識別后處理等方面的技術(shù)也都得到了深入的研究，并取得了很大的的進展，有效地提高了印刷字母識別系統(tǒng)的總體性能 研究英文字母識別的 BP 神經(jīng)網(wǎng)絡(luò)模型，最終目的就是要使 BP 字母識別系統(tǒng)實現(xiàn)工 業(yè)化，能像現(xiàn)在的一些手寫英文字母識別系統(tǒng)或印刷體英文字母識別系統(tǒng)濟南大學泉城學院畢業(yè)論文 2 一樣成為產(chǎn)品走向市場。字母識別固然有很多難題，但是相信隨著科學計算機技術(shù)、人工神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及人腦功能的進一步揭示，英文字母識別的理論和方法必將有大的飛躍 .結(jié)合人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史，我們有著對 BP 神經(jīng)網(wǎng)絡(luò)的展望。雖然神經(jīng)網(wǎng)絡(luò)的理論研究有著廣闊的發(fā)展前景 ,但是每個領(lǐng)域的研究就是既充滿誘惑又充滿挑戰(zhàn) . 沒有人可以肯定告訴我們它的發(fā)展不會再經(jīng)受挫折 ,也沒有人會知道一旦成功實現(xiàn)其最終的目標會給世界帶來多大的巨變 . 但是我們有理由相信堅持不懈地 致力于 BP 神經(jīng)網(wǎng)絡(luò)理論方法研究必定會給 21 世紀科學研究帶來輝煌 。 研究現(xiàn)狀 于 21 世紀 40 年代早期人工神經(jīng)網(wǎng)絡(luò)在國外率先得到發(fā)展。下面將以時間為順序，以著名的人物或某一方面的突出研究成果為線索，簡要介紹人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程。在 1943 年， W Mcculloch 和 W Pitts 通過分析、總結(jié)神經(jīng)元的特性的基礎(chǔ)上提出了神經(jīng)元的數(shù)學模型。該模型一直沿用至今，并且一直影響該領(lǐng)域研究的進展。因而，稱二人為人工神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的標志人物。 1982 年，美國加州工物理學院 提出了 Hopfield 神經(jīng)網(wǎng)格模型，引入了“計算能量”的概念，給出了網(wǎng)絡(luò)穩(wěn)定性判斷。 1984 年，他又提出了連續(xù)時間 Hopfield神經(jīng)網(wǎng)絡(luò)模型，為神經(jīng)計算機的研究做了開拓性的貢獻，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計算的全新的途徑，有力地推動了神經(jīng)網(wǎng)絡(luò)的研究發(fā)展， 1985 年，又有學者提出了波耳茲曼模型，在學習中采用統(tǒng)計熱力學模擬退火技術(shù)，保證整個系統(tǒng)趨于全局的穩(wěn)定點在日本的“真實世界計算”項目中，人工智 能的研究成了一個重要的組成部分。 [1] 我國在識別領(lǐng)域的研究起步較晚，在 20 世紀 70 年代才開始對符號、字母、數(shù)字進行識別 研究，對漢字的識別研究開始于 70 年代末期，到 86 年我國漢字的識別研究進人一個跨越性的時期，并取得了豐碩成果，并相繼推出了許多中文識別的實用產(chǎn)品。我國的許多研究部門在 80 年代初期就開始對字符識別進行研究，從 80 年代開始，神經(jīng)網(wǎng)絡(luò)的識別研究開發(fā)就一直受到國家“ 863”計劃的資助與支持，并已經(jīng)有了初步的回報。排列瀏覽方法以及高速計算機的出現(xiàn)，產(chǎn)生了圖像處理過程這一概念。“圖像處理過程”并不要求 BP 識別成功地派上用場，例如， BP 神經(jīng)網(wǎng)絡(luò)系統(tǒng)將文件轉(zhuǎn)變成電子數(shù)字條目的能力，將有效地取代顯微膠片。相對于處理現(xiàn)實中的文件 式顯微膠片的圖片，這種系統(tǒng)能力為用戶提供了更方便地整理圖像的方法。 當通過上述的排列瀏覽方法生成識別邏輯單元后，圖像處理可以采用“離線”方式而不是過去的 實時 方式。這是區(qū)別早期識別系統(tǒng)的最大的優(yōu)點，現(xiàn)在的識別系統(tǒng)能夠允許強有力的邏輯系統(tǒng)持續(xù)工作，并不再對要瀏覽的字符的大小字體濟南大學泉城學院畢業(yè)論文 3 及數(shù)據(jù)位置兩方面信息作出的要求。譬如金融服務(wù)業(yè)的支票處理服務(wù)的“便捷圖像數(shù)據(jù)辨別”就是這樣的。 手寫字母識別方法 英文字母的結(jié)構(gòu)表達形式和相應(yīng)的單詞形成方法有多種，每種結(jié)構(gòu)形式又可以選擇不同的特征，并且特征有不同的抽取方法，這 樣識別算法、標準、舉學工具也不相同，這就造成了英文字母識別的算法種類繁多，結(jié)構(gòu)不盡相同。因此，不同特征提取特征和神經(jīng)網(wǎng)絡(luò)的設(shè)計方法決定了識別系統(tǒng)所用得處理方法。通?？梢苑譃榻y(tǒng)計模式方法、結(jié)構(gòu)模式方法、統(tǒng)計與結(jié)構(gòu)相結(jié)合的方法和人工神經(jīng)網(wǎng)絡(luò)方法 . 結(jié)構(gòu)模式識別方法 運用模式的基元和基元間的結(jié)構(gòu)關(guān)系對模式描述與識別。在很多情況下，可以運用形式語言理論中的文法對模式的結(jié)構(gòu)內(nèi)容進行表示，有時也稱其為句法模式識別。 預處理、文法推斷、模式表達、句法分析四個部分（如 圖 ）構(gòu)成了結(jié)構(gòu)模式識別系統(tǒng)。 圖 ，句法模式識別框圖 統(tǒng)計模式識別方法 廣義地說，存在于時間和空間中可以觀察的事物，如果可以區(qū)別它們是否相同或相似，都可以稱為模式；狹義地說，模式是通過對具體的個別事物進行觀測 所得到的具有時間和空間分布的信息；把模式所屬的類別或同一類中模式的總體 輸入模式 分類及描述 句法分析 模式表達 預處理 樣本模式 文法判斷 濟南大學泉城學院畢業(yè)論文 4 稱之為模式類 (又簡稱為類）。而“模式識別”則是在某些一定量度或觀測基礎(chǔ)上把待識模式劃分到各自的模式類中去。 [31] 對模式的統(tǒng)計分類方法，即把模式類看成是用某個隨機向量實現(xiàn)的集合，又稱為決策理論識別方 法。屬于同一類別的各個模式之間的差異，部分是由環(huán)境噪聲和傳感器的性質(zhì)所引起的，部分是模式本身所具有的隨機性質(zhì)。前者如紙的質(zhì)量、墨水、污點對書寫字符的影響；后者表現(xiàn)為同一個人書寫同一字符時，雖形狀相似，但不可能完全一樣。因此當用特征向量來表示這些在形狀上稍有差異的字符時，同這些特征向量對應(yīng)的特征空間中的點便不同一，而是分布在特征空間的某個區(qū)域中。這個區(qū)域就可以用來表示該隨機向量實現(xiàn)的集合。模式識別系統(tǒng)在進行工作時只要判斷被識別的對象落入哪一個區(qū)域，就能確定出其所屬的類別。 統(tǒng)計與結(jié)構(gòu)相結(jié)合的識別方 法 統(tǒng)計與結(jié)構(gòu)相結(jié)合的識別方法能夠很好的解決字符正確識別率的問題，結(jié)構(gòu)識別方法和統(tǒng)計識別方法分別應(yīng)用在識別的不同層次上。統(tǒng)計識別用于基元的提取上二結(jié)構(gòu)識別用于整體符號的識別上，我們可以分為以下幾步： （ 1）符號處理：用細化和歸一化對待識字符進行處理。 （ 2）基元提取：利用神經(jīng)網(wǎng)絡(luò)和 Freeman 分別生成節(jié)點基元集合和連線基元集合，他們組成了符號基元集合 （ 3）符號文法：利用得到的符號基元集合來建立符號的有向圖的表示法再利用圖的遍歷算法遍歷所有節(jié)點形成符號句再用模糊度形成三級模糊度符號句子。 （ 4）句子匹配： 對符號的三級模糊度進行匹配進而得到識別結(jié)果。 [6] 人工神經(jīng)網(wǎng)絡(luò)方法 人工神經(jīng)網(wǎng)絡(luò)（ ArtificialNeuralNetworks，簡寫為 ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（ NNs）又稱作連接模型（ ConnectionistModel），它模范動物的神經(jīng)網(wǎng)絡(luò)行為特征，是一種分布式并行信息處理的算法模型。該網(wǎng)絡(luò)通過調(diào)整內(nèi)部節(jié)點間相互的連接關(guān)系，進行信息處理。人工神經(jīng)網(wǎng)絡(luò)具備自學習和自適應(yīng)能力，通過先前提供的大量的輸入數(shù)據(jù)，進行分析，掌握輸入輸出之間內(nèi)在的規(guī)律，最終利用這些規(guī)律，利用提取得到的新數(shù)據(jù)來計算 輸出結(jié)果，這種學習分析的過程被稱為“訓練”。 人工神經(jīng)網(wǎng)絡(luò)包括 LMBP 神經(jīng)網(wǎng)絡(luò)、 GA 神經(jīng)網(wǎng)絡(luò)、 BP 神經(jīng)網(wǎng)絡(luò)等多種神經(jīng)網(wǎng)絡(luò)。 [8] 濟南大學泉城學院畢業(yè)論文 5 識別系統(tǒng)性能的評價 衡量一個 BP 神經(jīng)網(wǎng)絡(luò)系統(tǒng)性能好壞的主要指標有：正確識別率（正確識別率 = 正確識別樣本數(shù) / 全部樣本數(shù) *100 %） 、 錯誤識別率、識別速度、用戶界面的