【文章內(nèi)容簡介】 果表明使用神經(jīng)網(wǎng)絡(luò)進(jìn)行字母識(shí)別表現(xiàn)良好。 神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)是對人腦思維的一種模擬和抽象，是一種由 很多 神經(jīng)元組成的非線性系統(tǒng)。 以生物 大腦 的 神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，使 計(jì)算機(jī) 智能更接近人腦的 學(xué)習(xí)和處理 模式 。 它在模式識(shí)別 、 聚類分析和專家系統(tǒng)等各個(gè)方面表現(xiàn)出了很好的前景。 神經(jīng)網(wǎng)絡(luò)可以當(dāng)作是輸入到 輸出空間的一個(gè)非線性映射。它能通過對輸入樣本的學(xué)習(xí)來發(fā)發(fā)現(xiàn)輸入與輸出空間之間的關(guān)系，實(shí)現(xiàn)對 樣本 的分類 。因?yàn)樯窠?jīng)網(wǎng)絡(luò) 是一種對數(shù)據(jù)輸入的分布 沒有 任何要求的非線性的網(wǎng)絡(luò)，它能很好的解決非線性的分類問題，因而得到廣泛的應(yīng)用。 人工神經(jīng)網(wǎng)絡(luò)具有如下特點(diǎn) ： 桂林電子科技大學(xué)畢業(yè)設(shè)計(jì)（論文）報(bào)告用紙 第 3 頁 共 37 頁 分布存儲(chǔ) 及 容錯(cuò)性 。 信息不是存儲(chǔ)在一個(gè)地方，而是 根據(jù) 內(nèi)容分布在整個(gè)網(wǎng)絡(luò)上，網(wǎng)絡(luò)某一 個(gè)地方 不是只存儲(chǔ)一個(gè)外部信息，而 是 每個(gè)神經(jīng)元存儲(chǔ)多種信息的內(nèi)容。網(wǎng)絡(luò)的每部分對信息的存儲(chǔ)有等勢作用。這種分布式存儲(chǔ)算法是存儲(chǔ)區(qū)與運(yùn)算區(qū)合為一體的。在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲(chǔ)的知識(shí)則采用“聯(lián)想 ”的辦法，即當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò) 有 輸入 時(shí)，它要在己存的知識(shí)中尋找與該輸入匹配最好的存儲(chǔ)知識(shí) 當(dāng)作 解。當(dāng)然在信息輸出時(shí)也還要經(jīng)過 處理。而不是直接從記憶中取出。這種存儲(chǔ)方式的優(yōu)點(diǎn)在于若部分信息不完全，就是說或者丟失或者損壞甚至有錯(cuò)誤的信息，它仍能恢復(fù)出原來正確的完整的信息，系統(tǒng)仍能運(yùn)行。這就是網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能，自然是表現(xiàn)出較強(qiáng)的魯莽性。人的大腦的容錯(cuò)性是它的一種重要的智慧形式。 人工神經(jīng)元網(wǎng)絡(luò)在結(jié)構(gòu)上是并行的，而且網(wǎng)絡(luò)的各個(gè)單元可以同時(shí)進(jìn)行類似的處理過程。因此，網(wǎng)絡(luò)中的信息處理是在大量單元中平行而又有層次地 進(jìn)行 的 ，運(yùn)算速度高，大大超過傳統(tǒng)的序列式運(yùn)算。雖然每個(gè)神經(jīng)元的信息傳遞 (神經(jīng)脈沖 )速度是以毫秒計(jì)算的，比普通序列式計(jì)算機(jī)要慢很多，但是人通常能在 1 秒內(nèi)即可作出對外界事物的判斷和決策、這就是能神奇地完成所謂“百步”決策。這按照現(xiàn)有傳統(tǒng)的計(jì)算機(jī)及人工智能技術(shù)目前還是做不到的。 自學(xué)習(xí)、自組織和自適應(yīng)性 。 學(xué)習(xí)和適應(yīng)要求在時(shí)間過程中系統(tǒng)內(nèi)部結(jié)構(gòu)和聯(lián)系方式有改變，神經(jīng)元網(wǎng)絡(luò)是一種變結(jié)構(gòu)系統(tǒng)，恰好能完成對環(huán)境的活應(yīng)和對外界事物的學(xué)習(xí)能力。神經(jīng)元之間的連接有多種多樣，各神經(jīng)元之間連接強(qiáng)度具有一定的可塑性，相當(dāng)于突觸傳遞信 息能力的變化，這樣，網(wǎng)絡(luò)可以通過學(xué)習(xí)和訓(xùn)練進(jìn)行自組織以適應(yīng)不同信息處理的要求。 神經(jīng)元網(wǎng)絡(luò)是大量神經(jīng)元的集體行為，并不是各單元行為的簡單的相加，而表現(xiàn)出一般復(fù)雜非線性動(dòng)態(tài)系統(tǒng)的特性。如不可預(yù)測性、不可逆性、有各種類型的吸引子 (信息正是“存儲(chǔ)”在定點(diǎn)吸引子 )和出現(xiàn)混沌現(xiàn)象等。 正是由于神經(jīng)網(wǎng)絡(luò)具有這些特點(diǎn)，所以可以處理一些環(huán)境信息十分復(fù)雜、知識(shí)背景不清楚和推理規(guī)則不明確的問題。例如語音識(shí)別和識(shí)別、醫(yī)學(xué)診斷以及市場估計(jì)等，都是具有復(fù)雜非線性和不確定性對象的控制。在那里，信源提供的模式豐富多彩，有的互相間存在矛盾 ，而判定決策原則又無條理可循。通過神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí) (按照學(xué)習(xí)法則 )，從典型事例中學(xué)會(huì)處理具體事例，給出比較滿意的解答。 由于神經(jīng)網(wǎng)絡(luò)具有分布存儲(chǔ)信息必并行處理信息的特點(diǎn)，因此它對外界輸入數(shù)據(jù)具有聯(lián)想記憶的能力。此種能力通過神經(jīng)元之間的互連結(jié)構(gòu)和對信息處理的集體性來達(dá)到的。神經(jīng)網(wǎng)絡(luò)通過權(quán)值和中、連接結(jié)構(gòu)來表達(dá)記憶的信息民，這種分布式存儲(chǔ)結(jié)構(gòu)使神經(jīng)網(wǎng)絡(luò)能夠存儲(chǔ)較多的復(fù)雜模式和記憶模式的能力。 神經(jīng)網(wǎng)絡(luò)能通過原來存儲(chǔ)的信息和學(xué)習(xí)進(jìn)行自我訓(xùn)練學(xué)習(xí)，可以從不完整的有缺陷的數(shù)據(jù)中恢愎原始最初的完整的信息，這一能力在數(shù)字識(shí)別 中具有很大的作用。 神經(jīng)網(wǎng)絡(luò)是表達(dá)是 非線性的非解析的，輸入與輸出數(shù)據(jù)之間的映射規(guī)則由網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練過 程中自動(dòng)的提取，并且存儲(chǔ)在網(wǎng)絡(luò)之中。 桂林電子科技大學(xué)畢業(yè)設(shè)計(jì)（論文）報(bào)告用紙 第 4 頁 共 37 頁 具有非線性映射的能力使神經(jīng)網(wǎng)絡(luò)應(yīng)用非常廣闊。 目前 , 隨著計(jì)算機(jī)的 快 速發(fā)展，性價(jià)比不斷 的 提高，模式識(shí)別技術(shù)己經(jīng)從理論探討為主發(fā)展到大量的實(shí)際應(yīng)用，人 們將更多的注意力開始轉(zhuǎn)向那些用于語音，圖像、機(jī)器人以及人工智能 的模式識(shí)別實(shí)際問題。解決這些問題的關(guān)鍵是需要進(jìn)行復(fù)雜而龐大的實(shí)時(shí)數(shù)據(jù)處理，而 因?yàn)?現(xiàn)有計(jì)算機(jī)的存貯容量及計(jì)算復(fù)雜性的局限，使得真正 的廣泛 應(yīng)用受阻。 這種面向?qū)崟r(shí)應(yīng)用的模式 識(shí)別問題促使人們開始將并行處理的神經(jīng)網(wǎng)絡(luò)應(yīng)到模式識(shí)別，而神經(jīng)網(wǎng)絡(luò)模式識(shí)別技術(shù)又將模式識(shí)別實(shí)時(shí)應(yīng)用推進(jìn)了一大步，數(shù)字識(shí)別就是這種應(yīng)用的一個(gè)很重要的領(lǐng)域。 數(shù)字識(shí)別是一項(xiàng)極具研究價(jià)值的課題，隨著神經(jīng)網(wǎng)絡(luò)和模糊邏輯技術(shù)的發(fā)展，人們對這一問題的研究又采用了許多新的方法和手段，也使得這一古老的課題煥發(fā)出新的生命力 .目前國際上有相當(dāng)多的學(xué)者在研究這一課題，它包括了模式識(shí)別領(lǐng)域中所有典型的問題 :數(shù)據(jù)的采集、處理及選擇、輸入樣本表達(dá)的選擇、模式識(shí)別分類器的選擇以及用樣本集對識(shí)別器的有指導(dǎo)的訓(xùn)練。人工神經(jīng)網(wǎng)絡(luò)為數(shù)字識(shí)別提供了 新的手段。正是神經(jīng)網(wǎng)絡(luò)所具有的這種自組織自學(xué)習(xí)能力、推廣能力、非線性和運(yùn)算高度并行的能力使得模式識(shí)別成為目前神經(jīng)網(wǎng)絡(luò)最為成功的應(yīng)用領(lǐng)域。 本文的具體工作 本文給出了一個(gè)脫機(jī)手寫體數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)方案，針對手寫體數(shù)字識(shí) 別中的特征提取、分類器設(shè)計(jì)兩大功能模塊進(jìn)行探索性研究。并使用神經(jīng)網(wǎng)絡(luò)法實(shí)現(xiàn)了手寫字母的識(shí)別以及使用 模板匹配法實(shí)現(xiàn)了手寫數(shù)字的識(shí)別。 具體章節(jié)安排如下： 第一章 講 述了數(shù)字識(shí)別的發(fā)展歷史 、遇到的問題和困難、脫機(jī)手寫數(shù)字識(shí)別研究的意義以及 BP 人工神經(jīng)網(wǎng)絡(luò)在脫機(jī)手寫數(shù)字識(shí)別中的應(yīng)用。 第二章 介 紹了人工神經(jīng)網(wǎng)絡(luò)的 生物模型，并且介紹了 bp 神經(jīng)網(wǎng)絡(luò)的 數(shù)學(xué)模型和 一些改進(jìn)方法 ，在最后給出了其實(shí)現(xiàn)的流程圖。 第三章詳細(xì)講述了模板匹配法的數(shù)學(xué)模型，以及其程序?qū)崿F(xiàn)流程圖。 第四章介紹了本文中使用的特征提取方法，以及特征提取類的設(shè)計(jì)，及數(shù)據(jù)的提取方法。 第五章介紹了本文中的數(shù)字字母識(shí)別系統(tǒng)的具體軟件實(shí)現(xiàn)，及各個(gè)類之間的相互關(guān)系 。并且詳細(xì)介紹了神經(jīng)網(wǎng)絡(luò)類的實(shí)現(xiàn)。 使用簡單模板匹配法實(shí)現(xiàn)手寫數(shù)字的訓(xùn)別 。 第六章簡要介紹了程序的界面實(shí)現(xiàn) 。 桂林電子科技大學(xué)畢業(yè)設(shè)計(jì)（論文）報(bào)告用紙 第 5 頁 共 37 頁 2 人工神經(jīng)網(wǎng)絡(luò) 原理 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)簡介 神 經(jīng)系統(tǒng)的基本構(gòu)造單元是神經(jīng)細(xì)胞，也稱神經(jīng)元。它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號的功能。每個(gè)神經(jīng)元都包括三個(gè)主要部分 :細(xì)胞體、樹突和軸突。樹突的作用是向四方收集由其他神經(jīng)細(xì)胞傳來的信息，軸突的功能是傳出從細(xì)胞體送來的信息。每個(gè)神經(jīng)細(xì)胞所產(chǎn)生和傳遞的基本信息是興奮或抑制。在兩個(gè)神經(jīng)細(xì)胞之間的相互接觸點(diǎn)稱為突觸。神經(jīng)元網(wǎng)絡(luò) 的 簡單 結(jié)構(gòu)如 下 圖所示。 從信息的傳遞過程來看，一個(gè)神經(jīng)細(xì)胞的樹突，在突觸處從其他神經(jīng)細(xì)胞接受信號。這些信號可能是興奮性的，也可能是抑制性的。所有樹突接受到的信號都傳到細(xì)胞體進(jìn)行綜合處理，如果在一個(gè)時(shí)間 段 內(nèi)，某一細(xì)胞接受到的興奮 的 信號量足夠大， 從而使該細(xì)胞被激活，產(chǎn)生一個(gè)脈沖信號。這個(gè)信號將沿著該細(xì)胞的軸突傳送出去，并通過突觸傳給其他神經(jīng)細(xì)胞 。 神經(jīng)細(xì)胞通過突觸的聯(lián)接形成神經(jīng)網(wǎng)絡(luò)。 （ 1）細(xì)胞體（ 2）樹突（ 3）軸突（ 4）突觸 人們正是通過對人腦神經(jīng)系統(tǒng)的初步認(rèn)識(shí)，嘗試構(gòu)造出人工神經(jīng)元以組成人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)來 模訪 人的 智能，甚至是 對 思維行為進(jìn)行研究 :嘗試從理性角度 說 明大腦的高級機(jī)能。經(jīng)過幾十年的努力與發(fā)展，己涌現(xiàn)出上百種人工神經(jīng)網(wǎng)絡(luò)模型，它們的網(wǎng)絡(luò)結(jié)構(gòu)、性能、算法及應(yīng)用領(lǐng)域各異， 但均是根據(jù)生物學(xué)事實(shí)衍生出來的。由于其基本處理單元是對生物神經(jīng)元的近似仿真，因而被稱之為人工神經(jīng)元。它用于仿效生物神經(jīng)細(xì)胞 桂林電子科技大學(xué)畢業(yè)設(shè)計(jì)（論文）報(bào)告用紙 第 6 頁 共 37 頁 最基本的特性，與生物原型相對應(yīng)。 人工神經(jīng)元的主要結(jié)構(gòu)單元是信號的輸入、處理和輸出，其輸出信號的強(qiáng)度大小反映了該單元對相鄰單元影響的強(qiáng)弱。人工神經(jīng)元之間通過互相聯(lián)接形成網(wǎng)絡(luò)，稱為人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接模式，相互之間的聯(lián)接度由聯(lián)接權(quán)值體現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)中，改變信息處理過程及其能力，就是修改網(wǎng)絡(luò)權(quán)值的過程。 目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上都采用如下的一些原則 : 由一定數(shù)量的單元分層聯(lián)接構(gòu)成 。 每個(gè)單元的輸入、輸出信號以及綜合處理內(nèi)容都比較簡單 。 網(wǎng)絡(luò)的學(xué)習(xí)和知識(shí)存儲(chǔ)體現(xiàn)在各單元之間的聯(lián)接 權(quán)值 上。 人工神經(jīng)元模型是生物神經(jīng)元的模擬與抽象。如圖是一種神經(jīng) 網(wǎng)絡(luò) 的一種模型，它是由模擬神經(jīng)元的細(xì)胞體、軸突、突觸、樹突等各個(gè)部分組成 ： 人工神經(jīng)元相當(dāng)于一個(gè)多輸入單輸出的非線性閾值器件。 Xn 表示它的 n個(gè)輸入， Wn表示與之相連的 n個(gè)輸入的連接權(quán)。 WiXi? 稱為激活值 ，表示此神經(jīng)元的 輸入的總和。O 表示這個(gè)神經(jīng)元的輸出 ， θ 表示此神經(jīng)元的閾值 ，如果輸入的信息超過閾值，則此神經(jīng)元會(huì)被激活，所示神經(jīng)元的輸出可以如下表示： ? ?O f W iX i ???? f()是 神經(jīng)元輸入和輸出之間的關(guān)系函數(shù) ，叫做激活函數(shù)或都輸出函數(shù)。 W 為神經(jīng)元之間的連接的權(quán)值。 X1 X2 X3 W3 W2 w1 o f θ WiXi? 桂林電子科技大學(xué)畢業(yè)設(shè)計(jì)（論文）報(bào)告用紙 第 7 頁 共 37 頁 X為輸入向量 : 設(shè) T W X? 是 連接權(quán)與輸入之間的矢量積，則激活函數(shù)可寫為： ()f 。 閾值 θ 不是常數(shù)，它是 隨神經(jīng)元的激活而不斷調(diào)整變化的 。 激活函數(shù)主要有三種形式：閾值函數(shù)， Sigmoid 函數(shù)以及分段線性函數(shù)。 a. 閾值函數(shù)，也可稱為階躍函數(shù)，如下： 函數(shù)，也稱為 S 型函數(shù)： 它是人式神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。 ： 桂林電子科技大學(xué)畢業(yè)設(shè)計(jì)（論文）報(bào)告用紙 第 8 頁 共 37 頁 神經(jīng)元間的連接方式不同，網(wǎng)絡(luò)的連接結(jié)構(gòu)也不一樣，根據(jù)神經(jīng)元之間的連接方法主要分為層次結(jié)構(gòu)，相互連 接 構(gòu)。 層次型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)把神經(jīng)元按功能分為許多層，比如有輸入層，中間層，輸出層，中間層也叫做 隱層，可以有多個(gè)中間層。各個(gè)層之間通過合適的權(quán)值順序相連。如下圖所示： 輸入層負(fù)責(zé)接收來自外部的輸入數(shù)據(jù)，然后通過神經(jīng)元的連接權(quán)將信息數(shù)據(jù)傳遞中間層 的各個(gè)神經(jīng)元 。中間層處理網(wǎng)絡(luò)的內(nèi)部信息，完成信息的變換，根據(jù)實(shí)際情況可以設(shè)計(jì)多個(gè)層，完成信息處理后由輸出層向外界輸出網(wǎng)絡(luò)的處理結(jié)果 。 b. 互連結(jié)構(gòu) 對于互連結(jié)構(gòu)，網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接?；ミB結(jié)構(gòu)，可分為全互連型，局部互連型，稀疏互連型結(jié)構(gòu) 。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 方 法 有三 類：有導(dǎo)師學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)、灌輸式學(xué)習(xí) 。 有導(dǎo)師學(xué)習(xí)也 叫做 監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯(cuò)規(guī)則。在學(xué)習(xí)訓(xùn)練過程中需要不斷的給網(wǎng)絡(luò)提供一個(gè) 標(biāo)準(zhǔn) 模式和一個(gè)期望的輸出的模式， 叫做 “導(dǎo)師信號”。將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出同期望輸出進(jìn)行比較，當(dāng)網(wǎng)絡(luò)的輸出與期望輸出的教師信號不符時(shí)，根據(jù)差錯(cuò)的方向和大小按一定的規(guī)則調(diào)整權(quán)值，以使下一步網(wǎng)絡(luò)對于各種給定的輸入均能產(chǎn)生所期望的輸出時(shí)，即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)會(huì)”了訓(xùn)練數(shù)據(jù)集中包含的知識(shí)和規(guī)則，可以用來進(jìn)行工作了。 無導(dǎo)師學(xué)習(xí)也稱為無監(jiān)督學(xué)習(xí)，學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部 結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值，這個(gè)過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果 桂林電子科技大學(xué)畢業(yè)設(shè)計(jì)（論文）報(bào)告用紙 第 9 頁 共 37 頁 是使網(wǎng)絡(luò)能對屬于同一類的模式進(jìn)行自動(dòng)分類。在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)權(quán)值調(diào)整不取決于處來數(shù)據(jù)信號的影響，可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。 BP 神經(jīng)網(wǎng)絡(luò) 原理 BP 算法的基本思想是，學(xué)習(xí)過和中由信號怕正向傳播與誤反向傳播兩個(gè)過程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的輸出與期望的輸出不符，則轉(zhuǎn)入誤差的反向傳播價(jià)段。誤差反向傳 播將輸出層誤差以某中形式通過隱層向輸入層受逐層反傳，并將誤差分?jǐn)偨o各層的所有單元。從而獲得各層單元的誤差信號，此誤差信號媽作為修正各單元權(quán)值的依據(jù)。這各信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程是周而復(fù)始的進(jìn)行的。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練