【正文】 ................................................................................................................. 31 參考文獻 ............................................................................................................................................ 32 附 錄 .................................................................................................................................................. 33 引言模式識別的具體過程大致是對研究對象進行數(shù)據(jù)采集，數(shù)據(jù)預(yù)處理，特征提取和選擇以及模式分類四步驟。1 模式識別概述 模式識別基本概念模式識別就是機器識別、計算機識別或者機器自動化識別，目的在于讓機器自動識別事物，使機器能做以前只能由人類才能做的事，具備人所具有的對各種事物與現(xiàn)象進行分析、描述與判斷的部分能力。機器辨別事物最基本的方法是計算，原則上說是對計算機要分析的事物與標(biāo)準(zhǔn)模板的相似程度進行比較計算。如對于識別“0”到“9”這 10 個阿拉伯?dāng)?shù)字的課題研究，可以將其轉(zhuǎn)化為把待識別的字符分為從“0”到“9”這十類中某一類的問題。在模式識別技術(shù)中，被待觀測的每個對象稱為樣品。模式就是樣品所具有特征的描述。如果一個樣品 有 個特征，則可以把 看作一個 維列向量，該向量 稱為特征向量。待識別的不同模式都在同一特征空間中考察，不同模式類由于性質(zhì)上的不同，它們在各特征取值范圍內(nèi)有所不同，因而會在不同的特征空間的不同區(qū)域中出現(xiàn)，因此，模式識別系統(tǒng)的目標(biāo)是在特征空間和解釋空間之間找到一種映射關(guān)系。解釋空間是由所有不同所屬類別的集合構(gòu)成。 模式識別系統(tǒng)對于一個具體的模式識別問題，一般要進行數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取與選擇以及模式分類四步驟。在模式識別中，通常將經(jīng)數(shù)據(jù)預(yù)處理后的原始數(shù)據(jù)所在的空間稱為測量空間，把分類進行的空間叫做特征空間。圖 12　模式識別系統(tǒng)示意在兩個模塊中都需要數(shù)據(jù)的預(yù)處理，而數(shù)據(jù)預(yù)處理功能是多方面的，如除去噪聲信號的邊緣影響；將研究有關(guān)的模式分離；對模式樣品標(biāo)準(zhǔn)化等。這樣對于輸入樣品進行分析，除去對分類無用或者易造成混淆的特征，盡量保留對分類判別有效的數(shù)值特征，于是完成模式識別的特征選擇。 模式識別的主要方法模板匹配方法、結(jié)構(gòu)模式識別和統(tǒng)計模式識別是目前常用的模式識別方法。隨著科學(xué)技術(shù)的發(fā)展和研究對象的深入，模式識別問題也變得非常復(fù)雜多變，這就要求人們對于事物的識別不僅局限于簡單的模式分類，還需要應(yīng)對模式結(jié)構(gòu)作全面完善的描述，從而需要運用結(jié)構(gòu)模式識別方法。在統(tǒng)計模式識別中，每一個模式采用多維特征或測量值來表示，最終的目的是由這些特征構(gòu)成的空間能將各模式類有效的分離。如何確定合適的特征空間是設(shè)計模式識別系統(tǒng)一個非常重要的問題，對特征空間進行優(yōu)化可以采用特征選擇和特征組合優(yōu)化兩種基本方法。根據(jù)這些樣品庫建立判別分類函數(shù)，這就讓機器學(xué)習(xí)來實現(xiàn)，然后對某些未知的新對象分析它們的特征以至決定它們屬于哪一類，就需要有監(jiān)督學(xué)習(xí)的方法。這樣就可能需要考慮用某種相似性度量的方法，即運用“物以類聚，人以群分”的思想，把特征相似或相同的歸為同一類，這樣就采用了無監(jiān)督的學(xué)習(xí)方法。模式識別技術(shù)同時也是人工智能的基礎(chǔ)技術(shù)。在運用模式識別技術(shù)中，我們需要根據(jù)具體問題與模式識別方法結(jié)合起來，同時把人工神經(jīng)網(wǎng)絡(luò)、智能計算結(jié)合起來，逐步通過模式分類、網(wǎng)絡(luò)訓(xùn)練、確定優(yōu)化區(qū)域，找到優(yōu)化準(zhǔn)則，從而實現(xiàn)優(yōu)化、應(yīng)用和發(fā)展。如手寫體阿拉伯?dāng)?shù)字的識別在郵政信函自動分揀上起到重要的作用。但是，語音識別課題已在不同領(lǐng)域中運用，尤其在身份鑒別中起到很大作用。應(yīng)該可以這樣說，模式識別技術(shù)在科學(xué)不斷發(fā)展的推動下，已逐漸被人們所認知和認同，并能結(jié)合新的有關(guān)科學(xué)研究技術(shù)，可以有效的解決復(fù)雜多變的識別問題，提供了一種分析解決問題的重要工具。人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和工作原理基本上是結(jié)合人腦的組織結(jié)構(gòu)和活動規(guī)律，來反映人腦的某些基本特征，但并不是對人腦部分的真實再現(xiàn)。根據(jù)生物神經(jīng)元的結(jié)構(gòu)和工作原理，構(gòu)造一個神經(jīng)元如圖 21 所示。這里的 表示 個神經(jīng)元的輸入；123,np?表示與該相連的 個突觸的連接強度其值成為權(quán)值，其每個元素的值可123,nw? n以為正負，正值的表示為興奮型突觸，負值的表示為抑制型突觸； 表示人工神1niwp??經(jīng)元的輸入總和，也就是激活值，對應(yīng)于生物神經(jīng)細胞的膜電位； 表示該神經(jīng)元的a輸出； 表示該人工神經(jīng)元的閥值； 表示神經(jīng)元的輸入輸出關(guān)系函數(shù)，亦即激活函?f數(shù)或傳輸函數(shù)。這樣可1niwp??以表示神經(jīng)元的激活函數(shù)為 .閥值 一般不是一個常數(shù)，是隨著神經(jīng)1niaf????????元的興奮程度而發(fā)生變化的。 閥值函數(shù)、Sigmoid 函數(shù)和分 線段性函數(shù)激活函數(shù)常用的三種類型是：閥值函數(shù)、Sigmoid 函數(shù)和分線段性函數(shù)。(1)閥值函數(shù)閥值函數(shù)定義為： ??1,??????該閥值函數(shù)通常稱為階躍函數(shù)，若激活函數(shù)采用階躍函數(shù)，則該人工神經(jīng)元模型即為著名的 MP 模型。此外，符號 函數(shù)也常作為神經(jīng)元的激活函數(shù)，即表示為：??sgnt ??1,???????(2)Sigmoid 函數(shù)Sigmoid 函數(shù)也稱為 型函數(shù)，是人工神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。通過調(diào)整參數(shù) ，可以獲取不同??1,atfte?? a斜率的 型函數(shù)。這種形式的激活函數(shù)可看作是非??,線性放大器的近似。分層型網(wǎng)絡(luò)是將一個神經(jīng)網(wǎng)絡(luò)中的所有神經(jīng)元按功能分為若干層，一般有輸入層、隱含層和輸出層，各層順序連接。相互連接型的神經(jīng)網(wǎng)絡(luò)則是網(wǎng)絡(luò)中任意兩個神經(jīng)元之間相互連接。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特點人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)一樣，必須要經(jīng)過學(xué)習(xí)才具有智能功能。模仿人的學(xué)習(xí)過程，人們提出了多種神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式，其中主要有三種形式：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。有監(jiān)督學(xué)習(xí)是指在有“導(dǎo)師”指導(dǎo)和考察的情況下進行學(xué)習(xí)的方式，所圖 22 所示?！皩?dǎo)師”都要考察學(xué)習(xí)的結(jié)果是否達到所需的要求，并以此來決定網(wǎng)絡(luò)是否需要繼續(xù)學(xué)習(xí)。其實這是一種自我學(xué)習(xí)、自我組織過程。輸入 p 實際輸出ａ 輸入 p 實際輸出ａ 輸入 p 實際輸出ａｅ誤差條件 評價標(biāo)準(zhǔn)期望輸出 圖 22 有監(jiān)督學(xué)習(xí)方式 圖 23 無監(jiān)督學(xué)習(xí)方式 圖 24 強化學(xué)習(xí)方式 人工神經(jīng)網(wǎng)絡(luò)在模式識別問題中應(yīng)用優(yōu)勢人工神經(jīng)網(wǎng)絡(luò)，簡稱神經(jīng)網(wǎng)絡(luò)，是對人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬，是一種基于連接學(xué)說構(gòu)造的智能仿生模型，是由大量神經(jīng)元組成的非線性動力系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的主要特點是：(1)并行協(xié)同處理信息。(2)知識的分布存儲能力。在計算機中，只要給定一個神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)誤差分析神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)外部環(huán)境地址就可以得到一個或一組數(shù)據(jù)。(3)對信息的處理具有自組織、自學(xué)習(xí)特點，便于聯(lián)想、綜合和推廣。(4)模式識別能力。模式識別也是人工神經(jīng)網(wǎng)絡(luò)最重要的特征之一。雖然模式識別往往是非常復(fù)雜的，里面的各個因素相互影響，呈現(xiàn)出復(fù)雜多變的非線性關(guān)系，但是人工神經(jīng)網(wǎng)絡(luò)技術(shù)為解決這類非線性問題提供了強有力的方法。事物發(fā)展總是有兩面的。3 神經(jīng)網(wǎng)絡(luò)模式識別 基于 BP 神經(jīng)網(wǎng)絡(luò)的模式識別單層神經(jīng)網(wǎng)絡(luò)只能解決線性可分的問題，對于非線性分類問題就需要運用多層神經(jīng)網(wǎng)絡(luò)，還需要尋找訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。 BP 算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)就是 BP 神經(jīng)網(wǎng)絡(luò)。BP 神經(jīng)網(wǎng)絡(luò)采用的是有監(jiān)督學(xué)習(xí)方式。BP 神經(jīng)網(wǎng)絡(luò)屬于前饋型神經(jīng)網(wǎng)絡(luò)，它具有前饋型神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)。隱層的非線性SR傳遞函數(shù)神經(jīng)元可以學(xué)習(xí)輸入輸出之間的線性和非線性關(guān)系，線性的輸出層是為了拓寬網(wǎng)絡(luò)輸出。在BP 網(wǎng)絡(luò)學(xué)習(xí)過程主要在兩個方面：(1)工作信號正向傳播：指的是輸入信號從輸入層經(jīng)隱層神經(jīng)元，傳向輸出層，在輸出端產(chǎn)生輸出信號。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差信號反向傳播。在此過程中，網(wǎng)絡(luò)的權(quán)值由誤差信號反饋進行相應(yīng)地調(diào)節(jié)。但是 BP 算法的存在以下主要缺點：收斂速度慢、局部極限、難以確定隱層和隱層節(jié)點個數(shù)。BP 算法的改進主要有兩種途徑：一種采用啟發(fā)式學(xué)習(xí)算法，另一種則是采用更有效的優(yōu)化算法。另一種優(yōu)化算法則是基于數(shù)值最優(yōu)化理論的訓(xùn)練算法，有共軛梯度法(traincgb\traincgf\traingcgp\trainscg)、高斯－牛頓法 (trainbfg\trainoss)和 LevenbergMarquardt 算法 (trainlm)。動量法降低了網(wǎng)絡(luò)對于誤差曲面局部細節(jié)的敏感性，所加入的動量項實際上相當(dāng)于阻尼項，它減少了學(xué)習(xí)過程的振蕩趨勢，從而改善了收斂性，提高了學(xué)習(xí)速度并增加了算法的可靠性。②有自適應(yīng) lr 的梯度下降法在梯度下降法中，學(xué)習(xí)速率對于整個網(wǎng)絡(luò)訓(xùn)練過程有很大的影響，訓(xùn)練成功與否跟學(xué)習(xí)速率的選取關(guān)系很大。其訓(xùn)練函數(shù)調(diào)整參數(shù)詳見附錄三。訓(xùn)練之前首先需要樣本，樣本中包含輸入向量 以及相應(yīng)的期望輸出向量 ，訓(xùn)練過程中應(yīng)不斷調(diào)整權(quán)值和閥PT值，使得神經(jīng)網(wǎng)絡(luò)的表現(xiàn)函數(shù)達到最小。aT這樣，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前需要構(gòu)造一個網(wǎng)絡(luò)構(gòu)架，函數(shù) newff( )就是構(gòu)造神經(jīng)網(wǎng)絡(luò)的，其指令格式：=newff=newff(PR,[S1 S2…SN],{TF1 TF2…TFN},BTF,BLF,PF)其中參數(shù)意義： 輸入向量的取值范圍；PR 第 層的神經(jīng)元個數(shù)，共 層；Sii N 第 層的傳遞函數(shù)，缺省值為‘tansig’；TF 網(wǎng)絡(luò)訓(xùn)練函數(shù)，缺省值為‘trainlm’；B 網(wǎng)絡(luò)權(quán)值和閥值的學(xué)習(xí)函數(shù)，缺省值為‘learngdm’；LP 性能函數(shù)，缺省值為‘mse’。然后需要調(diào)整參數(shù)方式和參數(shù)值，當(dāng)神N經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值初始化以后，我們就可以對網(wǎng)絡(luò)進行訓(xùn)練并仿真。不妨假設(shè)，26 個字母含 35 個元素的輸入向量被定義成一個輸入向量矩陣 alphabet(字母表)。其中每個目標(biāo)向量含有 26 個元素。同時網(wǎng)絡(luò)還應(yīng)具有容錯能力，對輸入向量，若其噪聲均值為 0，標(biāo)準(zhǔn)差不大于 ，則能夠分辨出來。考慮到神經(jīng)元數(shù)目的選擇，隱含層設(shè)計 10 個神經(jīng)元。接下來就初始化，使用 newff 創(chuàng)建一個兩層 BP 網(wǎng)絡(luò)%網(wǎng)絡(luò)初始化[alphabet,targets]=prprob。[S2,Q]=size(targets)。P=alphabet。logsig39。logsig39。traingdx39。{2,1}={2,1}*。T=targets。%網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置=39。=。=5000。%開始對無誤差輸入向量進行訓(xùn)練[,tr]=train(,P,T)。圖 32 無噪聲訓(xùn)練過程誤差變化曲線情況其訓(xùn)練過程變化情況：TRAINGDX, Epoch 0/5000, SSE , Gradient TRAINGDX, Epoch 20/5000, SSE , Gradient TRAINGDX, Epoch 40/5000, SSE , Gradient TRAINGDX, Epoch 60/5000, SSE , Gradient TRAINGDX, Epoch 80/5000, SSE , Gradient TRAINGDX, Epoch 100/5000, SSE , Gradient TRAINGDX, Epoch 120/5000, SSE , Gradient TRAINGDX, Epoch 140/5000, SSE , Gradient TRAINGDX, Epoch 154/5000, SSE , Gradient TRAINGDX, Performance goal met.同時，為了保證設(shè)計的網(wǎng)絡(luò)正確的識別，對加了噪聲的字母表進行訓(xùn)練，還有設(shè)置向字母表向量加入噪聲信號平均值分別為 和 ，與此同時，設(shè)置網(wǎng)絡(luò)訓(xùn)練最大時間為 300 個單位時間，并且誤差參數(shù)設(shè)為 。=。T=[targets targets targets targets]。[new,tr]=train(new,P,T)。%網(wǎng)絡(luò)再次對無誤差輸入向量進行訓(xùn)練P=alphabet。=39。=。=5000。[,tr]=train(,P,T)。我們可以得到網(wǎng)絡(luò)輸出誤差與噪聲信號的指標(biāo)的比較曲線，最后測試系統(tǒng)，實驗中驗證 、A、 、 、 、 、 、 、 、 、 、 、 ，對它們加入誤差信號，然后把CEGIKMOQSUWY它們輸入到網(wǎng)絡(luò)中，觀察其得到的輸出。max_test=100。for i=1:11 noiselevel(i)=noise_range(i)。 errors2(i)=0。 A=sim(,P)。 errors1(i)=errors1(i)+sum(sum(abs(AAT)))/2。 AAnew=pet(Anew)。 endendfigureplot(noise_range,errors1*100,39。,noise_range,errors2*100)。識別錯誤率39。xlabel(39。)。未經(jīng)誤差訓(xùn)練的網(wǎng)絡(luò) 經(jīng)過誤差訓(xùn)練的網(wǎng)絡(luò)39。%對實際含噪聲的字母進行識別for index=1:2:26noisyJ=alph