【文章內(nèi)容簡介】 模式分類、網(wǎng)絡(luò)訓(xùn)練、確定優(yōu)化區(qū)域，找到優(yōu)化準(zhǔn)則，從而實(shí)現(xiàn)優(yōu)化、應(yīng)用和發(fā)展。經(jīng)過多年的科學(xué)發(fā)展，文字識別是模式識別領(lǐng)域發(fā)展最為成熟并應(yīng)用最為廣泛的方面。如手寫體阿拉伯?dāng)?shù)字的識別在郵政信函自動分揀上起到重要的作用。語音識別的難度和復(fù)雜度都很高，因?yàn)橐崛≌Z音的特征，不僅要分析語音的結(jié)構(gòu)和語音的物理過程，還要涉及聽覺的物理和生理過程。但是，語音識別課題已在不同領(lǐng)域中運(yùn)用，尤其在身份鑒別中起到很大作用。同樣地，模式識別在醫(yī)學(xué)上應(yīng)用也很多，如醫(yī)學(xué)圖片分析、染色體的自動分類、癌細(xì)胞的分類等領(lǐng)域。應(yīng)該可以這樣說，模式識別技術(shù)在科學(xué)不斷發(fā)展的推動下，已逐漸被人們所認(rèn)知和認(rèn)同，并能結(jié)合新的有關(guān)科學(xué)研究技術(shù)，可以有效的解決復(fù)雜多變的識別問題，提供了一種分析解決問題的重要工具。 2 人工神經(jīng)網(wǎng)絡(luò)概述 人工神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)是指用大量的簡單計(jì)算單元(神經(jīng)元)構(gòu)成的非線性系統(tǒng),它在一定程度和層次上模仿了人腦神經(jīng)系統(tǒng)的信息處理、存儲及檢索功能，因而具有學(xué)習(xí)、記憶和計(jì)算等智能處理功能。人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和工作原理基本上是結(jié)合人腦的組織結(jié)構(gòu)和活動規(guī)律，來反映人腦的某些基本特征，但并不是對人腦部分的真實(shí)再現(xiàn)。人工神經(jīng)元模型是生物神經(jīng)元的模擬和抽象。根據(jù)生物神經(jīng)元的結(jié)構(gòu)和工作原理，構(gòu)造一個神經(jīng)元如圖 21 所示。人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本單元，從圖中可以看出，它相當(dāng)于一個多輸入單輸出的非線性閥值器件。這里的 表示 個神經(jīng)元的輸入；123,np?表示與該相連的 個突觸的連接強(qiáng)度其值成為權(quán)值，其每個元素的值可123,nw? n以為正負(fù)，正值的表示為興奮型突觸，負(fù)值的表示為抑制型突觸； 表示人工神1niwp??經(jīng)元的輸入總和，也就是激活值，對應(yīng)于生物神經(jīng)細(xì)胞的膜電位； 表示該神經(jīng)元的a輸出； 表示該人工神經(jīng)元的閥值； 表示神經(jīng)元的輸入輸出關(guān)系函數(shù)，亦即激活函?f數(shù)或傳輸函數(shù)。如果神經(jīng)元輸入的加權(quán)和 大于 ，則該神經(jīng)元被激活。這樣可1niwp??以表示神經(jīng)元的激活函數(shù)為 .閥值 一般不是一個常數(shù)，是隨著神經(jīng)1niaf????????元的興奮程度而發(fā)生變化的。激活函數(shù) 常用的三種類型是：閥值函數(shù)、Sigmoid 函數(shù)和分線段性函數(shù)。 閥值函數(shù)、Sigmoid 函數(shù)和分 線段性函數(shù)激活函數(shù)常用的三種類型是：閥值函數(shù)、Sigmoid 函數(shù)和分線段性函數(shù)?，F(xiàn)簡述這三種類型函數(shù)。(1)閥值函數(shù)閥值函數(shù)定義為： ??1,??????該閥值函數(shù)通常稱為階躍函數(shù)，若激活函數(shù)采用階躍函數(shù)，則該人工神經(jīng)元模型即為著名的 MP 模型。這時神經(jīng)元的輸出取 1 或 0，反映了神經(jīng)元的興奮或抑制。此外，符號 函數(shù)也常作為神經(jīng)元的激活函數(shù)，即表示為：??sgnt ??1,???????(2)Sigmoid 函數(shù)Sigmoid 函數(shù)也稱為 型函數(shù)，是人工神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。 型函數(shù)定S S義為： 其中 是 型函數(shù)的斜率參數(shù)。通過調(diào)整參數(shù) ，可以獲取不同??1,atfte?? a斜率的 型函數(shù)。S(3)分線段性函數(shù)分段性函數(shù)定義為： ??1,.,tft?????????該函數(shù)在線性區(qū)間 內(nèi)的放大系數(shù)是一致的。這種形式的激活函數(shù)可看作是非??,線性放大器的近似。 人工神經(jīng)網(wǎng)絡(luò)模型根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的不同，大致可以將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩種形式，即分層型和相互連接型神經(jīng)網(wǎng)絡(luò)。分層型網(wǎng)絡(luò)是將一個神經(jīng)網(wǎng)絡(luò)中的所有神經(jīng)元按功能分為若干層，一般有輸入層、隱含層和輸出層，各層順序連接。按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)的不同，可以將分層神經(jīng)網(wǎng)絡(luò)細(xì)分為簡單的前饋型網(wǎng)絡(luò)、具有反饋型的前饋網(wǎng)絡(luò)以及層內(nèi)的互連前饋型網(wǎng)絡(luò)。相互連接型的神經(jīng)網(wǎng)絡(luò)則是網(wǎng)絡(luò)中任意兩個神經(jīng)元之間相互連接。隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，人們對神經(jīng)網(wǎng)絡(luò)的認(rèn)識已不斷進(jìn)步和完善，提出了許多神經(jīng)網(wǎng)絡(luò)模型，其研究應(yīng)用廣泛的神經(jīng)網(wǎng)絡(luò)模型是 BP 神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)、自組織競爭神經(jīng)網(wǎng)絡(luò)、反饋型神經(jīng)網(wǎng)絡(luò)和概率神經(jīng)網(wǎng)絡(luò)等。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)一樣，必須要經(jīng)過學(xué)習(xí)才具有智能功能。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程實(shí)際是調(diào)節(jié)權(quán)值和閥值的過程。模仿人的學(xué)習(xí)過程，人們提出了多種神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式，其中主要有三種形式：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。學(xué)習(xí)往往是一個相對持久的變化過程，也是一個推理的過程。有監(jiān)督學(xué)習(xí)是指在有“導(dǎo)師”指導(dǎo)和考察的情況下進(jìn)行學(xué)習(xí)的方式，所圖 22 所示。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)根據(jù)一定的學(xué)習(xí)規(guī)則進(jìn)行學(xué)習(xí)，每次學(xué)習(xí)過程完成后?！皩?dǎo)師”都要考察學(xué)習(xí)的結(jié)果是否達(dá)到所需的要求，并以此來決定網(wǎng)絡(luò)是否需要繼續(xù)學(xué)習(xí)。無監(jiān)督學(xué)習(xí)是不存在“導(dǎo)師”的指導(dǎo)和考察，是靠學(xué)習(xí)者或神經(jīng)網(wǎng)絡(luò)系統(tǒng)自身完成的，如圖 23 所示。其實(shí)這是一種自我學(xué)習(xí)、自我組織過程。強(qiáng)化學(xué)習(xí)就介于有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩種方式之間，如圖 24 所示。輸入 p 實(shí)際輸出ａ 輸入 p 實(shí)際輸出ａ 輸入 p 實(shí)際輸出ａｅ誤差條件 評價標(biāo)準(zhǔn)期望輸出 圖 22 有監(jiān)督學(xué)習(xí)方式 圖 23 無監(jiān)督學(xué)習(xí)方式 圖 24 強(qiáng)化學(xué)習(xí)方式 人工神經(jīng)網(wǎng)絡(luò)在模式識別問題中應(yīng)用優(yōu)勢人工神經(jīng)網(wǎng)絡(luò)，簡稱神經(jīng)網(wǎng)絡(luò)，是對人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬，是一種基于連接學(xué)說構(gòu)造的智能仿生模型，是由大量神經(jīng)元組成的非線性動力系統(tǒng)。以生物神經(jīng)網(wǎng)絡(luò)為模擬基礎(chǔ)的人工神經(jīng)網(wǎng)絡(luò)試圖在模擬推理和自動學(xué)習(xí)等方面發(fā)展，使得人工智能更接近人腦的自組織和并行處理功能，它在信息處理、模式識別、聚類分析和智能控制等領(lǐng)域應(yīng)用廣泛。神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)是：(1)并行協(xié)同處理信息。神經(jīng)網(wǎng)絡(luò)中每個神經(jīng)元都可以根據(jù)接受到的信息進(jìn)行獨(dú)立的運(yùn)算和處理，并輸出計(jì)算結(jié)果，同一層的各個神經(jīng)元的輸出結(jié)果可以被同時計(jì)算出來，然后傳輸給下一層做進(jìn)一步處理，體現(xiàn)了神經(jīng)網(wǎng)絡(luò)并行處理運(yùn)算的特點(diǎn)，這使得它具有很強(qiáng)的實(shí)時性。(2)知識的分布存儲能力。在神經(jīng)網(wǎng)絡(luò)中，知識不是存儲在特定的存儲單元中，而是分布在整個系統(tǒng)中，要存儲多個知識就需要更多鏈接。在計(jì)算機(jī)中，只要給定一個神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)誤差分析神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)外部環(huán)境地址就可以得到一個或一組數(shù)據(jù)。人根據(jù)聯(lián)想記憶可以正確識別圖形，人工神經(jīng)網(wǎng)絡(luò)就采用聯(lián)想記憶的辦法來獲得存儲的知識，保證網(wǎng)絡(luò)的正確性，提高了網(wǎng)絡(luò)的容錯性和魯棒性。(3)對信息的處理具有自組織、自學(xué)習(xí)特點(diǎn)，便于聯(lián)想、綜合和推廣。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接強(qiáng)度用權(quán)值大小來表示，這種權(quán)值可以通過對訓(xùn)練樣本的學(xué)習(xí)而不斷變化，而且隨著訓(xùn)練樣本量的增加和反復(fù)學(xué)習(xí)，這些神經(jīng)元之間的連接強(qiáng)度會不斷增加，從而提高神經(jīng)元對這些樣本特征的反映靈敏度。(4)模式識別能力。目前有很多神經(jīng)網(wǎng)絡(luò)模型可以善于模式識別。模式識別也是人工神經(jīng)網(wǎng)絡(luò)最重要的特征之一。它不但可以能識別靜態(tài)信息，對實(shí)時處理復(fù)雜的動態(tài)信息也顯示強(qiáng)大的作用。雖然模式識別往往是非常復(fù)雜的，里面的各個因素相互影響，呈現(xiàn)出復(fù)雜多變的非線性關(guān)系，但是人工神經(jīng)網(wǎng)絡(luò)技術(shù)為解決這類非線性問題提供了強(qiáng)有力的方法?？v觀人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)，神經(jīng)網(wǎng)絡(luò)處理模式識別問題上，相比其他傳統(tǒng)方法，具有以下優(yōu)點(diǎn)：首先對所處理的問題的了解要求不是很多；其次就是可以對特征空間進(jìn)行更為復(fù)雜的劃分；再次它適用于高速并行處理系統(tǒng)的實(shí)現(xiàn)。事物發(fā)展總是有兩面的。人工神經(jīng)網(wǎng)絡(luò)也存在自身固有的弱點(diǎn)，如網(wǎng)絡(luò)需要更多的訓(xùn)練數(shù)據(jù)，無法獲取特征空間中的決策面，以及在非并行處理系統(tǒng)中的模擬運(yùn)行速度慢等缺點(diǎn)。3 神經(jīng)網(wǎng)絡(luò)模式識別 基于 BP 神經(jīng)網(wǎng)絡(luò)的模式識別單層神經(jīng)網(wǎng)絡(luò)只能解決線性可分的問題，對于非線性分類問題就需要運(yùn)用多層神經(jīng)網(wǎng)絡(luò)，還需要尋找訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。目前，最著名的多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法應(yīng)該是 BP 算法。 BP 算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)就是 BP 神經(jīng)網(wǎng)絡(luò)。在眾多人工神經(jīng)網(wǎng)絡(luò)模型中，大部分采用 BP 網(wǎng)絡(luò)或是它的變化形式，可以說 BP 神經(jīng)網(wǎng)絡(luò)是前饋型網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。BP 神經(jīng)網(wǎng)絡(luò)采用的是有監(jiān)督學(xué)習(xí)方式。 神經(jīng)網(wǎng)絡(luò)模型簡述前饋型神經(jīng)網(wǎng)絡(luò)通常含有一個或多個隱層，隱層中的神經(jīng)元基本均采用 型傳遞S函數(shù)，輸出層的神經(jīng)元采用線性傳遞函數(shù)。BP 神經(jīng)網(wǎng)絡(luò)屬于前饋型神經(jīng)網(wǎng)絡(luò)，它具有前饋型神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)。一個典型的 BP 神經(jīng)網(wǎng)絡(luò)如圖 31 所示，有一個隱層，隱層神經(jīng)元數(shù)目為 S,隱層采用 型神經(jīng)元函數(shù) logsig( )，具有 個輸入。隱層的非線性SR傳遞函數(shù)神經(jīng)元可以學(xué)習(xí)輸入輸出之間的線性和非線性關(guān)系，線性的輸出層是為了拓寬網(wǎng)絡(luò)輸出。 輸入向量 神經(jīng)元圖 31 BP 神經(jīng)網(wǎng)絡(luò)簡單模型 1()niafwp???? 學(xué)習(xí)算法BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法解決了多層感知器的學(xué)習(xí)問題，促進(jìn)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。在BP 網(wǎng)絡(luò)學(xué)習(xí)過程主要在兩個方面：(1)工作信號正向傳播：指的是輸入信號從輸入層經(jīng)隱層神經(jīng)元，傳向輸出層，在輸出端產(chǎn)生輸出信號。在信號的向前傳遞過程中的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差信號反向傳播。 (2)誤差信號反向傳播：指的是網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間差值即為誤差信號，誤差信號由輸出端開始逐層向前傳播。在此過程中，網(wǎng)絡(luò)的權(quán)值由誤差信號反饋進(jìn)行相應(yīng)地調(diào)節(jié)。通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更接近期望輸出。但是 BP 算法的存在以下主要缺點(diǎn)：收斂速度慢、局部極限、難以確定隱層和隱層節(jié)點(diǎn)個數(shù)。針對 BP 算法這些缺點(diǎn)，出現(xiàn)了許多改進(jìn)算法。BP 算法的改進(jìn)主要有兩種途徑：一種采用啟發(fā)式學(xué)習(xí)算法，另一種則是采用更有效的優(yōu)化算法。所謂啟發(fā)式算法就是對于表現(xiàn)函數(shù)梯度加以分析，從而改進(jìn)算法，其中包括：有動量的梯度下降法(traingdm)、有自適應(yīng) lr 的下降法 (traingda)、有動量和自適應(yīng) lr 的梯度下降法(traingdx )和彈性梯度下降法法 (trainrp)等。另一種優(yōu)化算法則是基于數(shù)值最優(yōu)化理論的訓(xùn)練算法，有共軛梯度法(traincgb\traincgf\traingcgp\trainscg)、高斯－牛頓法 (trainbfg\trainoss)和 LevenbergMarquardt 算法 (trainlm)。①有動量的梯度下降法在神經(jīng)網(wǎng)絡(luò)工具箱中，traindm 函數(shù)采用了有動量的梯度下降法。動量法降低了網(wǎng)絡(luò)對于誤差曲面局部細(xì)節(jié)的敏感性，所加入的動量項(xiàng)實(shí)際上相當(dāng)于阻尼項(xiàng)，它減少了學(xué)習(xí)過程的振蕩趨勢，從而改善了收斂性，提高了學(xué)習(xí)速度并增加了算法的可靠性。其訓(xùn)練函數(shù)調(diào)整參數(shù)，詳見附錄三。②有自適應(yīng) lr 的梯度下降法在梯度下降法中，學(xué)習(xí)速率對于整個網(wǎng)絡(luò)訓(xùn)練過程有很大的影響，訓(xùn)練成功與否跟學(xué)習(xí)速率的選取關(guān)系很大。要是在訓(xùn)練過程中合理地修改學(xué)習(xí)速率，可能會避開一些缺陷，從而增加穩(wěn)定性，提高學(xué)習(xí)速度和精度。其訓(xùn)練函數(shù)調(diào)整參數(shù)詳見附錄三。無論是函數(shù)逼近還是模式識別，都必須對神經(jīng)網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練之前首先需要樣本，樣本中包含輸入向量 以及相應(yīng)的期望輸出向量 ，訓(xùn)練過程中應(yīng)不斷調(diào)整權(quán)值和閥PT值，使得神經(jīng)網(wǎng)絡(luò)的表現(xiàn)函數(shù)達(dá)到最小。前饋型神經(jīng)網(wǎng)絡(luò)的表現(xiàn)函數(shù)缺省為網(wǎng)絡(luò)輸出和期望輸出向量 的均方差 mse。aT這樣，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前需要構(gòu)造一個網(wǎng)絡(luò)構(gòu)架，函數(shù) newff( )就是構(gòu)造神經(jīng)網(wǎng)絡(luò)的，其指令格式：=newff=newff(PR,[S1 S2…SN],{TF1 TF2…TFN},BTF,BLF,PF)其中參數(shù)意義： 輸入向量的取值范圍；PR 第 層的神經(jīng)元個數(shù)，共 層；Sii N 第 層的傳遞函數(shù)，缺省值為‘tansig’；TF 網(wǎng)絡(luò)訓(xùn)練函數(shù)，缺省值為‘trainlm’；B 網(wǎng)絡(luò)權(quán)值和閥值的學(xué)習(xí)函數(shù)，缺省值為‘learngdm’；LP 性能函數(shù)，缺省值為‘mse’。執(zhí)行結(jié)果是創(chuàng)建一個 層的 BP 神經(jīng)網(wǎng)絡(luò)。然后需要調(diào)整參數(shù)方式和參數(shù)值，當(dāng)神N經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值初始化以后，我們就可以對網(wǎng)絡(luò)進(jìn)行訓(xùn)練并仿真。 神經(jīng)網(wǎng)絡(luò)應(yīng)用于字符 識別(1)問題描述設(shè)計(jì)一個 BP 網(wǎng)絡(luò)并訓(xùn)練它來識別字母表中的 26 個字母，最后結(jié)果是對應(yīng)每個字母有一個 57 的布爾量網(wǎng)格，但是實(shí)際得到的字母網(wǎng)絡(luò)圖存在一些非線性因素或者噪聲干擾，因此設(shè)計(jì)出來的網(wǎng)絡(luò)不僅要能夠?qū)硐氲妮斎胂蛄窟M(jìn)行很好的分類，也要對誤差的輸入向量具有合理的準(zhǔn)確度量。不妨假設(shè)，26 個字母含 35 個元素的輸入向量被定義成一個輸入向量矩陣 alphabet(字母表)。目標(biāo)向量也可以被定義成一個變量targets(目標(biāo)集)。其中每個目標(biāo)向量含有 26 個元素。向量代表某個字母，則對應(yīng)位置的元素值為 1，而其他位置對應(yīng)的值為 0。同時網(wǎng)絡(luò)還應(yīng)具有容錯能力，對輸入向量，若其噪聲均值為 0，標(biāo)準(zhǔn)差不大于 ，則能夠分辨出來。(2)設(shè)計(jì) BP 網(wǎng)絡(luò)，初始化并訓(xùn)練網(wǎng)絡(luò)建立一個有兩層結(jié)構(gòu)的 logsig 網(wǎng)絡(luò)，它的輸出范圍在 0－1 間，同時需要 35 個輸入，在輸出層需要 26 個神經(jīng)元?？紤]到神經(jīng)元數(shù)目的選擇，隱含層設(shè)計(jì) 10 個神經(jīng)元。那么設(shè)計(jì)好訓(xùn)練網(wǎng)絡(luò)后，就是要使其輸出向量中正確的位置值為 1，其余為 0，但是有非線性因素和噪聲信號的干擾，網(wǎng)絡(luò)可能就不是那么精確輸出值為 1 或 0，這就需要在訓(xùn)練之后，引入有噪聲的字母信號輸入網(wǎng)絡(luò)，就可以實(shí)現(xiàn)我們的目標(biāo)值。接下來就初始化，使用 newff 創(chuàng)建一個兩層 BP 網(wǎng)絡(luò)%網(wǎng)絡(luò)初始化[alphabet,targets]=prprob。[R,Q]=size(alphabet)。[S2,Q]=size(targets)。S1=10。P=alphabet。= newff(minmax(P),[S1 S2],{