【文章內(nèi)容簡介】 統(tǒng)的最小單元。雖然神經(jīng)元的類型有很多種，但其基本結(jié)構(gòu)相似。人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫“A”、“B”兩個(gè)字母的識(shí)別為例進(jìn)行說明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時(shí)，輸出為“0”。 所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)做出錯(cuò)誤的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“A”所對(duì)應(yīng)的圖像模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí)，仍然能做出正確的判斷。 如果輸出為“0”(即為結(jié)果錯(cuò)誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫字母“A”、“B”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠做出迅速、準(zhǔn)確的判斷和識(shí)別。一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。人腦中一個(gè)典型神經(jīng)元通過許多樹突的精細(xì)結(jié)構(gòu)，收集來自其它神經(jīng)元的信息，神經(jīng)元又通過軸突的一條長而細(xì)的軸突發(fā)出電活性脈沖。軸突分裂上千條分支，在每條分支末端，通過突觸的結(jié)構(gòu)把來自軸突的電活性變?yōu)殡娮饔茫瑥亩古c之相連的各種神經(jīng)元的活性受到抑制或興奮。當(dāng)一個(gè)神經(jīng)元收到興奮輸入，而興奮輸入又比神經(jīng)元的抑制輸入足夠大時(shí)，神經(jīng)元把電活性脈沖向下傳到它的軸突，改變軸突的有效性，從而使一個(gè)神經(jīng)元對(duì)另一個(gè)神經(jīng)元的影響改變，便發(fā)生了學(xué)習(xí)行為。因此，可以認(rèn)為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的本質(zhì)特征在于神經(jīng)細(xì)胞特殊的突觸結(jié)構(gòu)所具有的可塑性連接，而如何調(diào)整連接權(quán)重就構(gòu)成了不同的學(xué)習(xí)算法。通過向環(huán)境學(xué)習(xí)獲取知識(shí)并改進(jìn)自身性能是NN的一個(gè)重要特點(diǎn)。在一般情況下，性能的改善是按某種預(yù)定的度量通過調(diào)節(jié)自身參數(shù)（如權(quán)值）隨時(shí)間逐步達(dá)到的。學(xué)習(xí)方式[15](按照環(huán)境提供信息量的多少)有三種：1．監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）為了使神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中解決各種問題，必須對(duì)它進(jìn)行訓(xùn)練，就是從應(yīng)用環(huán)境中選出一些樣本數(shù)據(jù)，通過不斷地調(diào)整權(quán)矩陣，直到得到合適的輸入輸出關(guān)系為止，這個(gè)過程就是對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，這種訓(xùn)練的過程需要有教師示教，提供訓(xùn)練數(shù)據(jù)，又稱樣本數(shù)據(jù)。在訓(xùn)練過程中又需教師的監(jiān)督，故這種有教師的學(xué)習(xí)又稱為監(jiān)督式學(xué)習(xí)。有教師學(xué)習(xí)方法雖然簡單，但是要求教師對(duì)環(huán)境和網(wǎng)絡(luò)的結(jié)構(gòu)應(yīng)該比較熟悉，當(dāng)系統(tǒng)復(fù)雜，環(huán)境變化時(shí)，就變得困難。為了適應(yīng)環(huán)境變化就要重新調(diào)整加權(quán)值，這樣，當(dāng)學(xué)習(xí)到新知識(shí)的同時(shí)，也容易忘掉已學(xué)過的舊知識(shí)，這一些是有教師學(xué)習(xí)方法的缺點(diǎn)。2．非監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）非監(jiān)督學(xué)習(xí)時(shí)不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)（這是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統(tǒng)計(jì)上的分布特征）。無教師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集中，只有輸入而沒有目標(biāo)輸出，訓(xùn)練過程神經(jīng)網(wǎng)絡(luò)自動(dòng)地將各輸入數(shù)據(jù)的特征提取出來，并將其分成若干類。經(jīng)過訓(xùn)練好的網(wǎng)絡(luò)能夠識(shí)別訓(xùn)練數(shù)據(jù)集以外的新的輸入類別，并相應(yīng)獲得不同的輸出。顯然，無教師的訓(xùn)練方式可使網(wǎng)絡(luò)具有自組織和自學(xué)習(xí)的功能。3．再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)）這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲）而不是給出正確答案。學(xué)習(xí)系統(tǒng)通過強(qiáng)化那些受獎(jiǎng)的動(dòng)作來改善自身的性能。 BP神經(jīng)網(wǎng)絡(luò) BP算法自1985年Rumelhart提出BP算法[16]以來，神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用已經(jīng)迅速發(fā)展并滲透到各個(gè)學(xué)科，神經(jīng)網(wǎng)絡(luò)算法已不再是只供研究，而在實(shí)際的生產(chǎn)中開始了廣泛的應(yīng)用。如：數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)挖掘、產(chǎn)品的自動(dòng)分撿系統(tǒng)的圖像識(shí)別等。對(duì)應(yīng)地在計(jì)算機(jī)輔助設(shè)計(jì)的軟件開發(fā)中，神經(jīng)網(wǎng)絡(luò)算法的設(shè)計(jì)也越來越多。神經(jīng)網(wǎng)絡(luò)以其快速的并行處理能力和其強(qiáng)有力的學(xué)習(xí)能力而獲得越來越廣泛的重視，其中應(yīng)用最多的是BP神經(jīng)網(wǎng)絡(luò)。BP學(xué)習(xí)算法，即反向傳播（back propagation）學(xué)習(xí)算法是一種有導(dǎo)師的示例學(xué)習(xí)算法。這種學(xué)習(xí)算法在模式識(shí)別領(lǐng)域中，尤其在字符識(shí)別的研究中被廣泛使用。其原因是BP算法學(xué)習(xí)規(guī)則的堅(jiān)韌性和學(xué)習(xí)能力很強(qiáng)，當(dāng)給定模式與BP網(wǎng)絡(luò)學(xué)會(huì)的模式很相似時(shí)，BP網(wǎng)絡(luò)能很好的完成識(shí)別任務(wù)。BP算法是一種有監(jiān)督式的學(xué)習(xí)算法。其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)練，通過誤差的反向傳播，使輸出的向量與期望向量盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時(shí)訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。BP 算法由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中,輸入信息從輸入層經(jīng)過隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號(hào)沿著原來的連接通路反傳回來，通過修改各層神經(jīng)元的權(quán)值使得誤差減小，直至達(dá)到期望目標(biāo)。 BP網(wǎng)絡(luò)的一般學(xué)習(xí)算法BP網(wǎng)絡(luò)是一種有監(jiān)督的前饋運(yùn)行的神經(jīng)網(wǎng)絡(luò)，它由輸入層i、隱含層h、輸出層k以及各層之間的節(jié)點(diǎn)的連接權(quán)所組成。它又分為正向和反向傳播兩種，以下對(duì)各層進(jìn)行詳細(xì)介紹。 正向傳播過程輸入層輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值。隱含層對(duì)于節(jié)點(diǎn)j，其輸入值為其前一層各節(jié)點(diǎn)輸出值的加權(quán)和： ()輸出值 ()式中稱為激勵(lì)函數(shù)或者作用函數(shù)。一般采用sigmoid函數(shù)： ()式中稱為闕值，λ稱為溫度系數(shù)。隱含層可為一層或者多層，但是隨著隱含層的增多，網(wǎng)格的復(fù)雜程度也隨之增加，學(xué)習(xí)速度減慢，另外網(wǎng)絡(luò)的推導(dǎo)能力也有可能下降，即所謂的“over fitting”現(xiàn)象。網(wǎng)絡(luò)隱含層以及節(jié)點(diǎn)數(shù)目的選取是BP網(wǎng)絡(luò)學(xué)習(xí)算法有待解決的一個(gè)問題。輸出層輸出層的輸入與輸出與隱含層類似，分別為： () () 反向傳播過程BP學(xué)習(xí)算法的誤差函數(shù)一般定義為實(shí)際輸出與期望輸出的均方誤差和。通過使誤差函數(shù)最小化的過程不斷的改變權(quán)重，完成從輸入到輸出的非線性映射。設(shè)網(wǎng)絡(luò)輸入模式樣本為，期望輸出為 ，均方誤差函數(shù)為： ()而對(duì)于所有的學(xué)習(xí)樣本，系統(tǒng)的均方誤差為： ()為了達(dá)到學(xué)習(xí)目的，要根據(jù)誤差函數(shù)來相應(yīng)地調(diào)整網(wǎng)絡(luò)間的連接權(quán)值。一般來說經(jīng)典的BP學(xué)習(xí)算法采用最快速梯度下降法調(diào)整權(quán)值，每次調(diào)整的增量為： ()式中0η1稱為學(xué)習(xí)率。從()式可推出下列連接權(quán)值的修正量公式 ()對(duì)于輸出節(jié)點(diǎn)： ()對(duì)于隱節(jié)點(diǎn)： () BP網(wǎng)絡(luò)的設(shè)計(jì)BP網(wǎng)絡(luò)的設(shè)計(jì)主要包括輸入層,隱層,輸出層及各層之間的傳輸函數(shù)幾個(gè)方面。網(wǎng)絡(luò)層數(shù)大多數(shù)通用的神經(jīng)網(wǎng)絡(luò)都預(yù)先預(yù)定了網(wǎng)絡(luò)的層數(shù),而BP網(wǎng)絡(luò)可以包含不同的隱層。對(duì)多層BP神經(jīng)網(wǎng)絡(luò)，隱層層數(shù)至少為1層或1層以上，每個(gè)隱層的神經(jīng)元個(gè)數(shù)至少為1個(gè)或1個(gè)以上，否則與多層網(wǎng)絡(luò)的命題矛盾而不成立。輸入層的節(jié)點(diǎn)數(shù) 網(wǎng)絡(luò)的輸入個(gè)數(shù)應(yīng)等于應(yīng)用問題的輸入數(shù),。網(wǎng)絡(luò)數(shù)據(jù)的預(yù)處理[17]預(yù)處理方法有歸一化處理、標(biāo)準(zhǔn)化處理和主成分分析。常采用的是歸一化處理,即將輸入、輸出數(shù)據(jù)映射到[1,1]范圍內(nèi),訓(xùn)練結(jié)束后再反映射到原數(shù)據(jù)范圍。輸出層的節(jié)點(diǎn)數(shù)輸出層節(jié)點(diǎn)數(shù)取決于兩個(gè)方面,輸出數(shù)據(jù)類型和表示該類型所需要的數(shù)據(jù)大小。隱層的節(jié)點(diǎn)數(shù)根據(jù)經(jīng)驗(yàn),可以參考以下公式進(jìn)行設(shè)計(jì)：或者 ()(1)式中:n為隱層節(jié)點(diǎn)數(shù)。 為輸入節(jié)點(diǎn)數(shù)。 為輸出節(jié)點(diǎn)數(shù)。a為1～10之間的常數(shù)。(2)改變n,用同一樣本集訓(xùn)練,從中確定網(wǎng)絡(luò)誤差最小時(shí)對(duì)應(yīng)的隱層節(jié)點(diǎn)數(shù)。傳輸函數(shù)BP網(wǎng)絡(luò)中傳輸函數(shù)常采用S(sigmoid),還可能采用純線性(Pureline)函數(shù)。訓(xùn)練方法及其參數(shù)選擇[18]= ； %顯示訓(xùn)練結(jié)果的間隔步數(shù)＝ ； ％最大訓(xùn)練步數(shù)＝ ； %訓(xùn)練目標(biāo)誤差 = ； %學(xué)習(xí)系數(shù)的初始值，Marquardt調(diào)整參數(shù)= ； %學(xué)習(xí)系數(shù)的下降因子= ； %學(xué)習(xí)系數(shù)的上升因子= ； %學(xué)習(xí)系數(shù)的最大值=；%訓(xùn)練中最小允許梯度值。通過以上處理后，將得到的特征向量輸入到設(shè)計(jì)好的神經(jīng)網(wǎng)絡(luò)進(jìn)行測試，由圖可以看出結(jié)果還是很令人滿意的。 BP網(wǎng)絡(luò)的訓(xùn)練過程 BP網(wǎng)絡(luò)的訓(xùn)練結(jié)果 BP學(xué)習(xí)算法的局限性與對(duì)策BP學(xué)習(xí)算法解決了多層前饋網(wǎng)絡(luò)的訓(xùn)練與非線性映射問題，在實(shí)際應(yīng)用中具有重大意義，在應(yīng)用BP學(xué)習(xí)算法的過程中，人們逐漸發(fā)現(xiàn)它存在的某些缺陷，存在局部極小值、學(xué)習(xí)速度慢、網(wǎng)絡(luò)隱節(jié)點(diǎn)和初始權(quán)值的選取只能憑經(jīng)驗(yàn)、新加入的樣本要影響已經(jīng)學(xué)完的樣本，并且每個(gè)樣本的輸入樣本的特征數(shù)目也要求必須相同；學(xué)習(xí)過程能否收斂，什么時(shí)候收斂已經(jīng)學(xué)習(xí)后所生成的權(quán)重空間的分布狀況等，這些至今還是一個(gè)未知數(shù)。BP學(xué)習(xí)算法存在的局限性BP學(xué)習(xí)算法存在的局限性總結(jié)如下：(1)歸納能力基于BP學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的歸納能力。這里，歸納是指當(dāng)用一組同類型的樣本集訓(xùn)練時(shí)，BP網(wǎng)絡(luò)能將一些不相關(guān)的信息忽略掉，而學(xué)習(xí)樣本集中共同的特征，通過這樣的學(xué)習(xí)，BP網(wǎng)絡(luò)很容易記住了這一類型的樣本。然而，BP學(xué)習(xí)算法對(duì)不同類型微小特征差異的樣本缺乏足夠的歸納能力。(2)外推能力和歸納能力相對(duì)，BP網(wǎng)絡(luò)的外推能力是指BP網(wǎng)絡(luò)對(duì)一類樣本訓(xùn)練完后，對(duì)其它非訓(xùn)練樣本測試其識(shí)別能力。實(shí)驗(yàn)結(jié)果表明，外推能力與訓(xùn)練樣本的種類和數(shù)量有關(guān)。只有將各種不同類型的充足的樣本訓(xùn)練后，才能對(duì)各種樣本的測試達(dá)到較好的推廣能力。(3)學(xué)習(xí)速度BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程是一種超大規(guī)模的反復(fù)的浮點(diǎn)數(shù)值運(yùn)算過程，因此，無論從學(xué)習(xí)算法本身考慮，還是從使用的微機(jī)設(shè)備上考慮，學(xué)習(xí)速度一般是較慢的。(4)收斂性BP學(xué)習(xí)算法的收斂性至今沒能用完整的理論來證明它。網(wǎng)絡(luò)學(xué)習(xí)過程中極易陷入局部極小點(diǎn)。一旦網(wǎng)絡(luò)的權(quán)重陷入一個(gè)極小點(diǎn)，無論是全局極小點(diǎn)還是局部極小點(diǎn)，學(xué)習(xí)均告終止。如果在該點(diǎn)的狀態(tài)下所要求的問題解是正確的，那么，該點(diǎn)是局部的還是全局的極小點(diǎn)就顯得不那么重要了。但若所求問題的解是不正確的，那么只有再次調(diào)整權(quán)值，直到找到另一個(gè)極小點(diǎn)對(duì)所求問題的解是正確時(shí)為止，即要逃離原來的局部極小點(diǎn)。(5)解釋能力神經(jīng)網(wǎng)絡(luò)對(duì)自身解決問題的方式不能形成一個(gè)規(guī)范的推導(dǎo)過程。它通過學(xué)習(xí)所形成的“自我認(rèn)識(shí)”對(duì)人來說是透明的。這對(duì)有導(dǎo)師訓(xùn)練的BP學(xué)習(xí)算法而言，大大阻礙了指導(dǎo)人與被指導(dǎo)對(duì)象的交流。 對(duì)BP算法的改進(jìn)經(jīng)典的BP算法采用梯度下降法。當(dāng)誤差曲面為窄長型時(shí)，該算法在谷的兩壁跳來跳去，影響了網(wǎng)絡(luò)的收斂速度。最普通的改進(jìn)方法為附加動(dòng)量法，將公式()改為： ()式中稱為動(dòng)量因子。利用附加的動(dòng)量項(xiàng)可以起到平滑梯度方向的劇烈變化。更進(jìn)一步可以在學(xué)習(xí)過程中動(dòng)態(tài)地調(diào)整η和α的值，使η隨系統(tǒng)總誤差E不斷的變化，以避免出現(xiàn)W取值過小，尤其是在接近系統(tǒng)最小值的時(shí)候。實(shí)驗(yàn)中發(fā)現(xiàn)，η越大，學(xué)習(xí)速度會(huì)越快，但過大時(shí)會(huì)引起振蕩效應(yīng)；而α取的過大可能導(dǎo)致發(fā)散，過小則收斂速度太慢；～，～。動(dòng)態(tài)調(diào)整η和α值，收到良好效果。根據(jù)優(yōu)化理論還有很多種優(yōu)化方法。這些方法一般都可以應(yīng)用到改進(jìn)BP算法中。例如同倫方法、梯度法、共軛梯度法以及牛頓法。事實(shí)證明采用較好的優(yōu)化方法可以提高網(wǎng)絡(luò)的收斂速度、避免陷入局部極小。尋求一種適合BP算法使用的新的優(yōu)化算法也是一個(gè)很有價(jià)值的研究課題。利用附加的動(dòng)量項(xiàng)可以起到平滑梯度方向的劇烈變化。更進(jìn)一步可以在學(xué)習(xí)過程中動(dòng)態(tài)地調(diào)整η和α的值，使η隨系統(tǒng)總誤差E不斷的變化，以避免出現(xiàn)W取值過小，尤其是在接近系統(tǒng)最小值的時(shí)候。實(shí)驗(yàn)中發(fā)現(xiàn)，η越大，學(xué)習(xí)速度會(huì)越快，但過大時(shí)會(huì)引起振蕩效應(yīng)；而α取的過大可能導(dǎo)致發(fā)散，過小則收斂速度太慢；～，～。動(dòng)態(tài)調(diào)整η和α值，收到良好效果。根據(jù)優(yōu)化理論還有很多種優(yōu)化方法。這些方法一般都可以應(yīng)用到改進(jìn)BP算法中。例如同倫方法、梯度法、共軛梯度法以及牛頓法。事實(shí)證明采用較好的優(yōu)化方法可以提高網(wǎng)絡(luò)的收斂速度、避免陷入局部極小。尋求一種適合BP算法使用的新的優(yōu)化算法也是一個(gè)很有價(jià)值的研究課題。基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 第五章 系統(tǒng)的實(shí)現(xiàn)與結(jié)果分析第五章 系統(tǒng)的實(shí)現(xiàn)與結(jié)果分析 軟件開發(fā)平臺(tái) MATLAB簡介MATLAB 是美國MathWork