【正文】 of Psychology》專著，本書研究了心理活動(dòng)與大腦神經(jīng)生理活動(dòng)的關(guān)系,開創(chuàng)性提出學(xué)習(xí)、聯(lián)想記憶的基本原理。 在 具 有 人 腦 邏 輯 推 理 能 力 延 伸 的 計(jì) 算 機(jī) 戰(zhàn) 勝 人 類 棋 手 的 同 時(shí) 引發(fā) 人 們 對 模 擬 人 腦 信 息 處 理 的 人 工 神 經(jīng) 網(wǎng) 絡(luò) 的 研 究 。1 / 44摘 要隨著人工神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用越來越廣泛，誤差反向傳播算法（BP 算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整問題，BP 神經(jīng)網(wǎng)絡(luò)如今成為最廣泛使用的網(wǎng)絡(luò)，研究它對探索非線性復(fù)雜問題具有重要意義，而且它具有廣泛的應(yīng)用前景。人 工 神 經(jīng) 網(wǎng) 絡(luò) （ Artificial Neural Networks, ANN） （ 注 ： 簡 稱 為 神 經(jīng) 網(wǎng)絡(luò) ） ， 一 種 模 仿 動(dòng) 物 神 經(jīng) 網(wǎng) 絡(luò) 行 為 特 征 ， 進(jìn) 行 分 布 式 并 行 信 息 處 理 的 算 法 數(shù) 學(xué) 模型 。指出：“讓我們假設(shè)所有后繼推理的基礎(chǔ)遵循這樣的規(guī)則：當(dāng)兩個(gè)基本的腦細(xì)胞曾經(jīng)一起或相繼被激活過，其中一個(gè)受刺激激活時(shí)會(huì)將刺激傳播到另一個(gè)” 。1．2．2 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程 1960 年，電機(jī)工程師 Bernard Widrow 和 Marcian Hoff 發(fā)表了《Adaptive Switching Circuits》文章，不僅把人工神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)上仿真，而且用硬件電6 / 44路實(shí)現(xiàn)了它。1972 年，芬蘭的 教授提出了自組織映射（SOM）理論，并稱其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為“associative memory”；與此同時(shí)，美國的神經(jīng)生理學(xué)家和心理學(xué)家，提出了一個(gè)類似的神經(jīng)網(wǎng)絡(luò)“interactive memory” ；1986 年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論；可見人工神經(jīng)網(wǎng)絡(luò)具有廣泛的研究和應(yīng)用前景；以下是 1987 年后的一些發(fā)展歷程：1．2．4 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀神經(jīng)網(wǎng)絡(luò)是可大規(guī)模并行處理和分布式信息存儲(chǔ)，具有良好的自學(xué)習(xí)、自適應(yīng)、自組織性，以及很強(qiáng)的聯(lián)想記憶和容錯(cuò)功能，可以充分逼近任意復(fù)雜的非線性關(guān)系，可有很強(qiáng)的信息綜合能力，能同時(shí)處理定量和定性信息，能很好的協(xié)調(diào)多種輸入信息關(guān)系，適用于處理復(fù)雜非線性和不確定對象。其中基于搜索的方法，若不從根本上進(jìn)行改變，很難克服其內(nèi)在固有的缺點(diǎn)，如基于局部最小的搜索算法，其中 BP 算法就有易限于局部極小的固有缺點(diǎn)；規(guī)劃方法因?yàn)槠渲杏小皟?yōu)化的步驟” ，從理論上看其所得網(wǎng)絡(luò)性能要比其他方法要好，但如何確定核函數(shù)形式和參數(shù)問題一直是未能很好解決的問題，當(dāng)數(shù)據(jù)規(guī)模極大會(huì)引起計(jì)算量過大問題；構(gòu)造性方法，因?yàn)檫M(jìn)行了局部化，計(jì)算量要小，由于未進(jìn)行全局優(yōu)化，故性能不及規(guī)劃方法，不需要確定映射關(guān)系就沒有了確定核函數(shù)的困難問題；如果能夠?qū)⑷呦嗷ソY(jié)合，將規(guī)劃方法中優(yōu)化過程合理地引入到構(gòu)造方法中，也許即可克服規(guī)劃方法計(jì)算量大的問題，核函數(shù)和參數(shù)確定問題，也可以克服構(gòu)造性方法未進(jìn)行全局優(yōu)化的缺點(diǎn)；這些將是值得研究的問題。直到誤差反向傳播算法（BP 神經(jīng)網(wǎng)絡(luò)算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整問題。研究的主要目的是：理解 BP 網(wǎng)絡(luò)結(jié)構(gòu)模型；學(xué)習(xí)誤差反向傳播算法和 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法；分析關(guān)鍵因素，得出 BP 網(wǎng)絡(luò)的優(yōu)缺點(diǎn)；綜合各種因素并使用啟發(fā)式方法對 BP 神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)；應(yīng)用數(shù)學(xué)軟件MATLAB 對 BP 神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)算法和改進(jìn)算法進(jìn)行仿真編程；利用仿真結(jié)果和圖表得出各個(gè)算法適用條件；進(jìn)而研究實(shí)際問題的 BP 神經(jīng)網(wǎng)絡(luò)構(gòu)建和仿真。研究問題 3：BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)有（MATLAB 神經(jīng)網(wǎng)絡(luò)工具箱中）：增加動(dòng)量法(traingdm)、彈性 BP 算法（trainrp） ，自適應(yīng)學(xué)習(xí)速率法(traingdx)、共軛梯度法 (traincgf)、擬牛頓法 (trainbfg)以及 LevenbergMarquardt 算法（trainlm）等。其次網(wǎng)絡(luò)的泛化能力與訓(xùn)練能力的矛盾，一般情況下，訓(xùn)練能力差時(shí)，預(yù)測能力也差，并且一定程度上隨訓(xùn)練能力地提高，泛化能力也提高。 ）∑θ kwk1wk2wkI固定輸入x0=+1x1x2閾值μ kν k激活函數(shù)輸出 yk圖 神經(jīng)元非線性模型加法器xI①加法器，也稱線性組合器，將求輸入信號突觸權(quán)值被神經(jīng)元的相應(yīng)突觸加權(quán)和；②激活函數(shù)是用來限制神經(jīng)元的振幅，主要有[0,1]或[1,+1]；③閾值的作用是根據(jù)其為正或負(fù)，相應(yīng)的增加或減低激活函數(shù)的網(wǎng)絡(luò)輸入。由此可見，在?執(zhí)行具體任務(wù)之前必須經(jīng)過學(xué)習(xí)，直到“學(xué)會(huì)”為止。??由式 可以看出 Delta 規(guī)則要求連續(xù)可導(dǎo)的激活函數(shù)，如 Sigmoid 函數(shù)。以下有兩種收斂準(zhǔn)則：① Kramer amp。然而都需要計(jì)算一個(gè)梯度或變化率。神經(jīng)元輸入用 μ，激勵(lì)輸出用 ν，激勵(lì)函數(shù)用 Sigmoid，μ Ii 表示 I 層的第i 個(gè)神經(jīng)元輸入,在這里即 xi；訓(xùn)練樣本集 X=[x1,x2,…,xI]T，訓(xùn)練實(shí)例 K 樣本集Xk=[xk1,xk2,…,xkI]T；實(shí)際輸出 Yk=[yk1,yk2,…,ykO]T,期望輸出 dk=[dk1,dk2,…,dkO]T；假設(shè) n 為迭代次數(shù)，即訓(xùn)練步長，權(quán)值和實(shí)際輸出是 n 的函數(shù)。網(wǎng)絡(luò)誤差信號即網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的差值，該信號由輸出端逐層向前傳播。①在圖 （a）中，神經(jīng)元 j 在迭代 n 時(shí)，即訓(xùn)練第 n 個(gè)例子時(shí)，輸出誤差信號定義如下：（此時(shí) j 為輸出節(jié)點(diǎn)）(式 )定義神經(jīng)元 j 的誤差瞬時(shí)值為 因此，整個(gè)誤差瞬時(shí)值(式 )即為輸出層的所有神經(jīng)元的誤差瞬時(shí)值之和。 影響因素分析2．4．1 權(quán)值初始值設(shè)置影響分析經(jīng)過實(shí)際應(yīng)用中實(shí)踐得知，初始值過大或過小都會(huì)影響學(xué)習(xí)速度，一般認(rèn)為權(quán)值的初始值應(yīng)選為均勻分布的小數(shù)經(jīng)驗(yàn)值，常用的為(,),也有人認(rèn)為(),F 為所連輸入端個(gè)數(shù)；從算法計(jì)算與描述得知，初始值設(shè)置為隨機(jī)F/3,?數(shù)，這是為避免每一步權(quán)值的調(diào)整是同時(shí)增加或同時(shí)減小，防止進(jìn)入飽和區(qū)（訓(xùn)練誤差在很長時(shí)間內(nèi)基本保持不變，但又不是陷入局部極小，因?yàn)橐欢螘r(shí)間后，誤差會(huì)繼續(xù)下降。順序方式即在標(biāo)準(zhǔn)的 BP 算法中，沒輸入一個(gè)樣本就會(huì)反向傳播誤差并調(diào)整權(quán)值；而批處理方式是把所有樣本輸入之后，計(jì)算網(wǎng)絡(luò)的平均總誤差為學(xué)習(xí)目標(biāo)，根據(jù)總誤差計(jì)算各層誤差信號并修正權(quán)值，平均總誤差為：其中 m 為第 m 個(gè)訓(xùn)練實(shí)例，j 為輸出神經(jīng)元， 表示第 m 個(gè)訓(xùn)練實(shí)例的輸出神經(jīng)元jej 的誤差，M 為訓(xùn)練樣本總數(shù)，J 為輸出神經(jīng)元總數(shù)。但是批處理方式能夠精確計(jì)算梯度向量，容易確立誤差收斂條件，并進(jìn)行并行處理。所以實(shí)際中設(shè)計(jì) BP 神經(jīng)網(wǎng)絡(luò)時(shí)選用激活函數(shù)也顯得比較重要。在誤差反向傳播計(jì)算中所用的是 S 型對數(shù)函數(shù)，同理可以使用 S 型正切函數(shù)，并對其求導(dǎo)推導(dǎo)。由此可見，研究 BP 神經(jīng)網(wǎng)絡(luò)激活函數(shù)是今后研究的一個(gè)重要課題。相反學(xué)習(xí)率 η 小可以避免網(wǎng)絡(luò)的振蕩，但導(dǎo)致學(xué)習(xí)收斂速度的下降。 （參考文獻(xiàn) 10）2．4．5 輸入輸出歸一化影響分析在輸入樣本訓(xùn)練網(wǎng)絡(luò)時(shí)，如果所有輸入樣本的輸入信號都為正值或負(fù)值，則與第一隱含層的神經(jīng)元權(quán)值只能同時(shí)增加或減小，從而導(dǎo)致學(xué)習(xí)速度很慢。網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，為此需要使網(wǎng)絡(luò)訓(xùn)練一開始就給各訓(xùn)練輸入向量以同等的身份地位。處理的方法有，利用合理的變換等式將輸入輸出的數(shù)據(jù)變換為[0,1]或[1,+1]（其選擇主要看激活函數(shù)的選擇）之間的數(shù)據(jù)；當(dāng)輸入輸出向量中某個(gè)分量的取值過于密集時(shí)，由此可以將數(shù)據(jù)的點(diǎn)拉開一定距離，適當(dāng)變換分布，改善分布規(guī)律。此外，在一個(gè)迭代過程給網(wǎng)絡(luò)的訓(xùn)練樣本分布是變形的，如果含有例外點(diǎn)或錯(cuò)誤標(biāo)記的訓(xùn)練樣本將會(huì)損壞輸入空間更大區(qū)域的泛化能力，降低網(wǎng)絡(luò)的性能。1?2在樣本學(xué)習(xí)初期，以絕對形式的誤差函數(shù)來指導(dǎo)權(quán)值的修正；學(xué)習(xí)后期，以相對形式函數(shù)誤差為主：則 隨著學(xué)習(xí)次數(shù)的增加而減少，則 隨學(xué)習(xí)次數(shù)的增加而增加。②BP 學(xué)習(xí)算法缺點(diǎn)：基于梯度下降法及目標(biāo)函數(shù)復(fù)雜，導(dǎo)致訓(xùn)練次數(shù)多，訓(xùn)練時(shí)間較長，收斂緩慢；基于局部搜索的優(yōu)化方法，導(dǎo)致有時(shí)完全不能訓(xùn)練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu)；網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無統(tǒng)一完整的理論指導(dǎo)，隱含節(jié)點(diǎn)個(gè)數(shù)難以確定，而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)；訓(xùn)練過程有暫時(shí)遺忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢；學(xué)習(xí)復(fù)雜性問題，即網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題，難以解決應(yīng)用問題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模的矛盾問題；還有諸如新加入訓(xùn)練樣本的要求及對已學(xué)習(xí)成功網(wǎng)絡(luò)的影響，網(wǎng)絡(luò)泛化能力和訓(xùn)練能力的極限問題等。這樣通過動(dòng)量法不僅考慮了誤差在梯度上的作用，而且考慮了誤差曲面上變化的方向。所以在權(quán)值修正的時(shí)候僅僅用偏導(dǎo)的符號，而其幅值不影響權(quán)值的修正，即權(quán)值的修正取決于與幅值無關(guān)的修正值。2．5．4 自適應(yīng)學(xué)習(xí)速率法在BP學(xué)習(xí)算法中，網(wǎng)絡(luò)權(quán)值調(diào)整取決于學(xué)習(xí)率和局向梯度，首先要說明的是學(xué)習(xí)率是隨時(shí)間改變的，只是在上面的反向傳播算法推導(dǎo)過程采用的是不變的值。（誤差反彈或持平）（誤差持續(xù)下降）第二種方法是設(shè)一個(gè)初始學(xué)習(xí)率，若在一批權(quán)值調(diào)整后總誤差升高，則本次的調(diào)整無效，并且令 ；若總誤差下降，則本次調(diào)整有效，并)1())1(?????n且令 。因此，對于復(fù)雜問題還存在收斂速度緩慢的問題。BP算法改進(jìn)如下：其中 為共軛因子， 為共軛方向（設(shè)W是nn的正定矩陣，如果存在兩個(gè))(n?)(dir方向dir 1和dir 2使得dir 1W dir2=0，則這兩個(gè)方向關(guān)于W共軛） ， 為當(dāng)前梯度，n為)(g迭代次數(shù)。請參。它是GaussNewton法和梯度下降法的結(jié)合,收斂速度較快。具體迭代步驟如下：① 將所有輸入送到網(wǎng)絡(luò)并計(jì)算出網(wǎng)絡(luò)輸出，用誤差函數(shù)計(jì)算出所有的誤差平方和② 計(jì)算出誤差對權(quán)值偏導(dǎo)的雅可比矩陣：③④ 用w+Δw重復(fù)計(jì)算誤差平方和（如果新的和小于①中計(jì)算的和，則用μ除以θ（θ1） ，并有w+Δw轉(zhuǎn)①；否則用μ乘以θ，轉(zhuǎn)③；當(dāng)誤差平方和減小到某一目標(biāo)誤差時(shí)，算法即被認(rèn)為收斂）注：，由于參考的文獻(xiàn)眾多，在這里就不一一指明，但大都附在論文后面的參考文獻(xiàn)中，在此對參考文獻(xiàn)的作者表示感謝和歉意?？梢灾苯诱{(diào)用,用戶也可以將自己編寫的實(shí)用程序?qū)氲?MATLAB 函數(shù)庫中方便自己以后調(diào)用，此外許多的 MATLAB 愛好者都編寫了一些經(jīng)典的程序，用戶可以直接進(jìn)行下載就可以用。本仿真需要使用到的訓(xùn)練算法并進(jìn)行比較的 MATLAB 神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)為增加動(dòng)量法(traingdm)、彈性 BP 算法（trainrp） ，自適應(yīng)學(xué)習(xí)速率法(traingda，注意traingdx 是動(dòng)量及自適應(yīng)學(xué)習(xí)速率法，本仿真實(shí)驗(yàn)將使用 traingdx)、共軛梯度法 (traincgf)以及 LevenbergMarquardt 算法（trainlm） 。下面有三個(gè)參考公式（來自參考文獻(xiàn) 2）可以參考確定隱含層神經(jīng)元個(gè)數(shù)：① ，其中， k 為樣本數(shù)，n 1為隱含層神經(jīng)元個(gè)數(shù)， n 為輸入單元數(shù)；如???niikC0127 / 44果 in1則 ；② ,其中 m 為輸出神經(jīng)元數(shù)，n 為輸入單元數(shù)，a 為[1,10]之間常數(shù)。下面的隱含層神經(jīng)元個(gè)數(shù)可變的 BP 神經(jīng)網(wǎng)絡(luò)，通過誤差和訓(xùn)練步數(shù)對比確定隱含層個(gè)數(shù)，并檢驗(yàn)隱含層神經(jīng)元個(gè)數(shù)對網(wǎng)絡(luò)性能的影響。%歐氏距離res=1:8。tansig39。trainlm39。%進(jìn)行函數(shù)訓(xùn)練=train(,x,y1)。end0iC28 / 44用該同一程序在三個(gè)不同時(shí)刻，運(yùn)行結(jié)果及分析如下：表 隱含層不同神經(jīng)元個(gè)數(shù)網(wǎng)絡(luò)訓(xùn)練誤差及學(xué)習(xí)步長某時(shí)刻一神經(jīng)元個(gè)數(shù)9 10 11 12 13 14 15 16網(wǎng)絡(luò)誤差 學(xué)習(xí)步長 2022 2022 2022 275 640 241 66 25某時(shí)刻二神經(jīng)元個(gè)數(shù)9 10 11 12 13 14 15 16網(wǎng)絡(luò)誤差 學(xué)習(xí)步長 1156 2022 1146 2022 287 102 79 2022某時(shí)刻三神經(jīng)元個(gè)數(shù)9 10 11 12 13 14 15 16網(wǎng)絡(luò)誤差 學(xué)習(xí)步長 449 66 60 2022 1512 567 42 53由此可見，選擇隱含層神經(jīng)元數(shù)目為 15 是最佳選擇，不僅誤差小、學(xué)習(xí)步長短，而且性能穩(wěn)定。y1=sin((1/2)*pi*x)+sin(pi*x)。tansig39。trainlm39。=train(,x,y1)。%暫停，按任意鍵繼續(xù)Pause%繪圖，原圖（藍(lán)色光滑線）和仿真效果圖（紅色+號點(diǎn)線）plot(x,y1)。29 / 44注意：由于各種不確定因素，可能對網(wǎng)絡(luò)訓(xùn)練有不同程度的影響，產(chǎn)生不同的效果。從誤差曲線來看，LM 算法達(dá)到了目標(biāo)誤差（較高的誤差） ，標(biāo)準(zhǔn)BP 算法的誤差曲線較粗，是因?yàn)檩^小范圍振蕩產(chǎn)生鋸齒，在圖形中由于間距加大，圖形不斷重疊而成，收斂速度很慢；增加動(dòng)量法、彈性 BP 算法、動(dòng)量及自適應(yīng)學(xué)習(xí)速率法的誤差曲線較為平滑，在剛開始收斂較快，在訓(xùn)練步數(shù)增加的時(shí)候，曲線趨于水平，收斂速度比較慢；共軛梯度法和 LM 算法的誤差曲線變化較大且產(chǎn)生局部鋸齒狀，說明不是最優(yōu)，仍需要進(jìn)行優(yōu)化，其中 LM 算法達(dá)到了目標(biāo)誤差。在小型網(wǎng)絡(luò)中，共軛梯度法僅次于 LM 算法，但是 LM 算法需要更大的內(nèi)存做臨時(shí)存儲(chǔ)，對于較大復(fù)雜的網(wǎng)絡(luò)和內(nèi)存受限的設(shè)備來說不是很好的選擇，但是對于小型網(wǎng)絡(luò)來說卻是首要選擇。因此該算法適用于精度要求比較