【文章內容簡介】 ┊ ┊ ┊ ┊ 1． 3． 1 研究目的 在人工神經(jīng)網(wǎng)絡發(fā)展歷史中，很長一段時間里沒有找到隱 含 層的連接權值調整問題的有效算法。直到誤差反向傳播算法（ BP 神經(jīng)網(wǎng)絡 算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡 權值 調整問題。 目前， BP 神經(jīng) 網(wǎng)絡已成為廣泛使用的網(wǎng)絡 ， 可用于語言綜合、語言識別、自適應控制等 。 它是一種多層前饋網(wǎng)絡，采用最小均方差的學習方式，缺點是僅為有導師訓練，訓練時間長，易限于局部極小。 鑒于神經(jīng)網(wǎng)絡的廣泛應用，特別是 BP 神經(jīng) 網(wǎng)絡的發(fā)展，對于 神經(jīng)網(wǎng)絡（比如 BP神經(jīng) 網(wǎng)絡）的研究具有重要意義。 研究的主要目的是： 理解 BP 網(wǎng)絡結構模型；學習誤差反向傳播算法和 BP神經(jīng) 網(wǎng)絡的學習算法；分析關鍵因素，得出 BP 網(wǎng)絡的優(yōu)缺點；綜合各種因素并使用啟發(fā)式方法 對 BP神經(jīng)網(wǎng)絡 算法進行改進；應用數(shù)學軟件 MATLAB對 BP 神經(jīng)網(wǎng)絡 標準算法和改進算法進行仿真編程；利用仿真結果和圖表得出各個算法適用條件；進而研究實際問題的 BP神經(jīng) 網(wǎng)絡構建和仿真。 1． 3． 2 研究 方法 通過參考 研究 學習 神經(jīng)網(wǎng)絡 研究和 工作者的著作和文章，理解神經(jīng)網(wǎng)絡，特別是BP 神經(jīng)網(wǎng)絡的結構模型 和理論 ；利用現(xiàn)有的 數(shù)學理論知識和方法，推導反向傳播算法計算；利用計算機程序設計理論編寫 BP神經(jīng)網(wǎng)絡 學習算法的步驟和流程； 分析 BP標準算法關鍵因素，利用現(xiàn)有數(shù)學相關方法 （ 如啟發(fā)式方法 ， MATLAB 中幾種典型的BP神經(jīng)網(wǎng)絡算法： traingdm， 增 加動量法 ； trainrp，彈性 BP算法； traingda， traingdx，自適應學習速率法； traincgf，共軛梯度法； trainbfg，擬牛頓法 ； trainlm，LevenbergMarquardt 算法 ） 對 BP 神經(jīng)網(wǎng)絡 算法改進和理論推導； 利用優(yōu)秀數(shù)學軟件 MATLAB 進行 BP 網(wǎng)絡 學習算法的仿真編程，分別建立 BP 神經(jīng)網(wǎng)絡 標準算法、改進算法的編程程序，利用 MATLAB 得出相關圖表，分析其關鍵因素 ；應用實例對 BP神經(jīng)網(wǎng)絡的應用和仿真進行驗證；通過自己的理解和學習得出自己對神經(jīng)網(wǎng)絡（ BP 神經(jīng)網(wǎng)絡）的思考 。 1． 3． 3 研究 問題 研究問題 1： BP神經(jīng)網(wǎng)絡的學習過程，工作信號正向傳播，誤差信號反向傳播。得到如下 圖 11 示意模型： （多層前饋型網(wǎng)絡） 第 9 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 研究問題 2： BP神經(jīng)網(wǎng)絡 的 不足，訓練時間較長，有時完全不能訓練， 失敗的可能性也較大， 易 陷于局部極小 而 得 不到全局最優(yōu) ， 隱含節(jié)點個數(shù)難以確定， 訓練過程有暫時遺忘的現(xiàn)象即學習新樣本有遺忘舊樣本的趨勢。 研究問題 3： BP 神經(jīng)網(wǎng)絡學習算法的改進有 （ MATLAB 神經(jīng)網(wǎng)絡工具箱中 ） ： 增 加動量法 (traingdm)、 彈性 BP 算法（ trainrp）， 自適應學習速率法 (traingdx)、 共軛梯度法 (traincgf)、 擬牛頓法 (trainbfg)以及 LevenbergMarquardt 算法（ trainlm） 等 。 注：在 MATLAB R2020 版本中 traingdx 為動量及自適應 lrBP 的梯度遞減訓練函數(shù) 。 研究問題 4： 誤差要求和網(wǎng)絡復雜程度將影響 BP各種算法的選擇； 比如擬牛頓法需要 Hessian矩陣，不適用于復雜的大型網(wǎng)絡，但對于中型網(wǎng)絡其收斂效果僅次于 LM算法，且需要的內存也相對較小，但對于小型網(wǎng)絡 LM算法最好最快，仿真效果要好；又如 當誤差要求比較高時，彈性 BP算法和自適應學習速率法需要很長的訓練時間，在設定的訓練步驟范圍內 不 能達到期望誤差 。 研究問題 5： 在實例的網(wǎng)絡模型的建立和 MATLAB仿真的過程中，發(fā)現(xiàn)沒有確定隱含層神經(jīng)元數(shù)目的有效方法，隱含層神經(jīng)元的數(shù)目直接影響分類精度，神經(jīng)元數(shù)目過多或過少 都會使網(wǎng)絡性能下降， 一般只能由經(jīng)驗設定，再經(jīng)過多次調試確定最佳數(shù)目 。其次 網(wǎng)絡的泛化能力與訓練能力 的矛盾，一般情況下，訓練能力差時，預測能力也差，并且一定程度上 隨訓練能力地提高， 泛化 能力也提高。但這種趨勢有一個極限，當達到此極限時，隨訓練能力的提高， 泛化 能力反而下降，即出現(xiàn)所謂“過擬合”現(xiàn)象。此時，網(wǎng)絡學習了過多的樣本細節(jié)，而不能反映樣本內含的規(guī)律。 輸入層 隱含層 輸出層 誤 差 信 號 圖 BP神經(jīng)網(wǎng)絡示意模型 輸 入 信 號 第 10 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 神經(jīng)網(wǎng)絡 BP 神經(jīng)網(wǎng)絡相關原理 2． 1． 1 神經(jīng)元非線性模型 ① 加法器，也稱線性組合 器，將求輸入信號突觸 權值 被神經(jīng)元的相應突觸加權和； ②激活函數(shù)是用來限制神經(jīng)元的振幅，主要有 [0,1]或 [1,+1]； ③ 閾值 的作用是根據(jù)其為正或負，相應的增加或減低激活函數(shù)的網(wǎng)絡輸入。 注：這里的 K為實例。 模擬的是生物神經(jīng)元的電位脈沖原理。 2． 1． 2 有教師監(jiān)督學習 f（ ） ∑ θ k wk1 wk2 wkI 固 定 輸 入x0=+1 x1 x2 閾值 μ k ν k 激活函數(shù) 輸出 yk 圖 神經(jīng)元非線性模型 加法器 xI 環(huán)境 教師 學習系統(tǒng) 實際響應 描述環(huán)境狀態(tài)向量 期望模式 輸入模式 ? + 誤差信號 ek 圖 有教師學習方框圖 期望響應 第 11 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 有教師學習采用的是糾錯規(guī)則，在網(wǎng)絡的學習訓練過程給神經(jīng)網(wǎng)絡一個期望模式和輸入模式，所期望的模式就是教師信號，因此可以將輸入模式所得的結果與期望模式的結果相比較，當不相符時，可以根據(jù)相關規(guī)則進行權值調整，比如上述的 Delta規(guī)則，直到滿 足一定誤差 ? 范圍內，這將更接近期望模式結果。由此可見，在執(zhí)行具體任務之前必須經(jīng)過學習，直到“學會”為止。 2． 1． 3 神經(jīng)元數(shù)學模型 設在 n 時刻，神經(jīng)元 i 到神經(jīng)元 j 的信息傳遞，其輸入信息為 xi(n),輸出為Oj(n)，則神經(jīng)元 j的數(shù)學表達式為 (式 ) 其中 ijw 是神經(jīng)元 i到 j的突觸連接 權值 ij? 是 輸入和輸出間的突觸時延 j? 是神經(jīng)元 j 的閾值 f 是神經(jīng)元激活函數(shù) 如果 TIjjjj W ),. ..,( 21? , TIxxxX ),...,( 21? ,又 0x =1, jw0 = j? （ kb ）可得：)( XWfO Tjj ? 。 2． 1． 4 Delta 學習規(guī)則 Delta 學習規(guī)則，也稱連 續(xù)感知器學習規(guī)則，與離散感知器學習規(guī)則并行。其規(guī)則的學習信號規(guī)定為： (式 ) 為了方便計算，定義神經(jīng)元 j 的期望誤差與實際輸出之間的計算誤差為 (式 ) 按照誤差的負梯度修正權值，即： (式 ) (式 ) 其中 ? 是學習率， 0? 1，在多層前饋網(wǎng)絡中，權值可以初始化為任意值。 由式 Delta 規(guī)則要求連續(xù)可導的激活函數(shù)，如 Sigmoid 函數(shù)。 綜合式 至式 得： (式 ) 其中 iij xnw ???? )( 式 中 jE （包括 jd 和 jo ）為 n 學習時刻的計算誤差， Delta 學習規(guī)則的學}])({[)(1 jIi ijiijjnxwfnO ?? ??? ??fodXWfXWfd jjTjTjj ?????? )()()]([?2)(21 jjj odE ??)()()()()()1(nwnEnwnwnwnwijjijijijij??????????iijijjijij xnwxfodnwnw ??? ??????? )()()()1( 第 12 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 習信號 ? 也為在 n時刻。 2． 1． 5 神經(jīng)元激活函數(shù) 在神經(jīng)元的激活函數(shù)中分為閾值激活函（包括階躍型和符號），線性激活函數(shù)（包括純線性型 和分段線性型，在圖中未標識），非線性激活函數(shù)（主要是 S 型函數(shù)，分為 S型對數(shù)函數(shù)和 S 型正切函數(shù)， 這兩種是 BP神經(jīng)網(wǎng)絡主要使用的 ，即 Sigmoid函數(shù) 及其改進 ），還有一種概率型激活函數(shù)（其神經(jīng)元狀態(tài)分布與熱力學的 Boltzmann分布相似，故稱這種模型為神經(jīng)網(wǎng)絡熱力學模型）。 2． 1． 6 BP 神經(jīng)網(wǎng)絡收斂準則 在實際問題上，實際輸出往往很難達到期望輸出，因此需要一個準則停止權值的調整，這就需要考慮關于誤差曲面的局部或全局最小的性質。 以下有兩種收斂準則： ① Kramer amp。 SangiovanniVincentelli 準則 : 當梯度向量的歐幾里德范數(shù)達到一個充分小的梯度閾值時，認為反向傳播算法已經(jīng)收斂。 注：歐幾里德（ Euclidean）范 數(shù)指得就是通常意義上的距離范數(shù)， 比如 22221 nxxxx ???? ? ② Simon Haykin 建議準則： 當每一個回合的均方差的變化的絕對速率足夠小時，認為反向傳播算法已經(jīng)收斂。 分析：第一個準則為了達到期望值，學習時間可能會很長，而第二個準則則有可能過O +1 +1 1 +1 +1 1 O O O （ a）階躍閾值函數(shù) （ b）符號閾值函數(shù) （ c） S 型對數(shù)函數(shù) （ d） S 型正切函數(shù) 圖 神經(jīng)元激活函數(shù)圖形 第 13 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 早的終止學習。然而都需要計算一個梯度或變化率。 然而根據(jù)網(wǎng)絡對輸入數(shù)據(jù)集合參數(shù)化的學習過程，我們可以 通過網(wǎng)絡的泛化能力即預測能力判斷網(wǎng)絡的收斂，當泛化能力達到了比較強的一個標準時，可以認為學習過程的停止，即已經(jīng)收斂。 關于泛化方法（如結構設計方法、主動學習、在樣本隨機輸入中添加隨機噪聲、表決網(wǎng)、基于先驗知識、最優(yōu)停止法等）內容請參考相關文獻。 BP 神經(jīng)網(wǎng)絡學習過程描述 2． 2． 1 BP 神經(jīng)網(wǎng)絡計算模型建立 注 ： Wpq是隱含層 P中 p（輸出）神經(jīng)元到隱含層 Q中 q（輸入）神經(jīng)元的連接 權值 。 神經(jīng)元輸入用μ，激勵輸出用ν，激勵函數(shù)用 Sigmoid， μ Ii表示 I 層的第 i 個神經(jīng)元輸入 ,在這里即 xi； 訓練樣本集 X=[x1,x2,? ,xI]T，訓練實例 K 樣本集 Xk=[xk1,xk2,? ,xkI]T； 實際輸出 Yk=[yk1,yk2,? ,ykO]T,期望輸出 dk=[dk1,dk2,? ,dkO]T； 假設 n為迭代次數(shù)，即訓練步長，權值和實際輸出是 n 的函數(shù)。 2． 2． 2 BP 神經(jīng)網(wǎng)絡學習過程描述