【正文】 ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ (式 ) (式 ) 根據(jù)圖 （ b）可以初步寫出下面的式子： (式 ) (式 ) 其中 i=1， 2， ? ,I； j=1,2,? ,J； k=1,2,? ,K； n為學(xué)習(xí) 步長(zhǎng) 。 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程描述 2． 2． 1 BP 神經(jīng)網(wǎng)絡(luò)計(jì)算模型建立 注 ： Wpq是隱含層 P中 p（輸出）神經(jīng)元到隱含層 Q中 q（輸入）神經(jīng)元的連接 權(quán)值 。 2． 1． 6 BP 神經(jīng)網(wǎng)絡(luò)收斂準(zhǔn)則 在實(shí)際問題上，實(shí)際輸出往往很難達(dá)到期望輸出，因此需要一個(gè)準(zhǔn)則停止權(quán)值的調(diào)整，這就需要考慮關(guān)于誤差曲面的局部或全局最小的性質(zhì)。 ） ∑ θ k wk1 wk2 wkI 固 定 輸 入x0=+1 x1 x2 閾值 μ k ν k 激活函數(shù) 輸出 yk 圖 神經(jīng)元非線性模型 加法器 xI 環(huán)境 教師 學(xué)習(xí)系統(tǒng) 實(shí)際響應(yīng) 描述環(huán)境狀態(tài)向量 期望模式 輸入模式 ? + 誤差信號(hào) ek 圖 有教師學(xué)習(xí)方框圖 期望響應(yīng) 第 11 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 有教師學(xué)習(xí)采用的是糾錯(cuò)規(guī)則，在網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程給神經(jīng)網(wǎng)絡(luò)一個(gè)期望模式和輸入模式，所期望的模式就是教師信號(hào)，因此可以將輸入模式所得的結(jié)果與期望模式的結(jié)果相比較，當(dāng)不相符時(shí)，可以根據(jù)相關(guān)規(guī)則進(jìn)行權(quán)值調(diào)整，比如上述的 Delta規(guī)則，直到滿 足一定誤差 ? 范圍內(nèi)，這將更接近期望模式結(jié)果。 研究問題 5： 在實(shí)例的網(wǎng)絡(luò)模型的建立和 MATLAB仿真的過程中，發(fā)現(xiàn)沒有確定隱含層神經(jīng)元數(shù)目的有效方法，隱含層神經(jīng)元的數(shù)目直接影響分類精度，神經(jīng)元數(shù)目過多或過少 都會(huì)使網(wǎng)絡(luò)性能下降， 一般只能由經(jīng)驗(yàn)設(shè)定，再經(jīng)過多次調(diào)試確定最佳數(shù)目 。 鑒于神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，特別是 BP 神經(jīng) 網(wǎng)絡(luò)的發(fā)展，對(duì)于 神經(jīng)網(wǎng)絡(luò)（比如 BP神經(jīng) 網(wǎng)絡(luò)）的研究具有重要意義。 如今也有 其綜合方法，各有特點(diǎn)。應(yīng)用于各個(gè)領(lǐng)域，如 自動(dòng)控制領(lǐng)域 、 處理組合優(yōu)化問題 、 模式識(shí)別 、 圖像處理 、 機(jī)器人控制 、 醫(yī)療 等。 1969 年 ，美國(guó)波士頓大學(xué)自適應(yīng)系統(tǒng)中心的 教授及其夫人 提出了著名的自適應(yīng)共振理論（ adaptive resonance theory） 模型； 他們通過 MP 模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個(gè)神經(jīng)元能執(zhí)行邏輯 功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時(shí)代。在具有人腦邏輯推理能力延伸的 計(jì)算機(jī)戰(zhàn)勝人類棋手 的同時(shí)引發(fā)人們對(duì)模擬人腦信息處理的人工神經(jīng)網(wǎng)絡(luò)的研究。 參考文獻(xiàn) .............................................................. 42 附錄 .................................................................. 46 第 5 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 引言 隨著計(jì)算機(jī)的問世與發(fā)展， 人們?cè)O(shè)法了解人的大腦，進(jìn)而構(gòu)造具有人類智能的智能計(jì)算機(jī)。 1943 年，心理學(xué)家 和數(shù)理邏輯學(xué)家 建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為 MP模型。 1969 年， 人工智能的創(chuàng)始人之一， M． Minsky 和 經(jīng)過數(shù)年研究， 仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，出版了《 Perceptron》一書，指出感 知器不能解決高階謂詞問題 ； 1987 年以來，神經(jīng)網(wǎng)絡(luò)理論、應(yīng)用、實(shí)現(xiàn)和相關(guān)開發(fā)工具發(fā)展迅速，涉及神經(jīng)生理學(xué)、認(rèn)知科學(xué)、心理學(xué)、數(shù)理科學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、生物電子學(xué) 等多學(xué)科交叉、綜合的前沿科學(xué)。 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題展望，目前主要有以下三種方法：基于搜索機(jī)制的學(xué)習(xí)方法、基于規(guī)劃的學(xué)習(xí)方法和構(gòu)造性學(xué)習(xí)方法。 它是一種多層前饋網(wǎng)絡(luò)，采用最小均方差的學(xué)習(xí)方式，缺點(diǎn)是僅為有導(dǎo)師訓(xùn)練，訓(xùn)練時(shí)間長(zhǎng)，易限于局部極小。 研究問題 4： 誤差要求和網(wǎng)絡(luò)復(fù)雜程度將影響 BP各種算法的選擇； 比如擬牛頓法需要 Hessian矩陣，不適用于復(fù)雜的大型網(wǎng)絡(luò)，但對(duì)于中型網(wǎng)絡(luò)其收斂效果僅次于 LM算法，且需要的內(nèi)存也相對(duì)較小，但對(duì)于小型網(wǎng)絡(luò) LM算法最好最快，仿真效果要好；又如 當(dāng)誤差要求比較高時(shí)，彈性 BP算法和自適應(yīng)學(xué)習(xí)速率法需要很長(zhǎng)的訓(xùn)練時(shí)間，在設(shè)定的訓(xùn)練步驟范圍內(nèi) 不 能達(dá)到期望誤差 。 2． 1． 2 有教師監(jiān)督學(xué)習(xí) f（ 2． 1． 5 神經(jīng)元激活函數(shù) 在神經(jīng)元的激活函數(shù)中分為閾值激活函（包括階躍型和符號(hào)），線性激活函數(shù)（包括純線性型 和分段線性型，在圖中未標(biāo)識(shí)），非線性激活函數(shù)（主要是 S 型函數(shù)，分為 S型對(duì)數(shù)函數(shù)和 S 型正切函數(shù)， 這兩種是 BP神經(jīng)網(wǎng)絡(luò)主要使用的 ，即 Sigmoid函數(shù) 及其改進(jìn) ），還有一種概率型激活函數(shù)（其神經(jīng)元狀態(tài)分布與熱力學(xué)的 Boltzmann分布相似，故稱這種模型為神經(jīng)網(wǎng)絡(luò)熱力學(xué)模型）。 關(guān)于泛化方法（如結(jié)構(gòu)設(shè)計(jì)方法、主動(dòng)學(xué)習(xí)、在樣本隨機(jī)輸入中添加隨機(jī)噪聲、表決網(wǎng)、基于先驗(yàn)知識(shí)、最優(yōu)停止法等）內(nèi)容請(qǐng)參考相關(guān)文獻(xiàn)。 2． 2． 3 BP 神經(jīng)網(wǎng)絡(luò)方框圖 該圖僅給出了輸出層的一個(gè)神經(jīng)元 K，焦點(diǎn)集中在該神經(jīng)元周圍活動(dòng)： BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法 2． 3． 1 BP 神經(jīng)網(wǎng)絡(luò)信號(hào)流程 ①神經(jīng)元 j 是輸出節(jié)點(diǎn) (從 yi(n)開始 到 yj(n)是神經(jīng)元 j) ②神經(jīng)元 j 是隱含層節(jié)點(diǎn) (從 yj(n)開始 到 yk(n)是神經(jīng)元 k) 以 單個(gè)神經(jīng)元輸出為例。 可以根據(jù)這樣一個(gè)分布來選擇權(quán)值的初始值 ， 這樣的分布即是 需要根據(jù) 其均值為0而方差將與神經(jīng)元的連接數(shù)目成反比 的均勻分布。 S 型對(duì)數(shù) 函數(shù)的漸近值只能被期望輸出逼近，卻不能達(dá)到。而雙極性 S 型正切函數(shù)除了本身符合連續(xù)可微的條件外，具有雙極性輸出，它常常被選用為要求輸入是177。 在 BP 改進(jìn)算法中引入了動(dòng)量法解決 η的學(xué)習(xí)過程變化問題，增加網(wǎng)絡(luò)的穩(wěn)定性，加快學(xué)習(xí)收斂速度 ，如 MATLAB 中使用 動(dòng)量及自適應(yīng) lrBP 的梯度遞減訓(xùn)練函數(shù) 。另外，期望輸出數(shù)據(jù)不進(jìn)行歸一化會(huì)導(dǎo)致數(shù)值大的分量絕對(duì)誤差大，數(shù)值小的絕對(duì)誤差小，網(wǎng)絡(luò)訓(xùn)練時(shí)只針對(duì)輸出的總誤差調(diào)整權(quán)值，因此 在總誤差中所占份額少的輸出分量相對(duì)誤差較大。 提示學(xué)習(xí)是利用現(xiàn)有的關(guān)于函數(shù)的先驗(yàn)知識(shí)（如函數(shù)的不變性、對(duì)成 性以及其他特性）來提高函數(shù)的逼近能力，這就需要從學(xué)習(xí)樣本中提取有關(guān) 輸入輸出 函數(shù)的信息，推斷出能夠逼近輸入輸出函數(shù)的函數(shù)，在學(xué)習(xí)中嵌入這樣的提示，使用統(tǒng)計(jì)分布的方法建立虛擬樣本，也增加了網(wǎng)絡(luò)的泛化能力 ，加快了學(xué)習(xí)速度 。 此外還有一些諸如增加遺忘因子、誤差曲面陡度因子的方法 ，以及將多種方法和相關(guān)數(shù)學(xué)原理相結(jié)合的方法 （ 具體 請(qǐng) 參考相關(guān)文獻(xiàn)） 。 使其修正值增加；當(dāng)連續(xù)兩次迭代的梯度方向相反時(shí) ， 可將權(quán)值和閾值的修正值乘以一個(gè)減量因子，使其修正值減小；當(dāng)梯度為零時(shí)，權(quán)值和閾值的修正值保持不變；當(dāng)權(quán)值的修正發(fā)生振蕩時(shí)，其修正值將會(huì)減小。因此可以減小 振蕩 的趨勢(shì)，促使權(quán)值的調(diào)節(jié)向著誤差曲面的底部的平均方向變化 ， 降低了網(wǎng)絡(luò)對(duì)誤差曲面在局部細(xì)節(jié)的敏感性， 在一定程度上緩解局部極小問題，但是難以避免 收斂緩慢問題。 BP 學(xué)習(xí)算法的改進(jìn) 2． 5． 1 BP 學(xué)習(xí)算法的 優(yōu) 缺點(diǎn) ① BP學(xué)習(xí)算法優(yōu)點(diǎn)： BP 學(xué)習(xí)算法具有 數(shù)學(xué)理論 依據(jù)可靠，推導(dǎo)過程嚴(yán)謹(jǐn)，通用性好， 解決了求解非線性連續(xù) 函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò) 權(quán)值 調(diào)整問題 ， 具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能，特別適合求解內(nèi)部機(jī)制的復(fù)雜問題。 ?? nAe?? 第 21 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 2． 4． 6 其他影響因素分析 關(guān)于能夠改善 BP 神經(jīng)網(wǎng)絡(luò)性能和學(xué)習(xí)收斂速度的影響因素還 有很多，比如輸入樣本信息內(nèi)容的選擇問題、允許誤差ε的選擇問題， 從提示中學(xué)習(xí)的問題 以及改進(jìn)誤差函數(shù) 等。 歸一化的問題旨在 是歸納統(tǒng)一樣本的統(tǒng)計(jì)分布性 ，改善其分布規(guī)律 ，具體是消除均值，去相關(guān)性以及均方差均衡 。下面是理想學(xué)習(xí)率示意圖和一些規(guī)則： ????????? ? xaexf ax ,0。 因此， f(1)=1,f(1)=1,f(0)=ab=如果在順序方式中加入隨機(jī)的輸入樣本，有利于權(quán)值的空間搜索的隨機(jī)性，一定條件上可避免 陷入局部最小。 根據(jù) Delta 學(xué)習(xí)規(guī)則，由式 可得出 (式 ) 計(jì)算： (式 ) 根據(jù)式 至式 可得下式結(jié)果，再由下面的式子可以得出式 的計(jì)算結(jié)果： (式 ) ))(()()()()(nvfnynynwnvkkJjjjkk?? ?)()()( nyndne jjj ??)(21 2 nej?? Jj j nenE )(21)( 2)( )( nw nEw ijij ??? ??)()()()()()()()()()(nwnvnvnynynenenEnwnEijjjjjjjij ??????????????)()( )( nene nE jj???1)( )( ???? ny nejj))(()( )( nvfnv ny jjj ????)()( )( nynw nv iijj ??? )())(()()( )( nynvfnenw nE ijjij ????? 第 16 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 如果 令（該為負(fù)向局 向 梯度） 取激勵(lì)函數(shù)為： （ sigmoid 函數(shù)，或稱邏輯函數(shù)） (式 ) 令 a=1， 對(duì)該激勵(lì)函數(shù) 并代入求導(dǎo)： 因此 (式 ) ②在圖 （ b）中，隱含層 I 和 J，輸出層為 k： (式 ) 由式 至式 和上述推導(dǎo)過程可得： (式 ) (式 ) 又根據(jù)反向傳播定義 可知 ： (式 ) 因?yàn)槭? 和式 代入式 可得： )()()()())(()()()()()()()()()()(nynnwnEnvfnenvnynynenenEnvnEnijijjjjjjjjjj???????????????????????),0(1 1)( ?????????? ? xaexfy ax))(1)(()( )())(( nynynv nynvf jjjjj ??????))(1()())()(())(1()()()( nynynyndnynynen jjjjjjjj ??????????)()()( )()(