【正文】 )。res=norm(err)。=init()。{1,1}.initF=39。{1,1}.initF=39。{1}.initF=39。=。},39。,39。① MATLAB 程序段一：x=4::4。可能意味著子區(qū)間的長度與計算機舍入誤差相當(dāng)，無法繼續(xù)計算了，原因可能是有奇點（無限小且不實際存在） ，另外也存在是初值問題，理論上得知：共軛梯度法最大局限是依賴于初值，在有限的迭代次數(shù)內(nèi)可能既不能搜索到全局極值也不能搜索到局部極值。對收斂速度要求不高時也可使用動量及自適應(yīng)學(xué)習(xí)速率法。從仿真效果圖可以看出，LM 算法的效果最好，其次是共軛梯度法，其余均有不同范圍內(nèi)的失真。)。res=norm(err)。=。},39。,39。MATLAB 程序段如下：x=4::4。 res(i)=norm(err)。%=。},39。,39。%隱含層的神經(jīng)元數(shù)目范圍s=9:16。輸入層和輸出層神經(jīng)元個數(shù)為 1，只有一個隱含層，其個數(shù)根據(jù)上述的設(shè)計經(jīng)驗公式和本例的實際情況，選取 916 之間。所采用的數(shù)據(jù)和編程來自或參考于參考文獻 2，該網(wǎng)絡(luò)的輸入層和輸出層的神經(jīng)元個數(shù)均為 1，隱含層設(shè)計可以根據(jù)下面的經(jīng)驗，這里采用的是設(shè)計一個隱含層神經(jīng)元數(shù)目可變的 BP 神經(jīng)網(wǎng)絡(luò)，通過誤差對比，確定最佳的隱含層神經(jīng)元個數(shù)，并檢驗隱含層神經(jīng)元個數(shù)對網(wǎng)絡(luò)性能的影響。仿真的具體步驟為：①確定信息的表達方式：將實際問題抽象成神經(jīng)網(wǎng)絡(luò)所能接受的數(shù)據(jù)形式；②確定網(wǎng)絡(luò)結(jié)構(gòu)模型，本仿真將選取輸入層，一個隱含層和輸出層的 BP 網(wǎng)絡(luò)模型；③選擇網(wǎng)絡(luò)參數(shù)：如神經(jīng)元數(shù)，隱含層數(shù)等；④確定訓(xùn)練模式，選擇訓(xùn)練算法，確定訓(xùn)練步數(shù)，指定訓(xùn)練目標誤差等；⑤網(wǎng)絡(luò)測試：選擇合適的樣本進行網(wǎng)絡(luò)測試。在新的版本中也加入了對 C，F(xiàn)ORTRAN，C++ ，JAVA 的支持。在上面的分析可以得出，該算法的基本思想是使其每次迭代不再沿著單一的負梯度方向，而是允許誤差沿著惡化的方向進行搜索，同時通過在和GaussNewton法)()()()()1( )1()()( wgwnnndirggijij ijT ??????????? dir(n)g(0)dir(n+1)圖 共軛梯度向量示意圖 )1()(1)2( 0)0()(wijgdir gdirwiij ?????????)()()(()1neJInJnwjTTij ?????25 / 44和梯度下降法之間自適應(yīng)來優(yōu)化網(wǎng)絡(luò)權(quán)值，使網(wǎng)絡(luò)能夠有效的收斂，大大提高了網(wǎng)絡(luò)的收斂速度和泛化能力。??分析：LM算法根據(jù)迭代的結(jié)果動態(tài)地調(diào)整阻尼因子,即動態(tài)地調(diào)整迭代的收斂方向,可使每次的迭代誤差函數(shù)值都有所下降。在試驗中得知在高維函數(shù)或向量的訓(xùn)練將會達到更好的效果。為了確保搜索方向的共軛性，初始搜索方向取負梯度方向，當(dāng)由于誤差積累使得搜索方向變得非下降時，可以以負梯度方向重新開始搜索。但都是基于梯度下降法，它們只利用了目標函數(shù)對網(wǎng)絡(luò)權(quán)值和閾值的一階導(dǎo)數(shù)信息。基本思想：當(dāng)前誤差與前一次誤差比較，如果誤差出現(xiàn)反彈或持平，說明學(xué)習(xí)率過大，那么將學(xué)習(xí)率降到原來的60% ，然后再按5% 的速度遞增；如果誤差持續(xù)下降，學(xué)習(xí)率繼續(xù)遞增；當(dāng)誤差再出現(xiàn)反彈或持平時，再將學(xué)習(xí)率下調(diào)40%；這樣反復(fù)跳躍以刺激收斂速度，同時這種跳躍還可以避免尋優(yōu)搜索陷入局部極小值。如果權(quán)值在)()1()()( nwnynwijijij ?????????xexf???1)(23 / 44相同的梯度上連續(xù)被修正，則其幅度必將增加，從而克服了梯度幅度的不利影響，即（當(dāng)連續(xù)兩次迭代的梯度方向相同時）（當(dāng)連續(xù)兩次迭代的梯度方向相反時）（當(dāng)局向梯度g(n)為零時）其中 是第n次迭代的權(quán)值或閾值的幅度修正值， 為增量因子， 為減量因)(x? inckdeck子，sign(g(n))代表局向梯度g(n)的符號函數(shù)。2．5．3 彈性 BP 學(xué)習(xí)算法BP 學(xué)習(xí)算法常用 sigmoid 函數(shù)，即其特點是可以把無限的輸入映射到有限的輸出，如果函數(shù)的輸入很大或很小的時候，函數(shù)的斜率接近于零，這樣采用梯度下降法使用sigmoid函數(shù)的網(wǎng)絡(luò)就帶來一個問題：梯度幅度的不利影響，即盡管權(quán)值和闞值離其最佳值相差甚遠，但此時梯度的幅度非常小，導(dǎo)致權(quán)值和閾值的修正量也很小，使得訓(xùn)練時間變得很長。2．5．2 增加動量項在前面提到學(xué)習(xí)率的變化會影響網(wǎng)絡(luò)的性能，為此在權(quán)值調(diào)整公式中增加一個動量項，達到微調(diào)權(quán)值修正量防止振蕩的效果。它具有自學(xué)習(xí)、自組織、自適應(yīng)性和很???JjjjydnE2)(21)(jjyd?221 )1(4)(4)( ???JjjjJjjj ydynE??22 / 44強的信息綜合能力，能夠同時處理定量和定性信息，協(xié)調(diào)多種輸入的關(guān)系并進行推廣概括，實行并行處理，適用于處理復(fù)雜非線性和不確定的對象。改進誤差函數(shù)，標準的誤差函數(shù)采用的是（這也是為了方便計算）隨著學(xué)習(xí)次數(shù)的增加， 越來越小，使函數(shù)逼近速度減慢，這樣對高度非線性樣本的逼近精度得不到保證，為此用絕對和相對逼近精度來描述次誤差函數(shù)，即其中 和 是常量系數(shù)。在輸入樣本信息選擇問題上，為能在對權(quán)空間進行更多的搜索，需要以下兩個原則選擇輸入樣本，使用訓(xùn)練誤差最大的樣本，使用的樣本要與以前使用的有根本區(qū)別。這些都將影響學(xué)習(xí)的速度。歸一化在[0,1]之間是統(tǒng)計的概率分布，歸一化在[1,+1]之間是統(tǒng)計的坐標分布。此外有很多研究人員采用遺傳算法和免疫算法 BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率進行優(yōu)化設(shè)計并簡歷數(shù)學(xué)模型，下面是一個簡單的優(yōu)化的學(xué)習(xí)率變化公式：其中 n 為迭代次數(shù)，A 和 λ 根據(jù)工程應(yīng)用的復(fù)雜性和結(jié)構(gòu)優(yōu)化的模糊性，對不同的系統(tǒng)和要求取不同的范圍，一般情況下，1≤A≤50，≤λ≤。1)( aeebaf bxbx?????12)tnh()(迭代次數(shù) nE(n)收斂速率 圖 理想學(xué)習(xí)率示意圖 20 / 44根據(jù)反向傳播計算式得知，學(xué)習(xí)率 η 越大權(quán)值的變化就越大，則 BP 算法的學(xué)習(xí)收斂速度就越快，過大則引起網(wǎng)絡(luò)的振蕩，導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定以及性能低下，當(dāng)超過某一極值容易引起算法不穩(wěn)定。1 范圍的信號，關(guān)于它們的選擇主要從函數(shù)自身的工作范圍及其導(dǎo)數(shù)值的大小范圍以及結(jié)構(gòu)簡單和運算速度快等思想考慮。2/3=,斜率接近單位 1，在 x=1 時二階導(dǎo)數(shù)最大。有事實表明，前向型網(wǎng)絡(luò)的激活函數(shù)對網(wǎng)絡(luò)的收斂速度和收斂精度均有很大影響。批處理方式的臨時空間要大一些，訓(xùn)練速度要慢些，這是因為批處理方式是將)()(1(nwnwijijij ?????MmJjNE122總19 / 44各樣本的誤差加在一起，故要一次存儲各樣本的誤差，根據(jù)其和值對權(quán)值調(diào)整，由于這些誤差可以相互抵消，這將降低算法的調(diào)整能力，降低學(xué)習(xí)速度；若改為誤差平方和，也不能避免陷入局部極小，也可能由誤差不為零、總和為零產(chǎn)生新的局部極小現(xiàn)象。2．4．2 權(quán)值調(diào)整方法影響分析此權(quán)值調(diào)整方法正是構(gòu)成了網(wǎng)絡(luò)的訓(xùn)練方法，有兩種方法：順序方式和批處理方式。2．3．3 BP 神經(jīng)網(wǎng)絡(luò)算法描述 以上的反向傳播算法計算過程是 BP 算法的基礎(chǔ)算法，下面是其算法描述：))()()()()( 11 nyvennyenyE jkkKkjkKkj ????????)()()()(1 nwvfnenyEjkkKkj ???? )()()()()(1fvf jkkKkjj ????? )()()()()()()( nvfenvyenEnvnkkkkkkk ??????????? )()()()()()()( 11 wfwvfef jkKkjjkkKkjj ??? ??? ?)()(nyynf jjjjj ????)(nijij???)()(1wwji???初始化輸入樣本計算各層輸出及輸出誤差計算各層誤差信號調(diào)整各層權(quán)值mMEε結(jié)束n=n+1,m=m+1E=0m=1圖 BP 基本算法流程圖開始18 / 44①初始化，設(shè)置樣本計數(shù)器 m 和訓(xùn)練（迭代）次數(shù)計數(shù)器 n,其最大值分別為(M,N)；并將權(quán)值矩陣設(shè)立隨機數(shù)，誤差 E 置為 0，允許誤差值為 ε，學(xué)習(xí)率 0η1；②輸入訓(xùn)練樣本，包括實際訓(xùn)練樣本 X 和期望輸出樣本 d；③計算各層輸出 V 和 Y 向量，并用 e=dy 計算輸出誤差；④計算各層誤差信號，包括誤差的局向梯度 δ；⑤調(diào)整各層權(quán)值，利用反向傳播計算原理調(diào)整⑥對樣本計數(shù)器 m 進行檢查，看是否完成所有樣本的訓(xùn)練；⑦對訓(xùn)練結(jié)果產(chǎn)生的網(wǎng)絡(luò)誤差進行比較，看是否在所允許的誤差之內(nèi)；⑧若⑥⑦否則轉(zhuǎn)向②繼續(xù)訓(xùn)練，否則訓(xùn)練結(jié)束。2．3．2 誤差反向傳播計算根據(jù)圖 （a）可以初步寫出下面的式子：(式 )(式 )根據(jù)圖 （b）可以初步寫出下面的式子：(式 )(式 )其中 i=1，2，…,I；j=1,2,…,J；k=1,2,…,K；n 為學(xué)習(xí)步長。如果在輸出曾不能得到期望的輸出則會轉(zhuǎn)入誤差反向傳播；②誤差信號反向傳播。 BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程描述2．2．1 BP 神經(jīng)網(wǎng)絡(luò)計算模型建立注：W pq是隱含層 P 中 p（輸出）神經(jīng)元到隱含層 Q 中 q（輸入）神經(jīng)元的連接權(quán)值。分析：第一個準則為了達到期望值，學(xué)習(xí)時間可能會很長，而第二個準則則有可能13 / 44過早的終止學(xué)習(xí)。2．1．6 BP 神經(jīng)網(wǎng)絡(luò)收斂準則在實際問題上，實際輸出往往很難達到期望輸出，因此需要一個準則停止權(quán)值的調(diào)整，這就需要考慮關(guān)于誤差曲面的局部或全局最小的性質(zhì)。其規(guī)則的學(xué)習(xí)信號規(guī)定為：(式 )為了方便計算，定義神經(jīng)元 j 的期望誤差與實際輸出之間的計算誤差為(式 )按照誤差的負梯度修正權(quán)值，即：(式 )(式 )其中 是學(xué)習(xí)率，0 1，在多層前饋網(wǎng)絡(luò)中，權(quán)值可以初始化為任意值。2．1．2 有教師監(jiān)督學(xué)習(xí)環(huán)境教師學(xué)習(xí)系統(tǒng) 實際響應(yīng)描述環(huán)境狀態(tài)向量期望模式輸入模式?+誤差信號 ek圖 有教師學(xué)習(xí)方框圖期望響應(yīng)11 / 44有教師學(xué)習(xí)采用的是糾錯規(guī)則，在網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程給神經(jīng)網(wǎng)絡(luò)一個期望模式和輸入模式，所期望的模式就是教師信號，因此可以將輸入模式所得的結(jié)果與期望模式的結(jié)果相比較，當(dāng)不相符時，可以根據(jù)相關(guān)規(guī)則進行權(quán)值調(diào)整，比如上述的Delta 規(guī)則，直到滿足一定誤差 范圍內(nèi)，這將更接近期望模式結(jié)果。 10 / 44 神經(jīng)網(wǎng)絡(luò) BP 神經(jīng)網(wǎng)絡(luò)相關(guān)原理2．1．1 神經(jīng)元非線性模型f（研究問題 5：在實例的網(wǎng)絡(luò)模型的建立和 MATLAB 仿真的過程中，發(fā)現(xiàn)沒有確定隱含層神經(jīng)元數(shù)目的有效方法，隱含層神經(jīng)元的數(shù)目直接影響分類精度，神經(jīng)元數(shù)目過多或過少都會使網(wǎng)絡(luò)性能下降，一般只能由經(jīng)驗設(shè)定，再經(jīng)過多次調(diào)試確定最佳數(shù)目。得到如下圖 11 示意模型：（多層前饋型網(wǎng)絡(luò)）9 / 44輸入層 隱含層 輸出層誤 差 信 號圖 BP 神經(jīng)網(wǎng)絡(luò)示意模型輸 入 信 號研究問題 2：BP 神經(jīng)網(wǎng)絡(luò)的不足，訓(xùn)練時間較長，有時完全不能訓(xùn)練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu)，隱含節(jié)點個數(shù)難以確定，訓(xùn)練過程有暫時遺忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。鑒于神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，特別是 BP 神經(jīng)網(wǎng)絡(luò)的發(fā)展，對于神經(jīng)網(wǎng)絡(luò)（比如 BP神經(jīng)網(wǎng)絡(luò)）的研究具有重要意義。8 / 44 研究目的、方法和問題（BP 神經(jīng)網(wǎng)絡(luò)）1．3．1 研究目的在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長一段時間里沒有找到隱含層的連接權(quán)值調(diào)整問題的有效算法。如今也有其綜合方法，各有特點。1．2．3 神經(jīng)網(wǎng)絡(luò)國內(nèi)發(fā)展概況1980 年，涂序言教授等出版了《生物控制論》一書， “神經(jīng)系統(tǒng)控制論”一章系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、功能和模型，是我國最早涉及神經(jīng)網(wǎng)絡(luò)的著作；因此到 80 年代中期，我國學(xué)術(shù)界掀起了研究神經(jīng)網(wǎng)絡(luò)的熱潮；1988 年北京大學(xué)非線性研究中心舉辦了 Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach；1989 年召開可全國非正式的神經(jīng)網(wǎng)絡(luò)會議，于 1990 年在北京召開了中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)大會，第二年在南京召7 / 44開了第二屆，并成立了中國神經(jīng)網(wǎng)絡(luò)學(xué)會；1992 年國際神經(jīng)網(wǎng)絡(luò)學(xué)會和 IEEE 神經(jīng)網(wǎng)絡(luò)委員會在北京召開神經(jīng)網(wǎng)絡(luò)的國際性會議；自此中國神經(jīng)網(wǎng)絡(luò)研究在國家研究計劃的支持和學(xué)術(shù)及工程人員的發(fā)展與應(yīng)用下取得一系列豐碩成果。應(yīng)用于各個領(lǐng)域，如自動控制領(lǐng)域、處理組合優(yōu)化問題、模式識別、圖像處理、機器人控制、醫(yī)療等。1985 年， 和 借助統(tǒng)計物理學(xué)概念和方法提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計熱力學(xué)模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點；1969 年，美國波士頓大學(xué)自適應(yīng)系統(tǒng)中心的 教授及其夫人 提出了著名的自適應(yīng)共振理論（adaptive resonance theory）模型；1958 年，計算機科學(xué)家 Frank Rosenblatt，在一篇著名的文章中提出了一種具有三層網(wǎng)絡(luò)特性的“感知器” （perceptron）神經(jīng)網(wǎng)絡(luò)； 他們通過 MP 模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時代。 （ 引 自 《 環(huán) 球 科 學(xué) 》 2022 年 第 一 期 《 神 經(jīng) 語 言 ： 老 鼠 胡 須 下 的 秘 密 》 ） 神經(jīng)網(wǎng)絡(luò)概述1．2．1 神經(jīng)網(wǎng)絡(luò)起源早在 1890 年，美國心理學(xué)家 William James（18421910）出版了《Principles