【文章內(nèi)容簡(jiǎn)介】 著訓(xùn)練次數(shù)的增加，訓(xùn)練集的 J t( ) 會(huì)減少，測(cè)試集的 J t1( )可能不減小或增大，說(shuō)明泛化 能力減弱。 因此，可取測(cè)試集 J1的極小點(diǎn)對(duì)應(yīng)的訓(xùn)練權(quán)系，以使網(wǎng)絡(luò)具有較好的泛化能力。 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 35 J 全局極小點(diǎn) 局部極小點(diǎn) 圖 2 4 3 局部與全局極小點(diǎn) （ 8 ） 訓(xùn)練誤差網(wǎng)絡(luò)的訓(xùn)練誤差在最后一個(gè)樣本處最小。 （ 9 ） BP 算法已成 ANN 的重要模型之一多層前饋網(wǎng)的 BP 算法，已成為神經(jīng)網(wǎng)絡(luò)的重要模型之一，很多領(lǐng)域得到應(yīng)用。在自動(dòng)控制中，也是用得最多的模型，如在非線性系統(tǒng)辨識(shí)、控制及系統(tǒng)故障診斷中的應(yīng)用。（ 10 ） BP 算法的不足 ① 由于是非線性優(yōu)化，就會(huì)存在局部極小問(wèn)題，見(jiàn)圖 243 。 ② 學(xué)習(xí)算法的收斂速度慢，且收斂速度與初始權(quán)的選擇有關(guān)。 ③ 網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)，即隱層及節(jié)點(diǎn)數(shù)的選擇，尚無(wú)理論指導(dǎo)。④ 新加入的樣本會(huì)影響到已學(xué)好的樣本。2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 36 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 單權(quán)值 雙權(quán)值 標(biāo)準(zhǔn) BP算法的誤差 空間 是 N維空間中一個(gè)形狀極為復(fù)雜的曲面，該曲面上的每個(gè)點(diǎn)的 “ 高度 ” 對(duì)應(yīng)于一個(gè)誤差值，每個(gè)點(diǎn)的坐標(biāo)向量對(duì)應(yīng)著 N個(gè)權(quán)值 561 問(wèn)題的描述 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 37 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 ?BP網(wǎng)絡(luò)學(xué)習(xí)算法 存在的問(wèn)題 ? 存在平坦區(qū)域 影響 誤差下降緩慢，影響收斂速度。 原因 誤差對(duì)權(quán)值的梯度變化?。咏诹? 由各節(jié)點(diǎn)的凈輸入過(guò)大而引起。 ?分析：激活函數(shù)為 Sigmod函數(shù) 561 問(wèn)題的描述 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 38 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 ? 存在平坦區(qū)域的原因分析 權(quán)值 修正量 ： 輸出的導(dǎo)數(shù)： ( ) ( )( ) ( ( ) ( ) ) ( )( ( ) ( ) ) ( 1 ( ) ) ( )oohho o hoo o o oo o o oyieek ho kw y i wk d k y o k y o kd k y o k y o k y o k?????= = ? ? ??== 221( ) ( )111()( 1 ) ( 1 )( ) ( 1 ( ) )o yiy i y io y i y iooy o k f y ieeey o keey o k y o k==++? ==++=561 問(wèn)題的描述 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 39 對(duì)應(yīng)著誤差的某個(gè)谷點(diǎn) 對(duì)應(yīng)著誤差的平坦區(qū) 存在平坦區(qū)域的原因分析： ? 第一種可能是 充分接近 ? 第二種可能是 充分接近 0 ? 么三種可能是 充分接近 1 造成平坦區(qū)的原因： 各節(jié)點(diǎn)的凈輸入過(guò)大。 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 ()oyo k()odk()oyo k()oyo k 1 . 0 0 . 5 yi 0 ()oy o k561 問(wèn)題的描述 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 40 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 ? 存在多個(gè)極小點(diǎn) ? 影響 易陷入局部最小點(diǎn)。 原因： ? 以誤差梯度下降為權(quán)值調(diào)整原則； ? 誤差曲面上可能存在多個(gè)梯度為 0的點(diǎn)，多數(shù)極小點(diǎn)都是局部極小，即使是全局極小往往也不是唯一的，使之無(wú)法辨別極小點(diǎn)的性質(zhì) ? 導(dǎo)致的結(jié)果： 使得訓(xùn)練經(jīng)常陷入某個(gè)局部極小點(diǎn)而不能自拔，從而使訓(xùn)練無(wú)法收斂于給定誤差。 561 問(wèn)題的描述 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 41 ? BP算法缺陷小結(jié) ⑴ 易形成局部極小而得不到全局最優(yōu)； ⑵ 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； ⑶ 隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)； ⑷ 訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。 針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，下面將介紹其中幾種較常用的方法。 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 561 問(wèn)題的描述 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 42 ? 在線學(xué)習(xí)方式時(shí)，網(wǎng)絡(luò)受后面輸入樣本的影響較大，嚴(yán)重時(shí)，會(huì)影響用戶要求的訓(xùn)練精度。為了消除這種樣本順序?qū)Y(jié)果的影響，可以采用批處理學(xué)習(xí)方式，即使用一批學(xué)習(xí)樣本產(chǎn)生的總誤差來(lái)調(diào)整權(quán)值，用公式表示如下： ? 解決了因樣本輸入順序引起的精度問(wèn)題和訓(xùn)練的抖動(dòng)問(wèn)題。但是，該算法的收斂速度相對(duì)來(lái)說(shuō)還是比較慢的。 39。p1( ) ( )mi j i j o hkw w k h o k?=? = ? =??56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 562 消除樣本輸入順序影響的改進(jìn)算法 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 43 算 法 流程 圖 網(wǎng)絡(luò)初始 化 計(jì) 算 輸出 層 權(quán) 值 調(diào) 值 計(jì) 算隱含層 權(quán) 值 調(diào) 值 計(jì) 算 全局誤差 是 結(jié)束 判 斷是否 結(jié)束 ？ 否 更 新 權(quán) 值 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 562 消除樣本輸入順序影響的改進(jìn)算法 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 44 ? 在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值（或閾值）的變化上加上一項(xiàng)正比于上一次權(quán)值（或閾值）變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值（或閾值）變化 ? 帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式為 : ? 可以防止的出現(xiàn)即最后一次權(quán)值的變化量為 0，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出。但對(duì)于大多數(shù)實(shí)際應(yīng)用問(wèn)題，該法訓(xùn)練速度仍然很慢。 ? MATLAB中的工具函數(shù) traingdm()即對(duì)應(yīng)于附加動(dòng)量法。 ( 1 ) ( 1 ) f ( ( ) ) ( ( ) ( 1 ) )cck m k m k k?? + = ? + w w w w56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 563 附加動(dòng)量的改進(jìn)算法 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 45 ? 采用自適應(yīng)調(diào)整參數(shù)的改進(jìn)算法的基本設(shè)想是學(xué)習(xí)率應(yīng)根據(jù)誤差變化而自適應(yīng)調(diào)整，以使權(quán)系數(shù)調(diào)整向誤差減小的方向變化，其迭代過(guò)程可表示為 ： ? 在很小的情況下，采用自適應(yīng)調(diào)整參數(shù)的改進(jìn)算法仍然存在權(quán)值的修正量很小的問(wèn)題，致使學(xué)習(xí)率降低。 ? MATLAB中的工具函數(shù) traingda()即對(duì)應(yīng)于自適應(yīng)調(diào)整參數(shù)法。 ( 1 ) ( ) f ( ( ) )k k k?+ = ?w w w56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 563 采用自適應(yīng)調(diào)整參數(shù)的改進(jìn)算法 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 46 ? BP網(wǎng)絡(luò)通常采用 Sigmoid隱含層。當(dāng)輸入的函數(shù)很大時(shí)，斜率接近于零，這將導(dǎo)致算法中的梯度幅值很小，可能使網(wǎng)絡(luò)權(quán)值的修正過(guò)程幾乎停頓下來(lái)。彈性方法只取偏導(dǎo)數(shù)的符號(hào)，而不考慮偏導(dǎo)數(shù)的幅值。其權(quán)值修正的迭代過(guò)程可表示為 ： ? 在彈性 BP算法中，當(dāng)訓(xùn)練發(fā)生振蕩時(shí)，權(quán)值的變化量將減?。划?dāng)在幾次迭代過(guò)程中權(quán)值均朝一個(gè)方向變化時(shí)，權(quán)值的變化量將增大。因此，使用彈性方法的改進(jìn)算法，其收斂速度要比前幾種方法快得多 ( 1 ) ( ) ( ( ) ( 1 ) ) ( f ( ( ) ) )k k k k s i g n k+ = ?w w w w w56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 563 使用彈性方法的改進(jìn)算法 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 47 ? 梯度法的缺點(diǎn)是搜索過(guò)程收斂速度較慢，牛頓法在搜索方向上比梯度法有改進(jìn)，它不僅利用了準(zhǔn)則函數(shù)在搜索點(diǎn)的梯度，而且還利用了它的二次導(dǎo)數(shù)，就是說(shuō)利用了搜索點(diǎn)所能提供的更多信息，使搜索方向能更好地指向最優(yōu)點(diǎn)。它的迭代方程為 ： ? 收斂速度比一階梯度快，但計(jì)算又較復(fù)雜，比較典型的有 BFGS擬牛頓法和一步正切擬牛頓法。 ? MATLAB中的工具函數(shù) trainbfg()、 trainoss()即對(duì)應(yīng)擬牛頓法中的 BFGS擬牛頓法和一步正切擬牛頓法。 1( 1 ) ( ) f ( ( ) )k k k? + = ?－w w D w56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 563 使用擬牛頓法的改進(jìn)算法 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 48 ? 梯度下降法收斂速度較慢，而擬牛頓法計(jì)算又較復(fù)雜，共軛梯度法則力圖避免兩者的缺點(diǎn)。共軛梯度法也是一種改進(jìn)搜索方向的方法，它是把前一點(diǎn)的梯度乘以適當(dāng)?shù)南禂?shù)，加到該點(diǎn)的梯度上，得到新的搜索方向。其迭代方程為 ： ( 1 ) ( ) ( ) ( )k k k S k?? + = +ww( ) f ( ( ) ) ( 1 ) ( 1 )S k k k S k= ? + wv? ()k 最 佳 步 22f ( ( ) )( 1 )f ( ( 1 ) )kkk?=?wvw56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 567 基于共軛梯度法的改進(jìn)算法 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 49 ? 共軛梯度法比大多數(shù)常規(guī)的梯度下降法收斂快，并且只需增加很少的存儲(chǔ)量和計(jì)算量。 ? 對(duì)于權(quán)值很多的網(wǎng)絡(luò)，采用共軛梯度法不失為一種較好的選擇。 ? MATLAB中的工具函數(shù) traincgb()、 traincgf()、traincgp()即對(duì)應(yīng)于共軛梯度法。 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)習(xí)算法 567 基于共軛梯度法的改進(jìn)算法 2020126 北京科技大學(xué) 自動(dòng)化系 付冬梅 50 演示 ?梯度下降法與改進(jìn)算法的幾何意義 ? BP算法在多層前饋網(wǎng)絡(luò)中的應(yīng)用 56 改進(jìn)的 BP網(wǎng)絡(luò)的學(xué)