神經(jīng)網(wǎng)絡(luò)論文資料(編輯修改稿)
2025-01-31 15:18 本頁面
【文章內(nèi)容簡介】 )0(0PpdddxxxTnppppTnppppQ????????????dx利用該樣本集首先對(duì) BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練 ， 也即對(duì)網(wǎng)絡(luò)的連接權(quán)系數(shù)進(jìn)行學(xué)習(xí)和調(diào)整 ， 以使該網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入輸出映射關(guān)系 。 經(jīng)過訓(xùn)練的 BP網(wǎng)絡(luò) ， 對(duì)于不是樣本集中的輸入也能給出合適的輸出 。 該性質(zhì)稱為 泛化 (generalization)功能 。 從函數(shù)擬和的角度，它說明 BP網(wǎng)絡(luò)具有 插值功能 。 2022/2/1 49 ?? ??? ????PppPpniQpipi ExdEQ11 12)( )(21設(shè)取擬和誤差的代價(jià)函數(shù)為： ????QniQpipip xdE12)( )(21如何調(diào)整連接權(quán)系數(shù)以使代價(jià)函數(shù) E最小。 優(yōu)化計(jì)算的方法很多 ， 比較典型的是采用一階梯度法 ， 即最速下降法 。 2022/2/1 50 )1,1,(,)( ????? qwEqij?? ????? Ppqijpqij wEwE1)()(一階梯度法尋優(yōu)的關(guān)鍵是計(jì)算優(yōu)化目標(biāo)函數(shù) (即本問題中的誤差代價(jià)函數(shù) )E對(duì)尋優(yōu)參數(shù)的一階導(dǎo)數(shù)。 對(duì)于第 Q層有： )()()()()()( QijQpiQpiQpiQpipQijpwssxxEwE????????? )1()()( )(39。)( ???? QpjQpiQpipi xsfxd)1()( ??? QpjQpi x? )(39。)( )()()()( QpiQpipiQpipQpi sfxdsE ???????)(Qpix )(Qpis )1( ?Qpjx表示用第 p組輸入樣本所算得的結(jié)果。 2022/2/1 51 對(duì)于第 Q－ 1層有： )1()1()1()1( ???? ???????QijQpiQpipQijpwxxEwE)1()1()1()1(1)1()()( )( ?????? ????????? ? QijQpiQpiQpinkQpiQpkQpkpwssxxssEQ)2()1(1)()( )(39。)( ???? ?? QpjQpinkQkiQpk xsfwQ?)2()1( ???? QpjQpi x?)(39。)( )1(1)()()1()1( ???? ?????? QpinkQkiQpkQpipQpi sfwsE Q ??顯然，它是反向遞推計(jì)算的公式 2022/2/1 52 )(Qpk? 然后再由上式遞推計(jì)算出 )1( ?Qpi?依次類推，可繼續(xù)反向遞推計(jì)算出 )(qpi?)(qijpwE??和 (q=Q－ 2， ? ， 1) )(qpi?的表達(dá)式中包含了導(dǎo)數(shù)項(xiàng) )(39。 )( qpisf假定 f(） 為 S形函數(shù) 即首先計(jì)算出 )e x p (11)()()()(qpiqpiqpi ssfx ?????2)()()())e x p (1()e x p ()(39。qpiqpiqpi sssf??????? )](1)[( )()( qpiqpi sfsf ?? ?)1( )()( qpiqpi xx ?? ?2022/2/1 53 最后可歸納出 BP網(wǎng)絡(luò)的學(xué)習(xí)算法如下： 0),()()1( )()()( ???? ?? kDkwkw qijqijqij????Ppqpjqpiqij xD1)1()()( ?)1()( )()(1)1()1()(1qpiqpinkqkiqpkqpi xxwq?? ????? ???)1()( )()()()( QpiQpiQpipiQpi xxxd ??? ??1,2,1,2,1,1,1, ????? qq njniq ???2022/2/1 54 開 始連 接 權(quán) 及 閥 值 初 始 化學(xué) 習(xí) 模 式 對(duì) 提 供 給 網(wǎng) 絡(luò)計(jì) 算 中 間 層 各 單 元 的 輸 入 、 輸 出計(jì) 算 輸 出 層 各 單 元 的 輸 入 、 輸 出計(jì) 算 輸 出 層 各 單 元 的 一 般 化 誤 差計(jì) 算 中 間 層 各 單 元 的 一 般 化 誤 差調(diào) 整 中 間 層 至 輸 出 層 之 間 的 連 接權(quán) 及 輸 出 層 各 單 元 的 輸 出 閥 值調(diào) 整 輸 入 層 至 中 間 層 之 間 的 連 接權(quán) 及 中 間 層 各 單 元 的 輸 出 閥 值更 新 學(xué) 習(xí) 輸 入 模 式全 部 模 式 訓(xùn) 練 完 ？更 新 學(xué) 習(xí) 次 數(shù)誤 差 e 或 學(xué) 習(xí) 次 數(shù) N學(xué) 習(xí) 結(jié) 束是否是否2022/2/1 55 由于該算法式反向遞推 (Back Propagation)計(jì)算出的 ， 因而通常稱該多層前饋網(wǎng)絡(luò)為 BP網(wǎng)絡(luò) 。 該網(wǎng)絡(luò)實(shí)質(zhì)上是對(duì)任意非線性映射關(guān)系的一種逼近 ， 由于采用的是全局逼近的方法 ， 因而 BP網(wǎng)絡(luò)具有良好的泛化能力 。 真正的梯度下降是沿著梯度確定的方向以無窮小步長進(jìn)行的 。很明顯 ， 這是不切實(shí)際的 ， 因此定義學(xué)習(xí)速率 ?， 確定了沿梯度方向的一個(gè)有限步長 。 這里 ?是常數(shù) ， 它相當(dāng)于確定步長的增益 。 其中心思想就是選擇足夠大的 ? ， 使得網(wǎng)絡(luò)迅速收斂 ， 而不會(huì)因調(diào)整過渡而振蕩 。 2022/2/1 56 BP網(wǎng)絡(luò)的主要優(yōu)點(diǎn) ? 定理：只要隱層神經(jīng)元的個(gè)數(shù)充分多，則隱神經(jīng)元為 S形神經(jīng)元而輸出元為線性元的二層網(wǎng)可逼近任何函數(shù)； ? BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近的方法，因而它具有較好的泛化能力。 如果用 M個(gè)隱神經(jīng)元的網(wǎng)絡(luò)逼近函數(shù) h(x)， 則必然存在一個(gè)殘量誤差 ， Jones(1990,1992)和 Barron(1993)證明了這一誤差以速度O(1/M)隨 M的增大而減小 。 2022/2/1 57 ? BP網(wǎng)絡(luò)能夠?qū)崿F(xiàn)輸入輸出的非線性映射關(guān)系，但它并不依賴于模型。其輸入與輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)于連接權(quán)中。由于連接權(quán)的個(gè)數(shù)很多，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸出關(guān)系有較小的影響，因此 BP網(wǎng)絡(luò)顯示了較好的容錯(cuò)性。 BP網(wǎng)絡(luò)由于其很好的逼近非線性映射的能力，因而它可應(yīng)用于信息處理、圖象識(shí)別、模型辨識(shí)、系統(tǒng)控制等多個(gè)方面。 對(duì)于控制方面的應(yīng)用，其很好的逼近特性和泛化能力是一個(gè)很好的性質(zhì)。而收斂速度慢卻是一個(gè)很大的缺點(diǎn)，這一點(diǎn)難以滿足實(shí)時(shí)控制的要求。 2022/2/1 58 對(duì)于給定的樣本集，目標(biāo)函數(shù) E是全體連接權(quán)系數(shù)的函數(shù)。因此，要尋優(yōu)的參數(shù)的個(gè)數(shù)比較多，也就是說，目標(biāo)函數(shù) E是關(guān)于連接權(quán)的一個(gè)非常復(fù)雜的超曲面，這就給尋優(yōu)計(jì)算帶來一系列的問題。 其中一個(gè)最多的問題是收斂速度慢 。 由于待尋優(yōu)的參數(shù)太多 ，必然導(dǎo)致收斂速度慢的缺點(diǎn) 。 第二個(gè)嚴(yán)重缺陷是局部極值問題，即 E的超曲面可能存在多個(gè)極值點(diǎn)。 第三是難以確定隱層和隱結(jié)點(diǎn)的個(gè)數(shù)。從原理上，只要有足夠多的隱層和隱結(jié)點(diǎn)，即可實(shí)現(xiàn)復(fù)雜的映射關(guān)系，但是如何根據(jù)特定的問題來具體確定網(wǎng)絡(luò)的結(jié)構(gòu)尚無很好的方法，仍需要憑借經(jīng)驗(yàn)和試湊。 按照上面的尋優(yōu)算法，它一般收斂到初值附近的局部極值。 BP改進(jìn)算法 2022/2/1 59 從本質(zhì)上講 ， BP網(wǎng)絡(luò)的求解訓(xùn)練過程本質(zhì)上是一種非線性優(yōu)化問題 ， 這
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1