人工神經(jīng)網(wǎng)絡(luò)講ppt課件-資料下載頁
2025-01-05 05:06本頁面
【正文】 l c l ???? ? ? ? ? ? ? ? ? ?? ? ?0 1 1 , 2 , , 。 1 , 2 , , 。 1 , 2 , , ( 1 4 )kkjt t jV d b t q j p k m??? ? ? ? ? ? ? ? ?所以： 5多層網(wǎng)絡(luò)的誤差逆?zhèn)鞑バＵ椒? ?同理，由輸入層至中間層連接權(quán)的調(diào)整，仍按梯度下降法的原則進(jìn)行 ： 0 1 1 , 2 , , 。 1 , 2 , ,kkki j j iijEW e a i n j pW? ? ??? ? ? ? ? ? ? ? ? ??同樣也可求出閾值的調(diào)整量： 為中間層各單元的校正誤差 kje( 1 , 2 , , )ktt d t q??? ? ? ?( 1 , 2 , , )kjj e j p??? ? ? ?以上的推導(dǎo)僅是針對某一組學(xué)習(xí)模式進(jìn)行的，其誤差也是某一組的誤差。對于全部的輸入模式，我們有網(wǎng)絡(luò)的全局誤差 E： 21 1 1( ) / 2qmm kkk t tk k tE E y c? ? ?? ? ?? ? ? BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則與計算方法 ?輸入模式順傳播（輸入模式由輸入層經(jīng)中間層向輸出層傳播計算），這一過程主要是利用輸入模式求出它所對應(yīng)的實際輸出 ?輸出誤差逆?zhèn)鞑ィㄝ敵龅恼`差由輸出層經(jīng)中間層傳向輸入層），當(dāng)這些實際的輸出值與希望的輸出值不一樣時或者說其誤差大雨所限定的數(shù)值時，就要對網(wǎng)絡(luò)進(jìn)行校正。 ?循環(huán)記憶訓(xùn)練（模式順傳播與誤差逆?zhèn)鞑サ挠嬎氵^程反復(fù)交替循環(huán)進(jìn)行） ?學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值）。 開 始連 接 權(quán) 及 閾 值 初 始 化學(xué) 習(xí) 模 式 對 提 供 給 網(wǎng) 絡(luò)計 算 中 間 層 各 單 元 的 輸 入 、 輸 出計 算 輸 出 層 各 單 元 的 輸 入 、 輸 出計 算 輸 出 層 各 單 元 的 校 正 誤 差計 算 中 間 層 各 單 元 的 校 正 誤 差調(diào) 整 中 間 層 至 輸 出 層 之 間 的 連 接 權(quán) 及 輸 出層 各 單 元 的 輸 出 閾 值調(diào) 整 輸 入 層 至 中 間 層 之 間 的 連 接 權(quán) 及 中 間 層 各單 元 的 輸 出 閾 值更 新 學(xué) 習(xí) 輸 入 模 式學(xué) 習(xí) 結(jié) 束全 部 模 式 訓(xùn) 練 完更 新 學(xué) 習(xí) 次 數(shù)誤 差 ε 或 學(xué) 習(xí) 次 數(shù) N ？是是否否BP網(wǎng)的學(xué)習(xí)過程 利用前面求得的對各個連接權(quán)和閥值進(jìn)行校正的數(shù)學(xué)表達(dá)式，可構(gòu)成 BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則。 BP網(wǎng)絡(luò)的應(yīng)用舉例 ? “異或”（ XOR）問題：例如有一個 BP網(wǎng)絡(luò)，它由輸入、中間和輸出層這三層構(gòu)成，如圖所示。輸入層和中間層各有兩個神經(jīng)元，輸出層有一個神經(jīng)元。先要求訓(xùn)練這一網(wǎng)絡(luò)，使其具有解決“異或”問題的能力。 首先給網(wǎng)絡(luò)的連接權(quán)及其閾值賦予 [,]區(qū)間的隨機(jī)數(shù)，如上圖所示。在初始狀態(tài)下的輸入、輸出結(jié)果如下表所示 X1 X2 希望輸出 實際輸出 全局誤差 0 0 0 0 1 1 1 0 1 1 1 0 X2 X1 X1 1 ? ?＝2 ? ?＝BP網(wǎng)絡(luò)的應(yīng)用舉例 X1 X2 希望輸出 實際輸出 全局誤差 0 0 0 0 1 1 1 0 1 1 1 0 這時的平方和誤差可用下式計算： 2411 ()2 jjjE y c????由于對應(yīng)四個輸入模式的實際輸出均為 ，所以全局誤差為 。下面采用 BP網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行訓(xùn)練，取。當(dāng)進(jìn)行 8000次學(xué)習(xí)后得到下圖所示的網(wǎng)絡(luò)參數(shù)。 這時的全局誤差為 。若輸出小于 0，大于 1，則可認(rèn)為此時網(wǎng)絡(luò)已經(jīng)完成了模式記憶，已有正確的分類能力。 X2 X1 X1 2 ?＝1 ?＝BP網(wǎng)絡(luò)的應(yīng)用舉例 若當(dāng)進(jìn)一步學(xué)習(xí)達(dá) 11050次后，全局誤差減小為 。若輸出小于 0，大于 1，則可認(rèn)為該網(wǎng)絡(luò)完全學(xué)會了解決“異或”問題。 X1 X2 希望輸出 實際輸出 全局誤差 0 0 0 0 1 1 1 0 1 1 1 0 X2 X1 X1 X1 602163 2 ?＝1?＝ BP網(wǎng)絡(luò)的應(yīng)用舉例 ?學(xué)習(xí)收斂速度太慢 ?不能保證收斂到全局最小點(diǎn) ?網(wǎng)絡(luò)的中間層數(shù)及它的單元數(shù)的選取無理論上的指導(dǎo)，而是根據(jù)具體經(jīng)驗確定的，因此網(wǎng)絡(luò)設(shè)計有時不是最佳 ?網(wǎng)絡(luò)的學(xué)習(xí)、記憶具有不穩(wěn)定性等。 BP網(wǎng)絡(luò)的缺點(diǎn)： 改進(jìn)： ?累積誤差校正法 ?S函數(shù)輸出限幅法 ?慣性校正法 LOGO ?感知器學(xué)習(xí)算法相當(dāng)簡單，并且當(dāng)函數(shù)線性可分時保證收斂。但它也存在問題：即函數(shù)不是線性可分時，則求不出結(jié)果；另外，不能推廣到一般前饋網(wǎng)絡(luò)中。為了克服存在的問題，所以人們提出另一種算法 —— 梯度算法 (也即是 LMS法 )。為了能實現(xiàn)梯度算法，故把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù)，
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1