前向網(wǎng)絡(luò)ppt課件(參考版)
2025-05-09 12:04本頁(yè)面
【正文】 。 反向網(wǎng)絡(luò)：海布 (Hebb)算法 (用于聯(lián)想、分類的時(shí)候 ) 運(yùn)行學(xué)習(xí) 算法 ???? ?? wH e b b反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 ?應(yīng)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。 反饋網(wǎng)絡(luò)： (優(yōu)化計(jì)算時(shí) )首先確定 w（不是通過(guò)學(xué)習(xí)而來(lái)的，而是通過(guò)目標(biāo)函數(shù)用解析算法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運(yùn)動(dòng)，若穩(wěn)定，則最后達(dá)到一個(gè)穩(wěn)定狀態(tài)，對(duì)應(yīng)的輸出就是優(yōu)化問(wèn)題的解。 反饋網(wǎng)絡(luò)：考慮延時(shí)，是一個(gè)動(dòng)態(tài)系統(tǒng)，模型是動(dòng)態(tài)方程（微分方程）。 反饋神經(jīng)網(wǎng)絡(luò)：一個(gè)動(dòng)態(tài)系統(tǒng)，存在穩(wěn)定性問(wèn)題。當(dāng)網(wǎng)絡(luò)從某 一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一 個(gè)穩(wěn)定的平衡狀態(tài)； 第二，系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán) 值而被存儲(chǔ)到網(wǎng)絡(luò)中。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài) 特性。在反饋 NN中，我們將著重介紹 NN的聯(lián)想記憶能力。聯(lián)想特性是 ANN的一個(gè)重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過(guò)簡(jiǎn)單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。 0} ?因此 BP網(wǎng)絡(luò)的輸入層神經(jīng)元數(shù)為 2 ? 輸出層神經(jīng)元數(shù)為 1 ? 隱單元層神經(jīng)元個(gè)數(shù)預(yù)選為 2個(gè) ? 神經(jīng)元的激發(fā)函數(shù)選為 sigmoid函數(shù) 雙曲函數(shù) f(u)=tanh(u) ?NN的結(jié)構(gòu)圖如下圖所示 . BP算法的逼近學(xué)習(xí)算例 BP算法的逼近學(xué)習(xí)算例 ?仿真中學(xué)習(xí)速率為 ? 權(quán)重的初始值為 TTTWWW]25 []39 []58 [211211?????????iteration stops when e(took 4392 iterations) ? So the final values of the weights are TTTWWW]725 []520 []253 [211211?????手寫數(shù)字識(shí)別 人臉識(shí)別 第三章 反饋神經(jīng)網(wǎng)絡(luò) 聯(lián)想特性是 ANN的一個(gè)重要特性。 1} {1, 0。 BP算法的逼近學(xué)習(xí)算例 ?圖 變化的過(guò)程 . BP算法的逼近學(xué)習(xí)算例 BP算法的逼近學(xué)習(xí)算例 ?圖 454次訓(xùn)練后的最終網(wǎng)絡(luò)結(jié)果 ,以及網(wǎng)絡(luò)的誤差結(jié)果 . BP算法的逼近學(xué)習(xí)算例 BP算法的逼近學(xué)習(xí)算例 C. 分類問(wèn)題 ?例 2 應(yīng)用 3層 BP網(wǎng)絡(luò)來(lái)異或 (XOR)分類問(wèn)題 ?對(duì)異或 (XOR)分類問(wèn)題 ,由真值表可知樣本為 {0, 0。 %訓(xùn)練所要達(dá)到的精度 =。 %在訓(xùn)練過(guò)程中顯示的頻率 =8000。)。, 39。, 39。}, 39。 39。 } BP算法的逼近學(xué)習(xí)算例 BP算法的逼近學(xué)習(xí)算例 ?對(duì)該一元函數(shù)逼近算例的 BP網(wǎng)絡(luò) ,可設(shè)計(jì)如下 ?輸入層和輸出層神經(jīng)元數(shù)為 1 ?隱單元層神經(jīng)元個(gè)數(shù)預(yù)選為 5個(gè) , ?采用 matlab仿真軟件進(jìn)行仿真（也可自己根據(jù) BP網(wǎng)絡(luò)的學(xué)習(xí)算法和計(jì)算步驟編制 Matlab程序） . ? 首先利用函數(shù) newff建立一個(gè) bp神經(jīng)元網(wǎng)絡(luò) =newff(minmax(P),[5 1],{39。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。網(wǎng)絡(luò)的性能主要用它的泛化能力來(lái)衡量，卻不是用它對(duì)數(shù)據(jù)的擬合程度來(lái)衡量，而是要用一組獨(dú)立的數(shù)據(jù)來(lái)加以測(cè)試和檢驗(yàn)。訓(xùn)練網(wǎng)絡(luò)的的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入輸出之間的本質(zhì)關(guān)系，從而對(duì)于未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即具備泛化功能。 BP算法的逼近學(xué)習(xí)算例 ?在隱節(jié)點(diǎn)數(shù)一定的情況下 ,為獲得好的泛化能力 ,存在著一個(gè)最佳訓(xùn)練次數(shù)。 ?對(duì)泛化能力的測(cè)試不能用訓(xùn)練集的數(shù)據(jù)進(jìn)行 ,而要用訓(xùn)練集以外的測(cè)試數(shù)據(jù)來(lái)進(jìn)行檢驗(yàn)。 因此 ,映射關(guān)系越復(fù)雜的系統(tǒng) ,需要提供的樣本數(shù)越多 . ? 事實(shí)上 ,當(dāng)樣本數(shù)多到一定程度 ,網(wǎng)絡(luò)的精度也很難再提高。 x2 * ? * * * ? * ? * * ? x1 BP算法的逼近學(xué)習(xí)算例 ?影響泛化能力的主要因素： ? 訓(xùn)練集樣本的質(zhì)量和復(fù)雜性； ? 訓(xùn)練集樣本的數(shù)量； ? 網(wǎng)絡(luò)結(jié)構(gòu)的選擇。 BP算法的逼近學(xué)習(xí)算例 m inm a x m in1 ii xxx xx??? ? BP算法的逼近學(xué)習(xí)算例 三、網(wǎng)絡(luò)訓(xùn)練與測(cè)試 ?網(wǎng)絡(luò)的性能好壞主要看其是否具有很好的泛化能力。 ?將輸入輸出數(shù)據(jù)變換為 [0,1]區(qū)間的值常用以下變換式 其中 ,xi代表輸入或輸出數(shù)據(jù) ,xmin代表數(shù)據(jù)的最小值 ,xman代表數(shù)據(jù)的最大值。 ? Sigmoid函數(shù)的輸出在 0~1之間。 ?逼近問(wèn)題 ? 可直接采用逼近問(wèn)題樣本數(shù)據(jù)的輸出量 BP算法的逼近學(xué)習(xí)算例 二、輸入輸出數(shù)據(jù)的歸一化 ?歸一化也稱為或標(biāo)準(zhǔn)化 ,是指通過(guò)變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在 [0,1]或 [1,1]區(qū)間內(nèi)。 BP算法的逼近學(xué)習(xí)算例 ?逼近問(wèn)題的曲線輸入 ? 一般有幾個(gè)輸入量就設(shè)幾個(gè)分量 ,1個(gè)輸入分量對(duì)應(yīng)1個(gè)輸入層節(jié)點(diǎn)。 ?從輸入、輸出量的值是數(shù)值確定的連續(xù)量或離散量。 ? 其應(yīng)用于學(xué)習(xí)、逼近與分類問(wèn)題的過(guò)程、步驟為： ? 問(wèn)題的形式化 (Formalization)：變量的選擇和表示 ? 準(zhǔn)備學(xué)習(xí)的樣本數(shù)據(jù) (data preparing),并作預(yù)處理 ? 決定系統(tǒng) (神經(jīng)網(wǎng)絡(luò) )的模型和結(jié)構(gòu) ? 選擇評(píng)估函數(shù) (objective function) ? 選擇最佳化的方法：調(diào)整系統(tǒng)參數(shù)使得
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1