【正文】 測試數(shù)據(jù) 訓練數(shù)據(jù) 訓練次數(shù) BP算法的逼近學習算例 ?這就是說，并非訓練的次數(shù)越多，越能得到正確的輸入輸出的映射關(guān)系。訓練網(wǎng)絡(luò)的的目的在于找出蘊含在樣本數(shù)據(jù)中的輸入輸出之間的本質(zhì)關(guān)系，從而對于未經(jīng)訓練的輸入也能給出合適的輸出，即具備泛化功能。由于所收集的數(shù)據(jù)都是包含噪聲的，訓練的次數(shù)過多，網(wǎng)絡(luò)將包含噪聲的數(shù)據(jù)都記錄了下來，這樣對于新的輸入數(shù)據(jù)并不能給出合適的輸出。網(wǎng)絡(luò)的性能主要用它的泛化能力來衡量，卻不是用它對數(shù)據(jù)的擬合程度來衡量，而是要用一組獨立的數(shù)據(jù)來加以測試和檢驗。 BP算法的逼近學習算例 B. 函數(shù)逼近 ?例 1 應(yīng)用 3層 BP網(wǎng)絡(luò)來完成一元函數(shù)逼近的任務(wù) ?學習的函數(shù)樣本及對應(yīng)函數(shù)的圖形為 {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } {。 } BP算法的逼近學習算例 BP算法的逼近學習算例 ?對該一元函數(shù)逼近算例的 BP網(wǎng)絡(luò) ,可設(shè)計如下 ?輸入層和輸出層神經(jīng)元數(shù)為 1 ?隱單元層神經(jīng)元個數(shù)預(yù)選為 5個 , ?采用 matlab仿真軟件進行仿真（也可自己根據(jù) BP網(wǎng)絡(luò)的學習算法和計算步驟編制 Matlab程序） . ? 首先利用函數(shù) newff建立一個 bp神經(jīng)元網(wǎng)絡(luò) =newff(minmax(P),[5 1],{39。tansig39。 39。purelin39。}, 39。traingd39。, 39。learngd39。, 39。sse39。)。 BP算法的逼近學習算例 ? 然后利用函數(shù) train對網(wǎng)絡(luò)進行訓練 =10。 %在訓練過程中顯示的頻率 =8000。 %最大訓練次數(shù) =。 %訓練所要達到的精度 =。 %修正權(quán)值的學習速率 [,tr]=train(,P,T)。 BP算法的逼近學習算例 ?圖 變化的過程 . BP算法的逼近學習算例 BP算法的逼近學習算例 ?圖 454次訓練后的最終網(wǎng)絡(luò)結(jié)果 ,以及網(wǎng)絡(luò)的誤差結(jié)果 . BP算法的逼近學習算例 BP算法的逼近學習算例 C. 分類問題 ?例 2 應(yīng)用 3層 BP網(wǎng)絡(luò)來異或 (XOR)分類問題 ?對異或 (XOR)分類問題 ,由真值表可知樣本為 {0, 0。 0} {0, 1。 1} {1, 0。 1} {1, 1。 0} ?因此 BP網(wǎng)絡(luò)的輸入層神經(jīng)元數(shù)為 2 ? 輸出層神經(jīng)元數(shù)為 1 ? 隱單元層神經(jīng)元個數(shù)預(yù)選為 2個 ? 神經(jīng)元的激發(fā)函數(shù)選為 sigmoid函數(shù) 雙曲函數(shù) f(u)=tanh(u) ?NN的結(jié)構(gòu)圖如下圖所示 . BP算法的逼近學習算例 BP算法的逼近學習算例 ?仿真中學習速率為 ? 權(quán)重的初始值為 TTTWWW]25 []39 []58 [211211?????????iteration stops when e(took 4392 iterations) ? So the final values of the weights are TTTWWW]725 []520 []253 [211211?????手寫數(shù)字識別 人臉識別 第三章 反饋神經(jīng)網(wǎng)絡(luò) 聯(lián)想特性是 ANN的一個重要特性。前面介紹的網(wǎng)絡(luò)模型屬于前向 NN，從學習的角度看，具有較強的學習能力，結(jié)構(gòu)簡單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過簡單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。但他們因此缺乏反饋，所以并不是強有力的動力學系統(tǒng)。聯(lián)想特性是 ANN的一個重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋 NN中，我們將著重介紹 NN的聯(lián)想記憶能力。 反饋網(wǎng)絡(luò) (Recurrent Network)，又稱自聯(lián)想 記憶網(wǎng)絡(luò)，其目的是為了設(shè)計一個網(wǎng)絡(luò)，儲存一組 平衡點，使得當給網(wǎng)絡(luò)一組初始值時，網(wǎng)絡(luò)通過自 行運行而最終收斂到這個設(shè)計的平衡點上。 反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動力學系統(tǒng)的動態(tài) 特性。它所具有的主要特性為以下兩點： 第一、網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當網(wǎng)絡(luò)從某 一初始狀態(tài)開始運動，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一 個穩(wěn)定的平衡狀態(tài)； 第二，系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán) 值而被存儲到網(wǎng)絡(luò)中。 反饋神經(jīng)網(wǎng)絡(luò)意義 反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 ?結(jié)構(gòu)不同 前向神經(jīng)網(wǎng)絡(luò)：沒有反饋環(huán)節(jié)。 反饋神經(jīng)網(wǎng)絡(luò)：一個動態(tài)系統(tǒng)，存在穩(wěn)定性問題。（關(guān)鍵問題） ?模型不同 前向網(wǎng)絡(luò)：從輸入到輸出的映射關(guān)系，不考慮延時。 反饋網(wǎng)絡(luò)：考慮延時，是一個動態(tài)系統(tǒng)，模型是動態(tài)方程（微分方程）。 反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 網(wǎng)絡(luò)的演變過程不同 前向網(wǎng)絡(luò)：通過學習得到連接權(quán)然后完成指定任務(wù)。 反饋網(wǎng)絡(luò)： (優(yōu)化計算時 )首先確定 w（不是通過學習而來的，而是通過目標函數(shù)用解析算法得到的），設(shè)定網(wǎng)絡(luò)的初始狀態(tài)，然后系統(tǒng)運動，若穩(wěn)定，則最后達到一個穩(wěn)定狀態(tài)，對應(yīng)的輸出就是優(yōu)化問題的解。 反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 學習方法不同 前向網(wǎng)絡(luò)：誤差修正算法（ BP算法）。 反向網(wǎng)絡(luò)：海布 (Hebb)算法 (用于聯(lián)想、分類的時候 ) 運行學習 算法 ???? ?? wH e b b反饋網(wǎng)絡(luò)與前向網(wǎng)絡(luò)的區(qū)別 ?應(yīng)用范圍不同 前向網(wǎng)絡(luò)：只能用于聯(lián)想映射及其分類。 反饋網(wǎng)絡(luò)：同時也可以用于聯(lián)想記憶和約束優(yōu)化問題的求解。