神經(jīng)網(wǎng)絡(luò)基本理論ppt課件(編輯修改稿)
2025-02-01 15:31 本頁面
【文章內(nèi)容簡介】 ?????????? ?????????? 5 1 225 15 1 )()e xp ()()()( k iiiiiiiiiiik iikkkk ikizfzwkezz zfzf yyJJJ ?????25151251))()(?(2121 kykyeJJkk kk k???? ??????College of Electrical and Information Engineering, Hunan Univ. 23 1111iii wJww???? ?2222iii wJww???? ?iiiJ???? ????3iiiJ???? ????4訓練初始參數(shù)： W1=rand(1,5)。 W2=rand(1,5)。 theta=rand(1,5)。 beta=rand(1,5)。 LearningRate1=。 LearningRate2=。 LearningRate3=。 LearningRate4=。 College of Electrical and Information Engineering, Hunan Univ. 24 訓練后參數(shù)： W1＝ [ ]。 W2=[ ]。 Beta=[ ]。 Theta=[ ]。 College of Electrical and Information Engineering, Hunan Univ. 25 訓練 1000次目標函數(shù)的變化曲線： College of Electrical and Information Engineering, Hunan Univ. 26 訓練結(jié)束后神經(jīng)網(wǎng)絡(luò)的輸出與樣本的擬和情況 College of Electrical and Information Engineering, Hunan Univ. 27 多層前向 BP神經(jīng)網(wǎng)絡(luò) ?前向網(wǎng)絡(luò)進一步需研究的問題 ① 局部最優(yōu)問題，（網(wǎng)絡(luò)初值選取不恰當）。 ② 學習算法收斂速度慢， Sigmaid函數(shù)本身存在無窮多閃導數(shù)，而 BP算法只用了一次導數(shù)，致使收斂速度慢。 ③ 網(wǎng)絡(luò)的運行是單向傳播，沒有反饋，是一個非淺性映射，而不是非淺性動力系統(tǒng)。 ④ 網(wǎng)絡(luò)隱層節(jié)點個數(shù)和初始權(quán)值的選取，尚無理論指導。 College of Electrical and Information Engineering, Hunan Univ. 28 大腦自組織神經(jīng)網(wǎng)絡(luò) 是一種無導師學習的網(wǎng)絡(luò) 腦神經(jīng)科學研究表明： 傳遞感覺的神經(jīng)元排列是按某種規(guī)律有序進行的，這種排列往往反映所感受的外部刺激的某些物理特征。 大腦自組織神經(jīng)網(wǎng)絡(luò)在接受外界輸入時，將會分成不同的區(qū)域，不同的區(qū)域?qū)Σ煌哪Ｊ骄哂胁煌捻憫?yīng)特征，即不同的神經(jīng)元以最佳方式響應(yīng)不同性質(zhì)的信號激勵，從而形成一種拓撲意義上的有序排列 在這種網(wǎng)絡(luò)中，輸出節(jié)點與其鄰域其他節(jié)點廣泛相連，并互相激勵。輸入節(jié)點和輸出節(jié)點之間通過強度 wij(t)相連接。通過某種規(guī)則，不斷地調(diào)整 wij(t)，使得在穩(wěn)定時，每一鄰域的所有節(jié)點對某種輸入具有類似的輸出，并且這種聚類的概率分布與輸入模式的概率分布相接近。 College of Electrical and Information Engineering, Hunan Univ. 29 大腦自組織神經(jīng)網(wǎng)絡(luò) 自組織學習算法： (1) 權(quán)值初始化并選定領(lǐng)域的大小 ； (2) 輸入模式； (3) 計算空間距離 ?????102)]()([Niijij twtxd式中 xi(t)是 t時刻 i節(jié)點的輸入， wij(t)是輸入節(jié)點 i與輸出節(jié)點 j 的連接強度， N為輸入節(jié)點的數(shù)目； (4) 選擇節(jié)點 j*，它滿足 jj dmin(5) 按下式改變 j*和其領(lǐng)域節(jié)點的連接強度 wij(t+1)= wij(t)+η(t)[xi(t) wij(t)], j∈ j*的領(lǐng)域， 0≤ i≤ N1 式中 η(t)稱之為衰減因子。 (6) 返回到第 (2)步，直至滿足 [xi(t) wij(t)]2＜ ε(ε為給定的誤差 )。 College of Electrical and Information Engineering, Hunan Univ. 30 大腦自組織神經(jīng)網(wǎng)絡(luò) 例 大腦自組織網(wǎng)絡(luò)的訓練 輸入模式： X＝ [x1,x2,x3] 網(wǎng)絡(luò)節(jié)點數(shù)量： 9 鄰域： 1 網(wǎng)絡(luò)初始權(quán)值： W=[ ]。 College of Electrical and Information Engineering, Hunan Univ. 31 大腦自組織神經(jīng)網(wǎng)絡(luò) 1. 單模式訓練情況 輸入為： X=[0 0 1] 結(jié)果： W=[ ] 輸入為： X=[0 1 0] 結(jié)果： W=[ ] College of Electrical and Information Engineering, Hunan Univ. 32 大腦自組織神經(jīng)網(wǎng)絡(luò) 2. 多模式訓練情況 1 0 0 0 1 0 0 0 1 Input= 訓練結(jié)果： W＝ 網(wǎng)絡(luò)輸出： Output=Input*W=
教學課件相關(guān)推薦
鄂ICP備17016276號-1