ch7典型神經(jīng)網(wǎng)絡ok(完整版)
【正文】 了訓練時間。當動量因子取值為零時，權值的變化僅是根據(jù)梯度下降法產(chǎn)生；當動量因子取值為 1時，新的權值變化則是設置為最后一次權值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。這個技術已編入了函數(shù)。 其原理是，把一組輸入模式通過少量的隱層節(jié)點映射到一組輸出模式，并使輸出模式等同于輸入模式。Lowe 將 RBF 應用于神經(jīng)網(wǎng)絡 RBF神經(jīng)網(wǎng)絡 RBF網(wǎng)絡 —— 徑向基函數(shù)網(wǎng)絡（ Radial Basis Function ， 簡稱 RBFNN） ??…… …… x1 x2 xn y1 yp 輸 入 輸 出 是一種三層前饋網(wǎng)絡 網(wǎng)絡特點： １）結構相對簡單 ２）在參數(shù)（節(jié)點數(shù)， μ,σ ） 選擇合適時，收斂速度快 三層 輸入層 隱層 —— 神經(jīng)元函數(shù)多采用高斯函數(shù) 輸出層 —— 線性神經(jīng)元函數(shù) 構成 RBF網(wǎng)絡的基本思想： 1）用 RBF作為隱單元的“基”構成隱含層空間，將輸入矢量直接映射到隱空間（不通過權連接）； 2）網(wǎng)絡輸出時隱單元輸出的線性加權和，（通過權連接可調(diào)參數(shù)） 輸入 隱層 輸出 非線性 線性 （高斯核函數(shù)） σ c 該激活函數(shù)具有局部感受能力，只有輸入落入某個范圍內(nèi)，才有明顯輸出，不象 BP， 輸入在（－ ∞ ，＋ ∞ ）均有輸出。 BP與 RBF結構的區(qū)別： ?—— 隱含層 ?—— 激發(fā)函數(shù) ? RBF結構： 具有單隱含層的兩層前向網(wǎng)絡， 隱含層的激發(fā)函數(shù)： RBF 結構比較 ● 反傳（ BP）網(wǎng)絡的結構圖 一個輸入層，一個輸出層，多個隱層。在這個過程中，輸入層和隱層的變換可以看成是壓縮編碼的過程；而隱層和輸出層的變換可以看成是解碼過程。 lr]]＝ trainbpx(W， B，F(xiàn)， P， T， TP) 本章小結 1)反向傳播法可以用來訓練具有可微激活函數(shù)的多層前向網(wǎng)絡以進行函數(shù)逼近 ， 模式分類等工作； 2)反向傳播網(wǎng)絡的結構不完全受所要解決的問題所限制 。 3 自適應學習速率 學習率 η也稱步長，在標準 BP 算法中定為常數(shù)，然而在實際應用中，很難確定一個從始至終都合適的最佳學習率，從誤差曲面可以看出，平坦區(qū)域內(nèi) η太小會使訓練次數(shù)增加而希望增大 η值；而在誤差變化劇烈的區(qū)域， η太大會因調(diào)整量過大而跨過較宰的“坑凹”處，使訓練出現(xiàn)振蕩，反而使迭代次數(shù)增加。 W E W初始值不合適時，可能落入局部極小值。 小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。 2 隱含層的神經(jīng)元數(shù) 網(wǎng)絡訓練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。 當網(wǎng)絡完成訓練后，對網(wǎng)絡輸入一個不是訓練集合中的矢量，網(wǎng)絡將給出輸出結果。 學習的目的是用網(wǎng)絡的實際輸出 A1， A2， ……A q，與目標矢量 T1， T2， ……T q， 之間的誤差來修改其權值，使 Al， (l＝ l， 2… ， q)與期望的 Tl盡可能地接近；即：使網(wǎng)絡輸出層的誤差平方和達到最小。2??????????????????kkxxxkekkkkkijijijjjijijijijijij????????????BP網(wǎng)絡逼近仿真 ? ? ? ? ? ? ?? ? 23111?????kykykuky 初始化 加輸入和期望輸出 計算隱層和輸出層的輸出 迭代次數(shù)加 1 調(diào)節(jié)輸出層和隱層的連接權值 pjopjhjihkjkpjopko
教學課件相關推薦
鄂ICP備17016276號-1