前饋神經(jīng)網(wǎng)絡(luò)模型ppt課件(參考版)
2025-01-11 04:23本頁面
【正文】 ? 數(shù)據(jù)壓縮 用 BP網(wǎng)絡(luò)學(xué)習(xí)正琁函數(shù) y(k)=*sin(x)+*x^2 。 – 網(wǎng)絡(luò)模型： ? 輸入 16 16＝ 256個神經(jīng)元 ? 隱層 25個神經(jīng)元 ? 輸出 1個神經(jīng)元。反傳算法 實際上 是使系統(tǒng)朝 誤差梯度下降 的 方向移動 ，把非線性感知機系統(tǒng) 決策能力 和 LMS的 誤差函數(shù) 沿 梯度下降結(jié)合了起來 。權(quán)一般取隨機數(shù)，而且權(quán)的值要求比較小，這樣可以保證每個神經(jīng)元一開始都在他們轉(zhuǎn)換函數(shù)最大的地方進行。 BP網(wǎng)絡(luò)的設(shè)計考慮 初始值的選取 ? 由于系統(tǒng)是非線性的，初始值的選取對于學(xué)習(xí)是否到達局部最小和是否能收斂的關(guān)系很大。初始時放入足夠的隱單元，而后把學(xué)習(xí)后那些不起作用的隱單元逐步去掉，一直到不可收縮為止。同樣函數(shù)在閉區(qū)間內(nèi)波動越多，要求三角函數(shù)的頻率也高，從而項數(shù)也多，隱單元數(shù)也多。 ? 所以，隱單元數(shù)求解由下面公式參考： ? 式中 k為樣本數(shù)， n1為隱單元數(shù)， n為輸入單元數(shù) ? 其中 m為輸出神經(jīng)元數(shù)， n為輸入神經(jīng)元數(shù)， 為1~10之間的常數(shù) 10ninkci???? ????? 1 ,0ni n ci????????若1n n m ?? ? ??? 用作函數(shù)逼近的 BP網(wǎng)絡(luò)：中間層的單元數(shù)與要逼近的函數(shù)的精度和函數(shù)本身的波動情況有關(guān)。 BP網(wǎng)絡(luò)的設(shè)計考慮 隱單元數(shù)的選擇 ? 隱單元數(shù)的選擇是一個復(fù)雜的問題，沒有很好的解析式表示，可以說隱單元數(shù)與問題的要求，輸入輸出單元的多少都有直接關(guān)系。 ? 即問題確定，輸入輸出單元層數(shù)確定。 j m T(0 , 0 , , 1 , , 0 , 0 , 0 )y ?? 輸入的神經(jīng)單元可以根據(jù)需要求解的問題和數(shù)據(jù)表示的方式而定 ? 如果輸入的是電壓波形，那么輸入單元可根據(jù)電壓波形的采樣數(shù)值和采樣點數(shù)來決定輸入單元的維數(shù)，也可以用一個單元輸入，但輸入樣本為采樣的時間序列。 0E1 ???? 當(dāng)????0E1 ???? 當(dāng)????? 另外，有加入動量項的改進方法，有加入 因子的改進算法。 BP算法的改進 變步長 ? 在 BP算法中步長是不變的，這是因為 E是一個十分復(fù)雜的非線性函數(shù)，很難通過最優(yōu)求極小的方法得到步長，同時如果每一步都要求計算輸出，則計算量變得很大。 pmEEpii???? 1BP算法存在的問題 ? （ 1）從數(shù)學(xué)上看它是一個非線性優(yōu)化問題，這就不可避免地存在有局部極小問題； ? （ 2）學(xué)習(xí)算法的收斂速度很慢，通常要幾千步迭代或更多； ? （ 3）網(wǎng)絡(luò)運行還是單向傳播，沒有反饋。 TmdddD ),( 21 ，??TnxxxX ),( 21 ，??)(e xp11? ????jjij owio ?BP學(xué)習(xí)算法描述（權(quán)值調(diào)整階段） ? 利用下面公式 ，從 輸出 層 開始 向 輸入 層 方向進行 權(quán)值 調(diào)整 ： jiijij otwtw ????? )()1(權(quán)值調(diào)整中的誤差項求解 ? 輸出層誤差項求解 ? 隱含層誤差項求解 實際輸出 理想輸出 idiy))(1( iiiii ydyy ????ikkkiii woo ??? ?? )1(BP學(xué)習(xí)算法描述（權(quán)值調(diào)整） 實際輸出 理想輸出 idiy))(1( iiiii ydyy ????ikkkiii woo ??? ?? )1(? 輸出層誤差項求解 ? 隱含層誤差項求解 jiijij otwtw ????? )()1(神經(jīng)元閾值的修改 ? 若 把層 p中 神經(jīng)元 的閾值看成是層 p1中 神經(jīng)元 到某一個附加 的 常數(shù)輸入聯(lián)接 權(quán)值，也 可以按 照類似 的方法 進行 該 神經(jīng)元 閾值的 修改 。 BP學(xué)習(xí)算法描述（前饋階段） ? 給定輸入 樣本和理想 輸出 。 ? 設(shè)一個較小的數(shù) ?作為學(xué)習(xí)期望達到的最終學(xué)習(xí)精度。 ? 由于誤差逐層往回傳遞，以修正層與層之間的權(quán)值和閾值，所以稱該算法為誤差反向傳播算法，這種誤差反傳學(xué)習(xí)算法可以推廣到有若干個中間層的多層網(wǎng)絡(luò)，因此該多層網(wǎng)絡(luò)常稱之為 BP網(wǎng)絡(luò)。 ? BP網(wǎng)絡(luò)學(xué)習(xí)分兩個階段 : ? 第一個階段是輸入已知學(xué)習(xí)樣本，通過設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值，從網(wǎng)絡(luò)的第一層向后計算各神經(jīng)元的輸出 ? 第二個階段是對權(quán)和閾值進行修改，從最后一層向前計算各權(quán)值和閾值對總誤差的影響（梯度），據(jù)此對各權(quán)值和閾值進行修改。 ? BP網(wǎng)絡(luò)的信息從輸入層流向輸出層，是一種多層前饋神經(jīng)網(wǎng)絡(luò)。 ? 80%~90%的人工神經(jīng)網(wǎng)絡(luò)采用 BP網(wǎng)絡(luò)或者它的變化形式，它也是前饋網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。 ? BP算法 適于多層網(wǎng)絡(luò)的學(xué)習(xí)算法。多層神經(jīng)網(wǎng)絡(luò)可以用于非線性分類問題。 12120202211)/(/0xwxwwxwxy???????ADALINE模型學(xué)習(xí)過程舉例 ? 網(wǎng)絡(luò)模型 x1= x2= x0=1 w1= w2= w0=1 d= 02211 wwxwxy ???y = E= w0= w1= w2= y = E= ii xXw ?? )/(2????ADALINE模型的學(xué)習(xí)曲線 ? 結(jié)束判據(jù) – 總體誤差降低到某個預(yù)設(shè)的極小值； – 迭代了一定的次數(shù) 。 ADALINE模型計算能力分析 ? 每個自適應(yīng)線性元的功能也主要由各個權(quán)值所確定。在一般的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1