淺談神經(jīng)網(wǎng)絡(luò)word版(編輯修改稿)
2025-02-03 16:50 本頁面
【文章內(nèi)容簡介】 雖然圖中未標(biāo)識，但必須注意每一個箭頭指向的連線上，都要有一個權(quán)重 (縮放 )值。 輸入層的每個節(jié)點(diǎn)，都要與的隱藏層每個節(jié)點(diǎn)做點(diǎn)對點(diǎn)的計算，計算的方法是加權(quán)求和 +激活，前面已經(jīng)介紹過了。 (圖中的紅色箭頭指示出某個節(jié)點(diǎn)的運(yùn)算關(guān)系 ) 利用隱藏層計算出的每 個值，再用相同的方法，和輸出層進(jìn)行計算。 隱藏層用都是用 Sigmoid作激活函數(shù)，而輸出層用的是 Purelin。這是因為 Purelin可以保持之前任意范圍的數(shù)值縮放，便于和樣本值作比較，而 Sigmoid的數(shù)值范圍只能在 0~1之間。 起初輸入層的數(shù)值通過網(wǎng)絡(luò)計算分別傳播到隱藏層，再以相同的方式傳播到輸出層，最終的輸出值和樣本值作比較，計算出誤差，這個過程叫 前向傳播 (Forward Propagation)。 前面講過，使用梯度下降的方法，要不斷的修改 k、 b兩個參數(shù)值，使最終的誤差達(dá)到最小。神經(jīng)網(wǎng)絡(luò) 可不只 k、 b兩個參數(shù)，事實上，網(wǎng)絡(luò)的每條連接線上都有一個權(quán)重參數(shù)，如何有效的修改這些參數(shù)，使誤差最小化，成為一個很棘手的問題。從人工神經(jīng)網(wǎng)絡(luò)誕生的 60年代，人們就一直在不斷嘗試各種方法來解決這個問題。直到 80年代，誤差反向傳播算法 (BP算法 )的提出，才提供了真正有效的解決方案，使神經(jīng)網(wǎng)絡(luò)的研究絕處逢生。 BP算法是一種計算偏導(dǎo)數(shù)的有效方法，它的基本原理是：利用前向傳播最后輸出的結(jié)果來計算誤差的偏導(dǎo)數(shù)，再用這個偏導(dǎo)數(shù)和前面的隱藏層進(jìn)行加權(quán)求和，如此一層一層的向后傳下去，直到輸入層 (不計算輸入層 )，最后利用每個節(jié)點(diǎn)求出的偏導(dǎo)數(shù)來更新權(quán)重。 為了便于理解，后面我一律用 “殘差 (error term)”這個詞來表示 誤差的偏導(dǎo)數(shù) 。 輸出層 → 隱藏層：殘差 = (輸出值 樣本值 ) * 激活函數(shù)的導(dǎo)數(shù) 隱藏層 → 隱藏層：殘差 = (右層每個節(jié)點(diǎn)的殘差加權(quán)求和 )* 激活函數(shù)的導(dǎo)數(shù) 如果輸出層用 Purelin作激活函數(shù)， Purelin的導(dǎo)數(shù)是 1，輸出層 → 隱藏層：殘差 = (輸出值樣本值 ) 如果用 Sigmoid(logsig)作激活函數(shù)，那么： Sigmoid導(dǎo)數(shù) = Sigmoid*(1Sigmoid) 輸出層 → 隱藏層：殘差 = (Sigmoid輸出值 樣本值 ) * Sigmoid*(1Sigmoid) = (輸出值 樣本值 )*輸出值 *(1輸出值 ) 隱藏層 → 隱藏層：殘差 = (右層每個節(jié)點(diǎn)的殘差加權(quán)求和 )* 當(dāng)前節(jié)點(diǎn)的 Sigmoid*(1當(dāng)前節(jié)點(diǎn)的 Sigmoid) 如果用 tansig作激活函數(shù)，那么： tansig導(dǎo)數(shù) = 1 tansig^2 殘差全部計算好后，就可以更新權(quán)重了： 輸入層：權(quán)重增加 = 當(dāng)前節(jié)點(diǎn)的 Sigmoid * 右層對應(yīng)節(jié)點(diǎn)的殘差 * 學(xué)習(xí)率 隱藏層：權(quán)重增加 = 輸入值 * 右層對應(yīng)節(jié)點(diǎn)的殘差 * 學(xué)習(xí)率 偏移值的 權(quán)重增加 = 右層對應(yīng)節(jié)點(diǎn)的殘差 * 學(xué)習(xí)率 學(xué)習(xí)率前面介紹過，學(xué)習(xí)率是一個預(yù)先設(shè)置好的參數(shù)，用于控制每次更新的幅度。 此后，對全部數(shù)據(jù)都反復(fù)進(jìn)行這樣的計算，直到輸出的誤差達(dá)到一個很小的值為止。 以上介紹的是目前最常見的神經(jīng)網(wǎng)絡(luò)類型，稱為 前饋神經(jīng)網(wǎng)絡(luò) (FeedForward Neural Network)，由于它一般是要向后傳遞誤差的，所以也叫 BP神經(jīng)網(wǎng)絡(luò) (Back Propagation Neural Network)。 BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和局限： BP神經(jīng)網(wǎng)絡(luò)可以用作分類、聚類、預(yù)測等。需要有 一定量的歷史數(shù)據(jù)，通過歷史數(shù)據(jù)的訓(xùn)練，網(wǎng)絡(luò)可以學(xué)習(xí)到數(shù)據(jù)中隱含的知識。在你的問題中，首先要找到某些問題的一些特征，以及對應(yīng)的評價數(shù)據(jù)，用這些數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。 BP神經(jīng)網(wǎng)絡(luò)主要是在實踐的基礎(chǔ)上逐步完善起來的系統(tǒng)，并不完全是建立在仿生學(xué)上的。從這個角度講，實用性 生理相似性。 BP神經(jīng)網(wǎng)絡(luò)中的某些算法，例如如何選擇初始值、如何確定隱藏層的節(jié)點(diǎn)個數(shù)、使用何種激活函數(shù)等問題，并沒有確鑿的理論依據(jù)，只有一些根據(jù)實踐經(jīng)驗總結(jié)出的有效方法或經(jīng)驗公式。 BP神經(jīng)網(wǎng)絡(luò)雖然是一種非常有效的計算方法，但它也以 計算超復(fù)雜、計算速度超慢、容易陷入局部最優(yōu)解等多項弱點(diǎn)著稱，因此人們提出了大量有效的改進(jìn)方案，一些新的神經(jīng)網(wǎng)絡(luò)形式也層出不窮。 文字的公式看上去有點(diǎn)繞，下面我發(fā)一個詳細(xì)的計算過程圖。 這里介紹的是計算完一條記錄，就馬上更新權(quán)重，以后每計算完一條都即時更新權(quán)重。實際上批量更新的效果會更好，方法是在不更新權(quán)重的情況下，把記錄集的每條記錄都算過一遍，把要更新的增值全部累加起來求平均值，然后利用這個平均值來更新一次權(quán)重，然后利用更新后的權(quán)重進(jìn)行下一輪的計算，這種方法叫 批量梯度下降 (Batch Gradient Descent)。 例 1：我們都知道，面積 =長 *寬，假如我們有一組數(shù)測量據(jù)如下： 我們利用這組數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。（在 Matlab中輸入以下的代碼，按回車即可執(zhí)行） p = [2 5。 3 6。 12 2。 1 6。 9 2。 8 12。 4 7。 7 9]39。 % 特征數(shù)據(jù) X1,X2 t = [10 18 24 6 18 96 28 63]。 % 樣本值 = newff(p, t, 20)。 % 創(chuàng)建一個 BP神經(jīng)網(wǎng)絡(luò) ff=FeedForward = train(, p, t)。 % 用 p,t數(shù)據(jù)來訓(xùn)練這個網(wǎng)絡(luò) 出現(xiàn)如下的信息，根據(jù)藍(lán)線的顯示，可以看出最后收斂時，誤差已小于 10^20。 你也 許會問，計算機(jī)難道這樣就能學(xué)會乘法規(guī)則嗎？不用背乘法口訣表了？先隨便選幾個數(shù)字，試試看： s = [3 7。 6 9。
公司管理相關(guān)推薦
鄂ICP備17016276號-1