淺談神經網絡word版(編輯修改稿)
2025-02-03 16:50 本頁面
【文章內容簡介】 雖然圖中未標識，但必須注意每一個箭頭指向的連線上，都要有一個權重 (縮放 )值。 輸入層的每個節(jié)點，都要與的隱藏層每個節(jié)點做點對點的計算，計算的方法是加權求和 +激活，前面已經介紹過了。 (圖中的紅色箭頭指示出某個節(jié)點的運算關系 ) 利用隱藏層計算出的每 個值，再用相同的方法，和輸出層進行計算。 隱藏層用都是用 Sigmoid作激活函數，而輸出層用的是 Purelin。這是因為 Purelin可以保持之前任意范圍的數值縮放，便于和樣本值作比較，而 Sigmoid的數值范圍只能在 0~1之間。 起初輸入層的數值通過網絡計算分別傳播到隱藏層，再以相同的方式傳播到輸出層，最終的輸出值和樣本值作比較，計算出誤差，這個過程叫 前向傳播 (Forward Propagation)。 前面講過，使用梯度下降的方法，要不斷的修改 k、 b兩個參數值，使最終的誤差達到最小。神經網絡 可不只 k、 b兩個參數，事實上，網絡的每條連接線上都有一個權重參數，如何有效的修改這些參數，使誤差最小化，成為一個很棘手的問題。從人工神經網絡誕生的 60年代，人們就一直在不斷嘗試各種方法來解決這個問題。直到 80年代，誤差反向傳播算法 (BP算法 )的提出，才提供了真正有效的解決方案，使神經網絡的研究絕處逢生。 BP算法是一種計算偏導數的有效方法，它的基本原理是：利用前向傳播最后輸出的結果來計算誤差的偏導數，再用這個偏導數和前面的隱藏層進行加權求和，如此一層一層的向后傳下去，直到輸入層 (不計算輸入層 )，最后利用每個節(jié)點求出的偏導數來更新權重。 為了便于理解，后面我一律用 “殘差 (error term)”這個詞來表示 誤差的偏導數 。 輸出層 → 隱藏層：殘差 = (輸出值 樣本值 ) * 激活函數的導數 隱藏層 → 隱藏層：殘差 = (右層每個節(jié)點的殘差加權求和 )* 激活函數的導數 如果輸出層用 Purelin作激活函數， Purelin的導數是 1，輸出層 → 隱藏層：殘差 = (輸出值樣本值 ) 如果用 Sigmoid(logsig)作激活函數，那么： Sigmoid導數 = Sigmoid*(1Sigmoid) 輸出層 → 隱藏層：殘差 = (Sigmoid輸出值 樣本值 ) * Sigmoid*(1Sigmoid) = (輸出值 樣本值 )*輸出值 *(1輸出值 ) 隱藏層 → 隱藏層：殘差 = (右層每個節(jié)點的殘差加權求和 )* 當前節(jié)點的 Sigmoid*(1當前節(jié)點的 Sigmoid) 如果用 tansig作激活函數，那么： tansig導數 = 1 tansig^2 殘差全部計算好后，就可以更新權重了： 輸入層：權重增加 = 當前節(jié)點的 Sigmoid * 右層對應節(jié)點的殘差 * 學習率 隱藏層：權重增加 = 輸入值 * 右層對應節(jié)點的殘差 * 學習率 偏移值的 權重增加 = 右層對應節(jié)點的殘差 * 學習率 學習率前面介紹過，學習率是一個預先設置好的參數，用于控制每次更新的幅度。 此后，對全部數據都反復進行這樣的計算，直到輸出的誤差達到一個很小的值為止。 以上介紹的是目前最常見的神經網絡類型，稱為 前饋神經網絡 (FeedForward Neural Network)，由于它一般是要向后傳遞誤差的，所以也叫 BP神經網絡 (Back Propagation Neural Network)。 BP神經網絡的特點和局限： BP神經網絡可以用作分類、聚類、預測等。需要有 一定量的歷史數據，通過歷史數據的訓練，網絡可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特征，以及對應的評價數據，用這些數據來訓練神經網絡。 BP神經網絡主要是在實踐的基礎上逐步完善起來的系統(tǒng)，并不完全是建立在仿生學上的。從這個角度講，實用性 生理相似性。 BP神經網絡中的某些算法，例如如何選擇初始值、如何確定隱藏層的節(jié)點個數、使用何種激活函數等問題，并沒有確鑿的理論依據，只有一些根據實踐經驗總結出的有效方法或經驗公式。 BP神經網絡雖然是一種非常有效的計算方法，但它也以 計算超復雜、計算速度超慢、容易陷入局部最優(yōu)解等多項弱點著稱，因此人們提出了大量有效的改進方案，一些新的神經網絡形式也層出不窮。 文字的公式看上去有點繞，下面我發(fā)一個詳細的計算過程圖。 這里介紹的是計算完一條記錄，就馬上更新權重，以后每計算完一條都即時更新權重。實際上批量更新的效果會更好，方法是在不更新權重的情況下，把記錄集的每條記錄都算過一遍，把要更新的增值全部累加起來求平均值，然后利用這個平均值來更新一次權重，然后利用更新后的權重進行下一輪的計算，這種方法叫 批量梯度下降 (Batch Gradient Descent)。 例 1：我們都知道，面積 =長 *寬，假如我們有一組數測量據如下： 我們利用這組數據來訓練神經網絡。（在 Matlab中輸入以下的代碼，按回車即可執(zhí)行） p = [2 5。 3 6。 12 2。 1 6。 9 2。 8 12。 4 7。 7 9]39。 % 特征數據 X1,X2 t = [10 18 24 6 18 96 28 63]。 % 樣本值 = newff(p, t, 20)。 % 創(chuàng)建一個 BP神經網絡 ff=FeedForward = train(, p, t)。 % 用 p,t數據來訓練這個網絡 出現如下的信息，根據藍線的顯示，可以看出最后收斂時，誤差已小于 10^20。 你也 許會問，計算機難道這樣就能學會乘法規(guī)則嗎？不用背乘法口訣表了？先隨便選幾個數字，試試看： s = [3 7。 6 9。
公司管理相關推薦
鄂ICP備17016276號-1