【文章內容簡介】 單元的分層前饋網(wǎng)絡，并且每一層的單元與前一層的所有單元相連。 ? 表 42是反向傳播算法的增量梯度下降（或隨機梯度下降）版本 ? 使用的符號做了如下擴展 ? 網(wǎng)絡中每個節(jié)點被賦予一個序號，這里的節(jié)點要么是網(wǎng)絡的輸入，要么是網(wǎng)絡中某個單元的輸出 ? xji表示節(jié)點 i到單元 j的輸入， wji表示對應的權值 ? ?n表示與單元 n相關聯(lián)的誤差項。 表 42的算法解釋 ? 從建立一個具有期望數(shù)量的隱藏單元和輸出單元的網(wǎng)絡并初始化所有的網(wǎng)絡的權值為小的隨機數(shù)開始 ? 給定一個固定的網(wǎng)絡結構，算法的主循環(huán)就對訓練樣例進行反復的迭代 ? 對于每一個訓練樣例，它應用目前的網(wǎng)絡到這個樣例，計算出對這個樣例網(wǎng)絡輸出的誤差，然后更新網(wǎng)絡中所有的權值 ? 對這樣的梯度下降步驟進行迭代，直到網(wǎng)絡的性能達到可接受的精度為止 反向傳播算法的梯度下降法則 ? 表 42的梯度下降權更新法則與 delta訓練法則相似 ? 類似 delta法則，依照以下三者來更新每一個權 ? 學習速率 ? ? 該權值涉及的輸入值 xji ? 該單元的輸出誤差 ? 不同于 delta法則的地方 ? delta法則中的誤差項被替換成一個更復雜的誤差項 ?j 反向傳播算法的誤差項 ? 輸出單元 k的誤差項 ? ?k與 delta法則中的 (tkok)相似，但乘上了 sigmoid擠壓函數(shù)的導數(shù) ok(1ok)。 ? 隱藏單元 h的誤差項 ? 因為訓練樣例僅對網(wǎng)絡的輸出提供了目標值 tk，所以缺少直接的目標值來計算隱藏單元的誤差值 ? 采取以下的間接方法計算隱藏單元的誤差項：對受隱藏單元 h影響的每一個單元的誤差 ?k進行加權求和，每個誤差 ?k權值為 wkh， wkh就是從隱藏單元 h到輸出單元k的權值。這個權值刻畫了隱藏單元 h對于輸出單元 k的誤差應負責的程度。 表 42的算法解釋（ 2） ? 表 42的算法隨著每個訓練樣例的出現(xiàn)而遞增地更新權，這一點與梯度下降的隨機近似算法一致 ? 要取得誤差 E的真實梯度，需要在修改權值之前對所有訓練樣例的 ?jxji值求和 ? 在典型的應用中，權值的更新迭代會被重復上千次 ? 有很多終止條件可以用來停止這個過程 ? 迭代的次數(shù)到了一個固定值時停止 ? 當在訓練樣例上的誤差降到某個閾值以下 ? 在分離的驗證樣例集合上的誤差符合某個標準 ? 終止條件很重要，太少的迭代無法有效地降低誤差，太多的迭代會導致對訓練數(shù)據(jù)的過度擬合 增加沖量項 ? 因為反向傳播算法的應用如此廣泛，所以已經開發(fā)出了很多反向傳播算法的變體 ? 修改權值更新法則，使第 n次迭代時的權值的更新部分地依賴于發(fā)生在第 n1次迭代時的更新，比如 ? ?wji(n)=??jxji+??wji(n1) ? 右側第一項就是表 42中的權值更新法則，第二項被稱為沖量項 ? 梯度下降的搜索軌跡就像一個球沿誤差曲面滾下，沖量使球從一次迭代到下一次迭代時以同樣的方向滾動 ? 沖量有時會使這個球滾過誤差曲面的局部極小值或平坦區(qū)域 ? 沖量也具有在梯度不變的區(qū)域逐漸增大搜索步長的效果，從而加快收斂 學習任意的無環(huán)網(wǎng)絡 ? 表 42的算法可以簡單地推廣到任意深度的前饋網(wǎng)絡 ? 第 m層的單元 r的 ?r值由更深的第 m+1層 ?值根據(jù)下式計算 ? 將這個算法推廣到任何有向無環(huán)結構也同樣簡單，而不論網(wǎng)絡中的單元是否被排列在統(tǒng)一的層上，計算任意內部單元的 ?的法則是： ， Downstream(r)是在網(wǎng)絡中單元 r的直接下游單元的集合，即輸入中包括 r的輸出的所有單元 ????? 層1)1( ms ssrrrr woo ?????? )()1( rD o w n s tr e a ms ssrrrr woo ??反向傳播法則的推導 ? 隨機梯度下降算法迭代處理訓練樣例，每次處理一個，對于每個訓練樣例 d，利用關于這個樣例的誤差 Ed的梯度修改權值 jidji wEw????? ?????o u tp u tskkkd otwE2)(21)( ?符號說明 ? xji，單元 j的第 i個輸入 ? wji，與 xji相關聯(lián)的權值 ? j，單元 j的輸入的加權和 ? oj，單元 j計算出的輸出 ? tj，單元 j的目標輸出 ? ?， sigmoid函數(shù) ? outputs，網(wǎng)絡最后一層的輸出單元的集合 ? Downstream(j)，單元 j的輸出到達的單元的集合 隨機梯度下降法則的推導 ,分情況討論 的推導 ? 輸出單元 jijdjijjdjid xne tEwne tne tEwE??????????jdE??jjjdjdne tooEne tE???????jdoE??)()()(221)(21)(2122jjjjjjjjjjo u tp u tskkkjotootototooto???????????????? ??)1()( jjjjjj oone tne tne to ??????? ?)1()( jjjjjd oootn e tE ??????jijjjjjidji xoootwEw )1()( ???????? ??隨機梯度下降法則的推導（２） ? 隱藏單元 ?????????????????????????????????????)()()()()()()1()1(jD ow ns tr e a mkkjkjjjD ow ns tr e a mkjjkjkjD ow ns tr e a mk jjkjkjD ow ns tr e a mk jjjkkjD ow ns tr e a mk jkkjD ow ns tr e a mk jkkdwoooown e town e toon e tn e tn e tn e tn e tn e tE?????jdE???????? )()1( jD o w n s tr e a mk kjkjjjiji wooxw ??收斂性和局部極小值 ? 對于多層網(wǎng)絡，誤差曲面可能含有多個不同的局部極小值，梯度下降可能陷入這些局部極小值中的任何一個 ? 對于多層網(wǎng)絡，反向傳播算法僅能保證收斂到誤差 E的某個局部極小值，不一定收斂到全局最小誤差 ? 盡管缺乏對收斂到全局最小誤差的保證，反向傳播算法在實踐中仍是非常有效的函數(shù)逼近算法 收斂性和局部極小值（２） ? 網(wǎng)絡的權越多，誤差曲面的維數(shù)越多，也就越可能為梯度下降提供更多的逃逸路線 ? 考慮隨著訓練中迭代次數(shù)的增加網(wǎng)絡權值的演化方式 ? 如果把網(wǎng)絡的權值初始化為接近于 0的值，那么在早期的梯度下降步驟中，網(wǎng)絡將表現(xiàn)為一個非常平滑的函數(shù)，近似為輸入的線性函數(shù)，這是因為 sigmoid函數(shù)本身在權值靠近 0時接近線性 ? 僅當權值增長一定時間后，它們才會到達可以表示高度非線性網(wǎng)絡函數(shù)的程度，可以預期在這個能表示更復雜函數(shù)的權空間區(qū)域存在更多的局部極小值 ? 但是當權到達這一點時，它們已經足夠靠近全局最小值，即便它是這個區(qū)域的局部最小值也是可以接受的 收斂性和局部極小值（ 3） ? 用來緩解局部極小值問題的啟發(fā)式規(guī)則 ? 為梯度更新法則加一個沖量，可以帶動梯度下降