深度學習之激活函數(shù)-資料下載頁
2024-08-14 16:30本頁面
【正文】 ut中哪里體現(xiàn)了“不同模型”？這個奧秘就是隨機選擇忽略隱層節(jié)點，在每個批次的訓練過程中，由于每次隨機忽略的隱層節(jié)點都不同，這樣就使每次訓練的網(wǎng)絡都是不一樣的，每次訓練都可以單做一個“新”的模型；此外，隱含節(jié)點都是以一定概率隨機出現(xiàn)，因此不能保證每2個隱含節(jié)點每次都同時出現(xiàn)，這樣權值的更新不再依賴于有固定關系隱含節(jié)點的共同作用，阻止了某些特征僅僅在其它特定特征下才有效果的情況。dropout過程就是一個非常有效的神經(jīng)網(wǎng)絡模型平均方法，通過訓練大量的不同的網(wǎng)絡，來平均預測概率。不同的模型在不同的訓練集上訓練（每個批次的訓練數(shù)據(jù)都是隨機選擇），最后再每個模型用相同的權重來“融合”，有點類似boosting算法。n 訓練階段l Dropout是在標準的bp網(wǎng)絡的的結構上，使bp網(wǎng)的隱層激活值，以一定的比例v變?yōu)?，即按照一定比例v，隨機地讓一部分隱層節(jié)點失效；l 去掉權值懲罰項，取而代之的事，限制權值的范圍，給每個權值設置一個上限范圍；如果在訓練更新的過程中，權值超過了這個上限，則把權值設置為這個上限的值。這樣處理，不論權值更新量有多大，權值都不會過大。此外，還可以使算法使用一個比較大的學習率，來加快學習速度，從而使算法在一個更廣闊的權值空間中搜索更好的權值，而不用擔心權值過大。n 測試階段：l 在訓練過程中神經(jīng)元以概率p出現(xiàn)，而在測試階段它一直都存在。l 在網(wǎng)絡前向傳播到輸出層前時隱含層節(jié)點的輸出值都要縮減到（1v）倍；例如正常的隱層輸出為a，此時需要縮減為a（1v）。l 解釋：假設比例v=，即在訓練階段，；那么假設隱層有80個節(jié)點，每個節(jié)點輸出值為1，那么此時只有40個節(jié)點正常工作；也就是說總的輸出為40個1和40個0；輸出總和為40；而在測試階段，由于我們的權值已經(jīng)訓練完成，假設此時每個隱層的輸出還是1，那么此時總的輸出為80個1，明顯比dropout訓練時輸出大一倍；所以為了得到和訓練時一樣的輸出結果，就縮減隱層輸出為a（1v）；，總和也為40。這樣就使得測試階段和訓練階段的輸出“一致”了。注：如果有多個隱含層，那么對每一個隱含層分別使用dropout策略。
環(huán)評公示相關推薦
鄂ICP備17016276號-1