深度學(xué)習(xí)之激活函數(shù)-資料下載頁
2025-08-05 16:30本頁面
【正文】 ut中哪里體現(xiàn)了“不同模型”？這個奧秘就是隨機選擇忽略隱層節(jié)點，在每個批次的訓(xùn)練過程中，由于每次隨機忽略的隱層節(jié)點都不同，這樣就使每次訓(xùn)練的網(wǎng)絡(luò)都是不一樣的，每次訓(xùn)練都可以單做一個“新”的模型；此外，隱含節(jié)點都是以一定概率隨機出現(xiàn)，因此不能保證每2個隱含節(jié)點每次都同時出現(xiàn)，這樣權(quán)值的更新不再依賴于有固定關(guān)系隱含節(jié)點的共同作用，阻止了某些特征僅僅在其它特定特征下才有效果的情況。dropout過程就是一個非常有效的神經(jīng)網(wǎng)絡(luò)模型平均方法，通過訓(xùn)練大量的不同的網(wǎng)絡(luò)，來平均預(yù)測概率。不同的模型在不同的訓(xùn)練集上訓(xùn)練（每個批次的訓(xùn)練數(shù)據(jù)都是隨機選擇），最后再每個模型用相同的權(quán)重來“融合”，有點類似boosting算法。n 訓(xùn)練階段l Dropout是在標(biāo)準(zhǔn)的bp網(wǎng)絡(luò)的的結(jié)構(gòu)上，使bp網(wǎng)的隱層激活值，以一定的比例v變?yōu)?，即按照一定比例v，隨機地讓一部分隱層節(jié)點失效；l 去掉權(quán)值懲罰項，取而代之的事，限制權(quán)值的范圍，給每個權(quán)值設(shè)置一個上限范圍；如果在訓(xùn)練更新的過程中，權(quán)值超過了這個上限，則把權(quán)值設(shè)置為這個上限的值。這樣處理，不論權(quán)值更新量有多大，權(quán)值都不會過大。此外，還可以使算法使用一個比較大的學(xué)習(xí)率，來加快學(xué)習(xí)速度，從而使算法在一個更廣闊的權(quán)值空間中搜索更好的權(quán)值，而不用擔(dān)心權(quán)值過大。n 測試階段：l 在訓(xùn)練過程中神經(jīng)元以概率p出現(xiàn)，而在測試階段它一直都存在。l 在網(wǎng)絡(luò)前向傳播到輸出層前時隱含層節(jié)點的輸出值都要縮減到（1v）倍；例如正常的隱層輸出為a，此時需要縮減為a（1v）。l 解釋：假設(shè)比例v=，即在訓(xùn)練階段，；那么假設(shè)隱層有80個節(jié)點，每個節(jié)點輸出值為1，那么此時只有40個節(jié)點正常工作；也就是說總的輸出為40個1和40個0；輸出總和為40；而在測試階段，由于我們的權(quán)值已經(jīng)訓(xùn)練完成，假設(shè)此時每個隱層的輸出還是1，那么此時總的輸出為80個1，明顯比dropout訓(xùn)練時輸出大一倍；所以為了得到和訓(xùn)練時一樣的輸出結(jié)果，就縮減隱層輸出為a（1v）；，總和也為40。這樣就使得測試階段和訓(xùn)練階段的輸出“一致”了。注：如果有多個隱含層，那么對每一個隱含層分別使用dropout策略。
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1