深度學(xué)習(xí)之激活函數(shù)-資料下載頁
2025-08-05 16:30本頁面
【正文】 ut中哪里體現(xiàn)了“不同模型”？這個(gè)奧秘就是隨機(jī)選擇忽略隱層節(jié)點(diǎn)，在每個(gè)批次的訓(xùn)練過程中，由于每次隨機(jī)忽略的隱層節(jié)點(diǎn)都不同，這樣就使每次訓(xùn)練的網(wǎng)絡(luò)都是不一樣的，每次訓(xùn)練都可以單做一個(gè)“新”的模型；此外，隱含節(jié)點(diǎn)都是以一定概率隨機(jī)出現(xiàn)，因此不能保證每2個(gè)隱含節(jié)點(diǎn)每次都同時(shí)出現(xiàn)，這樣權(quán)值的更新不再依賴于有固定關(guān)系隱含節(jié)點(diǎn)的共同作用，阻止了某些特征僅僅在其它特定特征下才有效果的情況。dropout過程就是一個(gè)非常有效的神經(jīng)網(wǎng)絡(luò)模型平均方法，通過訓(xùn)練大量的不同的網(wǎng)絡(luò)，來平均預(yù)測概率。不同的模型在不同的訓(xùn)練集上訓(xùn)練（每個(gè)批次的訓(xùn)練數(shù)據(jù)都是隨機(jī)選擇），最后再每個(gè)模型用相同的權(quán)重來“融合”，有點(diǎn)類似boosting算法。n 訓(xùn)練階段l Dropout是在標(biāo)準(zhǔn)的bp網(wǎng)絡(luò)的的結(jié)構(gòu)上，使bp網(wǎng)的隱層激活值，以一定的比例v變?yōu)?，即按照一定比例v，隨機(jī)地讓一部分隱層節(jié)點(diǎn)失效；l 去掉權(quán)值懲罰項(xiàng)，取而代之的事，限制權(quán)值的范圍，給每個(gè)權(quán)值設(shè)置一個(gè)上限范圍；如果在訓(xùn)練更新的過程中，權(quán)值超過了這個(gè)上限，則把權(quán)值設(shè)置為這個(gè)上限的值。這樣處理，不論權(quán)值更新量有多大，權(quán)值都不會過大。此外，還可以使算法使用一個(gè)比較大的學(xué)習(xí)率，來加快學(xué)習(xí)速度，從而使算法在一個(gè)更廣闊的權(quán)值空間中搜索更好的權(quán)值，而不用擔(dān)心權(quán)值過大。n 測試階段：l 在訓(xùn)練過程中神經(jīng)元以概率p出現(xiàn)，而在測試階段它一直都存在。l 在網(wǎng)絡(luò)前向傳播到輸出層前時(shí)隱含層節(jié)點(diǎn)的輸出值都要縮減到（1v）倍；例如正常的隱層輸出為a，此時(shí)需要縮減為a（1v）。l 解釋：假設(shè)比例v=，即在訓(xùn)練階段，；那么假設(shè)隱層有80個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)輸出值為1，那么此時(shí)只有40個(gè)節(jié)點(diǎn)正常工作；也就是說總的輸出為40個(gè)1和40個(gè)0；輸出總和為40；而在測試階段，由于我們的權(quán)值已經(jīng)訓(xùn)練完成，假設(shè)此時(shí)每個(gè)隱層的輸出還是1，那么此時(shí)總的輸出為80個(gè)1，明顯比dropout訓(xùn)練時(shí)輸出大一倍；所以為了得到和訓(xùn)練時(shí)一樣的輸出結(jié)果，就縮減隱層輸出為a（1v）；，總和也為40。這樣就使得測試階段和訓(xùn)練階段的輸出“一致”了。注：如果有多個(gè)隱含層，那么對每一個(gè)隱含層分別使用dropout策略。
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1