深度學(xué)習(xí)之激活函數(shù)-預(yù)覽頁(yè)
【正文】 函數(shù)圖像如下圖：從數(shù)學(xué)上來(lái)看，非線性的Sigmoid函數(shù)對(duì)中央?yún)^(qū)的信號(hào)增益較大，對(duì)兩側(cè)區(qū)的信號(hào)增益小，在信號(hào)的特征空間映射上，有很好的效果。這直接導(dǎo)致的結(jié)果就是在反向傳播中，梯度會(huì)衰減的十分迅速，導(dǎo)致傳遞到前邊層的梯度很小甚至消失（kill gradients），訓(xùn)練會(huì)變得十分困難。產(chǎn)生的一個(gè)結(jié)果就是：如果數(shù)據(jù)進(jìn)入神經(jīng)元的時(shí)候是正的(.w因此，非0均值這個(gè)問(wèn)題雖然會(huì)產(chǎn)生一些不好的影響，不過(guò)跟上面提到的 kill gradients 問(wèn)題相比還是要好很多的。Relu函數(shù)相對(duì)于前邊2種激活函數(shù)，有以下優(yōu)點(diǎn)：l Relu函數(shù)的計(jì)算十分簡(jiǎn)單，前向計(jì)算時(shí)只需輸入值和一個(gè)閾值（這里為0）比較，即可得到輸出值。一般我們將學(xué)習(xí)率設(shè)置為較小值來(lái)避免這種情況的發(fā)生?！ ∑渲蠾一般是2維的，這里表示取出的是第i列，下標(biāo)i前的省略號(hào)表示對(duì)應(yīng)第i列中的所有行。參考一個(gè)日文的maxout ppt如果使用 ReLU，那么一定要小心設(shè)置learning rate，而且要注意不要讓網(wǎng)絡(luò)出現(xiàn)很多 “dead” 神經(jīng)元，如果這個(gè)問(wèn)題不好解決，那么可以試試 Leaky ReLU、PReLU 或者 Maxout.友情提醒：最好不要用 sigmoid，可以試試 tanh，不過(guò)可以預(yù)期它的效果會(huì)比不上 ReLU 和 Maxout。Dropout是hintion最近2年提出的，其論文中指出，在每個(gè)訓(xùn)練批次中，通過(guò)忽略一半的特征檢測(cè)器（讓一半的隱層節(jié)點(diǎn)值為0），可以明顯地減少過(guò)擬合現(xiàn)象。即每次輸入到網(wǎng)絡(luò)中的樣本所對(duì)應(yīng)模型是部分權(quán)重共享的，只有被舍棄掉那部分權(quán)重不同。n 訓(xùn)練階段l Dropout是在標(biāo)準(zhǔn)的bp網(wǎng)絡(luò)的的結(jié)構(gòu)上，使bp網(wǎng)的隱層激活值，以一定的比例v變?yōu)?，即按照一定比例v，隨機(jī)地讓一部分隱層節(jié)點(diǎn)失效；l 去掉權(quán)值懲罰項(xiàng)，取而代之的事，限制權(quán)值的范圍，給每個(gè)權(quán)值設(shè)置一個(gè)上限范圍；如果在訓(xùn)練更新的過(guò)程中，權(quán)值超過(guò)了這個(gè)上限，則把權(quán)值設(shè)置為這個(gè)上限的值。l 在網(wǎng)絡(luò)前向傳播到輸出層前時(shí)隱含層節(jié)點(diǎn)的輸出值都要縮減到（1v）倍；例如正常的隱層輸出為a，此時(shí)需要縮減為a（1v）。
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1