深度學習之激活函數(shù)-預覽頁
【正文】 函數(shù)圖像如下圖：從數(shù)學上來看，非線性的Sigmoid函數(shù)對中央區(qū)的信號增益較大，對兩側區(qū)的信號增益小，在信號的特征空間映射上，有很好的效果。這直接導致的結果就是在反向傳播中，梯度會衰減的十分迅速，導致傳遞到前邊層的梯度很小甚至消失（kill gradients），訓練會變得十分困難。產生的一個結果就是：如果數(shù)據進入神經元的時候是正的(.w因此，非0均值這個問題雖然會產生一些不好的影響，不過跟上面提到的 kill gradients 問題相比還是要好很多的。Relu函數(shù)相對于前邊2種激活函數(shù)，有以下優(yōu)點：l Relu函數(shù)的計算十分簡單，前向計算時只需輸入值和一個閾值（這里為0）比較，即可得到輸出值。一般我們將學習率設置為較小值來避免這種情況的發(fā)生?！ ∑渲蠾一般是2維的，這里表示取出的是第i列，下標i前的省略號表示對應第i列中的所有行。參考一個日文的maxout ppt如果使用 ReLU，那么一定要小心設置learning rate，而且要注意不要讓網絡出現(xiàn)很多 “dead” 神經元，如果這個問題不好解決，那么可以試試 Leaky ReLU、PReLU 或者 Maxout.友情提醒：最好不要用 sigmoid，可以試試 tanh，不過可以預期它的效果會比不上 ReLU 和 Maxout。Dropout是hintion最近2年提出的，其論文中指出，在每個訓練批次中，通過忽略一半的特征檢測器（讓一半的隱層節(jié)點值為0），可以明顯地減少過擬合現(xiàn)象。即每次輸入到網絡中的樣本所對應模型是部分權重共享的，只有被舍棄掉那部分權重不同。n 訓練階段l Dropout是在標準的bp網絡的的結構上，使bp網的隱層激活值，以一定的比例v變?yōu)?，即按照一定比例v，隨機地讓一部分隱層節(jié)點失效；l 去掉權值懲罰項，取而代之的事，限制權值的范圍，給每個權值設置一個上限范圍；如果在訓練更新的過程中，權值超過了這個上限，則把權值設置為這個上限的值。l 在網絡前向傳播到輸出層前時隱含層節(jié)點的輸出值都要縮減到（1v）倍；例如正常的隱層輸出為a，此時需要縮減為a（1v）。
環(huán)評公示相關推薦
鄂ICP備17016276號-1