深度學習之激活函數(編輯修改稿)
2025-09-01 16:30 本頁面
【文章內容簡介】 函數的導數為，計算也比前邊2個函數的導數簡單。l 由于relu函數的導數為，即反向傳播時梯度要么為0，要么不變，所以梯度的衰減很小，即使網路層數很深，前邊層的收斂速度也不會很慢。Relu函數也有很明顯的缺點，就是在訓練的時候，網絡很脆弱，很容易出現(xiàn)很多神經元值為0，從而再也訓練不動。一般我們將學習率設置為較小值來避免這種情況的發(fā)生。為了解決上面的問題，后來又提出很多修正過的模型，比如LeakyReLU、Parametric ReLU和Randomized ReLU等，其思想一般都是將x0的區(qū)間不置0值，而是設置為1個參數與輸入值相乘的形式，如αx，并在訓練過程對α進行修正。 Maxout激活函數maxout是一種激發(fā)函數形式。通常情況下，如果激發(fā)函數采用sigmoid函數，在前向傳播過程中，隱含層節(jié)點的輸出表達式為： 其中W一般是2維的，這里表示取出的是第i列，下標i前的省略號表示對應第i列中的所有行。但如果是maxout激發(fā)函數，則其隱含層節(jié)點的輸出表達式為：這里的W是3維的，尺寸為d*m*k，其中d表示輸入層節(jié)點的個數，m表示隱含層節(jié)點的個數，k表示每個隱含層節(jié)點對應了k個“隱隱含層”節(jié)點，這k個“隱隱含層”節(jié)點都是線性輸出的，而maxout的每個節(jié)點就是取這k個“隱隱含層”節(jié)點輸出值中最大的那個值。因為激發(fā)函數中有了max操作，所以整個maxout網絡也是一種非線性的變換。因此當我們看到常規(guī)結構的神經網絡時，如果它使用了maxout激發(fā)，則我們頭腦中應該自動將這個“隱隱含層”節(jié)點加入。參考一個日文的maxout ppt中的一頁ppt如下：maxout的擬合能力是非常強的，它可以擬合任意的的凸函數。最直觀的解釋就是任意的凸函數都可以由分段線性函數以任意精度擬合，而maxout又是取k個隱隱含層節(jié)點的最大值，這些“隱隱含層”節(jié)點也是線性的（k個隱隱含層節(jié)點可認為是k個線性函數，個人見解），所以在不同的取值范圍下，最大值也可以看作是分段線性的（分段的個數與k值有關）。下圖表達的意思就是maxout可以擬合任意凸函數，當然也包括了ReL
環(huán)評公示相關推薦
鄂ICP備17016276號-1