深度學習之激活函數-文庫吧資料
2024-08-18 16:30本頁面
【正文】 ：計算簡單，不會saturation），同時又沒有 ReLU 的一些缺點 （如：容易 go die）。下圖表達的意思就是maxout可以擬合任意凸函數，當然也包括了ReLU。中的一頁ppt如下：maxout的擬合能力是非常強的，它可以擬合任意的的凸函數。因此當我們看到常規(guī)結構的神經網絡時，如果它使用了maxout激發(fā)，則我們頭腦中應該自動將這個“隱隱含層”節(jié)點加入。但如果是maxout激發(fā)函數，則其隱含層節(jié)點的輸出表達式為：這里的W是3維的，尺寸為d*m*k，其中d表示輸入層節(jié)點的個數，m表示隱含層節(jié)點的個數，k表示每個隱含層節(jié)點對應了k個“隱隱含層”節(jié)點，這k個“隱隱含層”節(jié)點都是線性輸出的，而maxout的每個節(jié)點就是取這k個“隱隱含層”節(jié)點輸出值中最大的那個值。通常情況下，如果激發(fā)函數采用sigmoid函數，在前向傳播過程中，隱含層節(jié)點的輸出表達式為：為了解決上面的問題，后來又提出很多修正過的模型，比如LeakyReLU、Parametric ReLU和Randomized ReLU等，其思想一般都是將x0的區(qū)間不置0值，而是設置為1個參數與輸入值相乘的形式，如αx，并在訓練過程對α進行修正。Relu函數也有很明顯的缺點，就是在訓練的時候，網絡很脆弱，很容易出現很多神經元值為0，從而再也訓練不動。在反向傳播時，Relu函數的導數為，計算也比前邊2個函數的導數簡單。 ReLu(Rectified Linear Units)激活函數Relu函數為現在使用比較廣泛的激活函數，其表達式為當輸入x0時，輸出為0；當x0時，輸出等于輸入值。 Tanh函數Tanh函數表達式為：它將輸入值映射到[1,1]區(qū)間內，其圖像為：Tanh函數是Sigmoid函數的一種變體；與 sigmoid 不同的是，tanh 是0均值的。如果按batch去訓練，那么batch可能得到不同的信號，所以這個問題可以緩解一下的。計算出的梯度也會始終都是正的。f=wTx+b)，那么x0這是不可取的，因為這會導致后一層的神經元將得到上一層輸出的非0
環(huán)評公示相關推薦
鄂ICP備17016276號-1