機器學(xué)習(xí)-文庫吧資料
2025-01-22 18:05本頁面
【正文】 饋 來描述系統(tǒng)的 非線性動力學(xué)行為 ，能更直接地反映系統(tǒng)的動態(tài)特性，更適用于非線性動態(tài)系統(tǒng)的辨識38遞歸神經(jīng)網(wǎng)絡(luò)l 遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)l 遞隱藏層的輸出存儲到存儲器中l(wèi) 將存儲器當(dāng)中的數(shù)據(jù)作為輸入層的部分輸入l 遞歸神經(jīng)網(wǎng)絡(luò)會對前面的信息 進行記憶并應(yīng)用于當(dāng)前輸出的計算 中，即隱藏層之間的節(jié)點不再無連接而是有連接的，并且隱藏層的輸入不僅包括 輸入層的輸出 還包括 上一時刻隱藏層的輸出39遞歸神經(jīng)網(wǎng)絡(luò)l 遞歸神經(jīng)網(wǎng)絡(luò)作用l RNN已經(jīng)被在實踐中證明對 NLP是非常成功的，如詞向量表達、語句合法性檢查、詞性標(biāo)注等l 在 RNNs中，目前使用最廣泛最成功的模型便是 長短時記憶模型 (LongNetwork，簡稱 RNN)是由 Jordon于 每類一個單元，共 10類（對應(yīng)數(shù)字 09）常用的激活函數(shù)lSigmoid函數(shù) l高斯函數(shù)l雙曲正切函數(shù)lRelu函數(shù) 對稱型 Sigmoid函數(shù) 或 非對稱型 Sigmoid函數(shù)或高斯函數(shù) 反映出高斯函數(shù)的寬度 雙曲正切函數(shù) Relu函數(shù)主要應(yīng)用場景l(fā)圖像處理l語音處理l自然語言處理圖像分類語音處理自然語言處理37遞歸神經(jīng)網(wǎng)絡(luò)l 遞歸神經(jīng)網(wǎng)絡(luò)定義l 遞歸神經(jīng)網(wǎng)絡(luò) (Recurrent卷積神經(jīng)網(wǎng)絡(luò)1 0 10 1 01 0 1某種濾波器的大小是3*3，數(shù)據(jù)如圖：原來的圖像大小是 5*5，數(shù)據(jù)如圖：1 1 1 0 00 1 1 1 00 0 1 1 10 0 1 1 00 1 1 0 0卷積神經(jīng)網(wǎng)絡(luò)S2層的 pooling值是鄰域四個像素（ 2*2）求和變?yōu)橐粋€像素，產(chǎn)生一個大概縮小四倍的特征映射圖Sx+1pooling使得通過卷積獲得的 feature具有空間不變性最后，輸出層由歐式徑向基函數(shù)（ Euclidean Radial Basis Function）單元組成，通過計算輸入向量和參數(shù)向量之間的歐式距離。卷積神經(jīng)網(wǎng)絡(luò)每輸入一張32*32大小的圖片， F6輸出一個 84維的向量，這個向量即我們提取出的特征向量。所以 100種卷積核就有100個 Feature Map。那如果我們每個神經(jīng)元這 100個參數(shù)是相同的呢？也就是說每個神經(jīng)元用的是同一個卷積核去卷積圖像。 圖像的空間聯(lián)系是局部的 ,每一個神經(jīng)元都不需要對全局圖像做感受只感受局部的圖像區(qū)域，然后在更高層，將這些感受不同局部的神經(jīng)元綜合起來就可以得到全局的信息了。卷積神經(jīng)網(wǎng)絡(luò)CNN最厲害 的地方就在于通過感受野和權(quán)值共享減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)的個數(shù)。并且是深度學(xué)習(xí)模型中最成功的模型。 機器學(xué)習(xí)中的一些方法 主要內(nèi)容主要內(nèi)容
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1