機(jī)器學(xué)習(xí)-資料下載頁(yè)
2025-01-18 18:05本頁(yè)面
【正文】 對(duì)對(duì)應(yīng)的單詞 weight進(jìn)行更新l 序列中不同的位置處的單詞對(duì)當(dāng)前的隱藏層的狀態(tài)的影響不同，越前面的影響越小47遞歸神經(jīng)網(wǎng)絡(luò)l LSTM（ LongShortTermMemory）是 長(zhǎng)短期記憶 網(wǎng)絡(luò)，是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，適合于處理和預(yù)測(cè)時(shí)間序列中 間隔 和 延遲 相對(duì)較長(zhǎng)的重要事件l LSTM由 HochreiterSchmidhuber(1997)提出，并在近期被 AlexGraves進(jìn)行了改良和推廣l 在 2023年，谷歌通過(guò)基于 CTC訓(xùn)練的 LSTM程序大幅提升了安卓手機(jī)和其他設(shè)備中語(yǔ)音識(shí)別的能力，其中就使用了 J252。rgenSchmidhuber的實(shí)驗(yàn)室在 2023年發(fā)表的方法l RNN擴(kuò)展和改進(jìn)模型48遞歸神經(jīng)網(wǎng)絡(luò)l 所有 RNN都具有一種重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)降男问?。在?biāo)準(zhǔn)的 RNN中，這個(gè)重復(fù)的模塊只有一個(gè)非常簡(jiǎn)單的結(jié)構(gòu)，如 tanh層標(biāo)準(zhǔn) RNN中包含單一層的重復(fù)模塊l LSTM同樣是這樣的結(jié)構(gòu)，但重復(fù)的模塊擁有一個(gè)不同的結(jié)構(gòu)，即有四個(gè)神經(jīng)網(wǎng)絡(luò)層，且以一種非常特殊的方式進(jìn)行交互LSTM中包含多層的重復(fù)模塊l RNN擴(kuò)展和改進(jìn)模型49遞歸神經(jīng)網(wǎng)絡(luò)l LSTM的核心思想 —LSTM 的關(guān)鍵就是 細(xì)胞狀態(tài) ，水平線在圖上方貫穿運(yùn)行，其中細(xì)胞狀態(tài)類(lèi)似于傳送帶，直接在整個(gè)鏈上運(yùn)行，只有一些少量的線性交互l LSTM有通過(guò)精心設(shè)計(jì)的稱(chēng)作為 “門(mén) ”的結(jié)構(gòu)來(lái)去除或者增加信息到細(xì)胞狀態(tài)的能力，如 sigmoid神經(jīng)網(wǎng)絡(luò)層和 pointwise乘法操作Sigmoid神經(jīng)網(wǎng)絡(luò)層和 Pointwise乘法操作l RNN擴(kuò)展和改進(jìn)模型50遞歸神經(jīng)網(wǎng)絡(luò)l ClockworkRNNs是較新的一種 RNNs模型，其論文發(fā)表于 2023年BeijingICML，且其效果較 SRN與 LSTMs好l ClockworkRNNs也是一個(gè) RNNs的改良版本，是一種使用 時(shí)鐘頻率來(lái) 驅(qū)動(dòng) 的 RNNsCWRNNs的網(wǎng)絡(luò)結(jié)構(gòu)l RNN擴(kuò)展和改進(jìn)模型51遞歸神經(jīng)網(wǎng)絡(luò)l 字符級(jí)別語(yǔ)言模型l RNN的應(yīng)用簡(jiǎn)單的字符級(jí)別語(yǔ)言模型RNN，包含一個(gè)輸入層、一個(gè)隱含層（包含 3個(gè)神經(jīng)元）和一個(gè)輸出層圖中展示了將字符序列 hell輸入該 RNN時(shí)前向傳播得到的結(jié)果52遞歸神經(jīng)網(wǎng)絡(luò)l 語(yǔ)音識(shí)別l RNN的應(yīng)用53遞歸神經(jīng)網(wǎng)絡(luò)l 機(jī)器翻譯l RNN的應(yīng)用54遞歸神經(jīng)網(wǎng)絡(luò)l 生成手寫(xiě)字符l RNN的應(yīng)用55遞歸神經(jīng)網(wǎng)絡(luò)l 視頻字幕生成l RNN的應(yīng)用演講完畢，謝謝觀看！
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號(hào)-1