人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第4講bp神經(jīng)網(wǎng)絡(luò)-wenkub.com
2024-10-13 20:05 本頁(yè)面
【正文】 改進(jìn)技術(shù)可以用來(lái)使反向傳播法更加容易實(shí)現(xiàn)并需要更少的訓(xùn)練時(shí)間 2020/11/23 50 五 、內(nèi)容小結(jié) ?下次講課內(nèi)容 – 反饋網(wǎng)絡(luò) ?Hopfield網(wǎng)絡(luò) 2020/11/23 51 The End Questions amp。這個(gè)技術(shù)已編入了函數(shù) ? 函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已 ? TP＝ [disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； ? [W， B， epochs， [error。 ? 其方法僅使用在第一隱含層的初始值的選取上，后面層的初始值仍然采用隨機(jī)取數(shù) 2020/11/23 30 學(xué)習(xí)速率 ? 學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量 ? 大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定 ? 小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值 ? 所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。若是，訓(xùn)練結(jié)束；否則繼續(xù) ? 以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過(guò)程，可以用函數(shù) – 它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差 2020/11/23 9 網(wǎng)絡(luò)模型 一個(gè)具有 r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 2020/11/23 10 網(wǎng)絡(luò)模型 ? 感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的 ? BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過(guò)的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。 ? BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù) {0， 1}或符號(hào)函數(shù) {－ 1，1} ? BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù) 2020/11/23 11 網(wǎng)絡(luò)模型 ? BP網(wǎng)絡(luò)特點(diǎn) – 輸入和輸出是并行的模擬量 – 網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒(méi)有固定的算法 – 權(quán)因子通過(guò)學(xué)習(xí)信號(hào)調(diào)節(jié)。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差 – TP＝ [disp_freq max_epoch err_goal 1r] – [W， B， epochs， errors]＝ trainbp(W， B，’ F’， P，T， TP) 2020/11/23 26 三、網(wǎng)絡(luò)設(shè)計(jì) 網(wǎng)絡(luò)的層數(shù) 隱含層神經(jīng)元數(shù) 初始權(quán)值的選取 學(xué)習(xí)速率 期望誤差的選取 應(yīng)用舉例 局限性 2020/11/23 27 網(wǎng)絡(luò)的層數(shù) ? 理論上已經(jīng)證明：具有偏差和至少一個(gè) S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù) – 定理： ? 增加層數(shù)主要可以進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。學(xué)習(xí)速率的選取范圍在 2020/11/23 31 期望誤差值選取 ? 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，期望誤差值也應(yīng)當(dāng)通過(guò)對(duì)比訓(xùn)練后確定一個(gè)合適的值 ? 這個(gè)所謂的“合適”，是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來(lái)獲得 ? 一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過(guò)綜合因素的考慮來(lái)確定采用其中一個(gè)網(wǎng)絡(luò) 2020/11/23 32 應(yīng)用舉例 ?求解函數(shù)逼近問(wèn)題 – 有 21組單輸入矢量和相對(duì)應(yīng)的目標(biāo)矢量，試設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)這對(duì)數(shù)組的函數(shù)關(guān)系
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1