人工神經(jīng)網(wǎng)絡(luò)iippt課件(參考版)
2025-01-08 05:03本頁面
【正文】 ?目前已有改進(jìn) BP法、遺傳算法（ GA）和模擬退火算法等多種優(yōu)化方法用于 BP網(wǎng)絡(luò)的訓(xùn)練。 –取得較大時則相反。 –誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來確定。 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 29 算法設(shè)計 ?合理網(wǎng)絡(luò)模型的確定 –對同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于 BP算法存在（很）多個局部極小點(diǎn)，因此，必須通過多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 28 算法設(shè)計 ?因為訓(xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計算和預(yù)測所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。 ?判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律 ,最直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗樣本和測試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。 –僅給出訓(xùn)練樣本誤差（通常是指均方根誤差RSME或均方誤差、 AAE或 MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒有任何意義的。 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 26 算法設(shè)計 ?網(wǎng)絡(luò)模型的性能和泛化能力 –訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓(xùn)練樣本的擬合能力。 –要求計算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收斂性（穩(wěn)定性），通常在 ~。 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 24 算法設(shè)計 ?學(xué)習(xí)率 –學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 23 算法設(shè)計 ?迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個（訓(xùn)練）樣本的情況下，如何設(shè)計一個合理的 BP網(wǎng)絡(luò)模型并通過向所給的有限個樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很?。┑膯栴}。 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 22 算法設(shè)計 ?折衷選擇 – 若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差； – 若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時間延長，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時出現(xiàn)“過擬合”的內(nèi)在原因。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于 N1。 – 研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入 /輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。 – 目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計算公式都是針對訓(xùn)練樣本任意多的情況，而且多數(shù)是針對最不利的情況，一般工程實(shí)踐中很難滿足，不宜采用。因此，一般認(rèn)為，應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，技術(shù)已很成熟，沒有必要在神經(jīng)網(wǎng)絡(luò)理論中再討論之。 – 一般地，
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1