人工神經(jīng)網(wǎng)絡iippt課件(編輯修改稿)
2025-02-01 05:03 本頁面
【文章內(nèi)容簡介】 節(jié)上用的是梯度下降算法 –容易推廣到任意有向網(wǎng)絡 –訓練的時候迭代的次數(shù)可能很多，慢 –訓練后使用網(wǎng)絡會非?？? ?問題 –收斂性和局部極小值 –過擬和的問題 :指網(wǎng)絡訓練精度很高 ,但推廣檢驗樣本精度較差 ,也稱為網(wǎng)絡的泛化能力差 by 謝廣明 ， 2022~2022學年度第一學期 16 算法設計 ?輸入 /輸出變量的確定及其數(shù)據(jù)的預處理 –網(wǎng)絡的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。 –若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。 –輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標或因變量），可以是一個，也可以是多個。 –一般將一個具有多個輸出的網(wǎng)絡模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡模型效果會更好，訓練也更方便。 by 謝廣明 ， 2022~2022學年度第一學期 17 算法設計 ?樣本數(shù)據(jù)收集和整理分組 –采用 BP神經(jīng)網(wǎng)絡方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。 –為訓練過程使之不發(fā)生 “ 過擬合 ” 和評價建立的網(wǎng)絡模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓練樣本、檢驗樣本（ 10%以上）和測試樣本（ 10%以上） 3部分。 –此外，數(shù)據(jù)分組時還應盡可能考慮樣本模式間的平衡。 by 謝廣明 ， 2022~2022學年度第一學期 18 算法設計 ? 由于采用 Sigmoid轉(zhuǎn)換函數(shù)，為提高訓練速度和靈敏性以及有效避開 Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在 0~1之間。因此，要對輸入數(shù)據(jù)進行預處理。 ?如果輸出層節(jié)點也采用 Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應的預處理，否則，輸出變量也可以不做預處理。 ? 預處理的方法有多種多樣，各文獻采用的公式也不盡相同。預處理的數(shù)據(jù)訓練完成后，網(wǎng)絡輸出的結(jié)果要進行反變換才能得到實際值。 ?為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預處理后的值在 ~。 by 謝廣明 ， 2022~2022學年度第一學期 19 算法設計 ?隱層數(shù) – 一般認為，增加隱層數(shù)可以降低網(wǎng)絡誤差（也有文獻認為不一定能有效降低），提高精度，但也使網(wǎng)絡復雜化，從而增加了網(wǎng)絡的訓練時間和出現(xiàn) “ 過擬合 ” 的傾向。 – 應優(yōu)先考慮 3層 BP網(wǎng)絡（即有 1個隱層）。 – 一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓練效果要比增加隱層數(shù)更容易實現(xiàn)。 – 對于沒有隱層的神經(jīng)網(wǎng)絡模型，實際上就是一個線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。因此，一般認為，應將不含隱層的網(wǎng)絡模型歸入回歸分析中，技術(shù)已很成熟，沒有必要在神經(jīng)網(wǎng)絡理論中再討論之。 by 謝廣明 ， 2022~2022學年度第一學期 20 算法設計 ?隱層節(jié)點數(shù) – 隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡模型的性能影響很大，而且是訓練時出現(xiàn) “ 過擬合 ” 的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。 – 目前多數(shù)文獻中提出的確定隱層節(jié)點數(shù)的計算公式都是針對訓練樣本任意多的
教學課件相關(guān)推薦
鄂ICP備17016276號-1