人工神經(jīng)網(wǎng)絡的研究方法(編輯修改稿)
2025-02-04 06:34 本頁面
【文章內(nèi)容簡介】 因素有關。 在確定隱層節(jié)點數(shù)時 必須滿足下列條件 ： (1)隱層節(jié)點數(shù)必須小于 N1（其中 N為訓練樣本數(shù)），否則，網(wǎng)絡模型的系統(tǒng)誤差與訓練樣本的特性無關而趨于零，即建立的網(wǎng)絡模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節(jié)點數(shù)（變量數(shù)）必須小于 N1。 (2) 訓練樣本數(shù)必須多于網(wǎng)絡模型的連接權數(shù)，一般為2~10倍，否則，樣本必須分成幾部分并采用“輪流訓練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡模型。 總之，若隱層節(jié)點數(shù)太少，網(wǎng)絡可能根本不能訓練或網(wǎng)絡性能很差；若隱層節(jié)點數(shù)太多，雖然可使網(wǎng)絡的系統(tǒng)誤差減小，但一方面使網(wǎng)絡訓練時間延長，另一方面，訓練容易陷入局部極小點而得不到最優(yōu)點，也是訓練時出現(xiàn)“過擬合”的內(nèi)在原因。因此，合理隱層節(jié)點數(shù)應在綜合考慮網(wǎng)絡結構復雜程度和誤差大小的情況下用節(jié)點刪除法和擴張法確定。 訓練 BP網(wǎng)絡的訓練就是通過應用誤差反傳原理不斷調整網(wǎng)絡權值使網(wǎng)絡模型輸出值與已知的訓練樣本輸出值之間的誤差平方和達到最小或小于某一期望值。雖然理論上早已經(jīng)證明：具有 1個隱層（采用 Sigmoid轉換函數(shù)）的 BP網(wǎng)絡可實現(xiàn)對任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒有構造性結論，即在給定有限個（訓練）樣本的情況下，如何設計一個合理的 BP網(wǎng)絡模型并通過向所給的有限個樣本的學習（訓練）來滿意地逼近樣本所蘊含的規(guī)律（函數(shù)關系，不僅僅是使訓練樣本的誤差達到很?。┑膯栴}， 目前在很大程度上還需要依靠經(jīng)驗知識和設計者的經(jīng)驗。因此，通過訓練樣本的學習（訓練）建立合理的 BP神經(jīng)網(wǎng)絡模型的過程，在國外被稱為“藝術創(chuàng)造的過程”，是一個復雜而又十分煩瑣和困難的過程。 由于 BP網(wǎng)絡采用誤差反傳算法，其實質是一個無約束的非線性最優(yōu)化計算過程，在網(wǎng)絡結構較大時不僅計算時間長，而且很容易限入局部極小點而得不到最優(yōu)結果。目前雖已有改進 BP法、遺傳算法（ GA）和模擬退火算法等多種優(yōu)化方法用于 BP網(wǎng)絡的訓練 (這些方法從原理上講可通過調整某些參數(shù)求得全局極小點 )，但在應用中，這些參數(shù)的調整往往因問題不同而異，較難求得全局極小點。這些方法中應用最廣的是增加了沖量（動量）項的改進 BP算法。 學習率和沖量系數(shù) 學習率影響系統(tǒng)學習過程的穩(wěn)定性。大的學習率可能使網(wǎng)絡權值每一次的修正量過大，甚至會導致權值在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學習率導致學習時間過長，不過能保證收斂于某個極小值。所以，一般傾向選取較小的學習率以保證學習過程的收斂性（穩(wěn)定性），通常在 ~。 增加沖量項的目的是為了避免網(wǎng)絡訓練陷于較淺的局部極小點。理論上其值大小應與權值修正量的大小有關，但實際應用中一般取常量。通常在 0~1之間，而且一般比學習率要大。 4 網(wǎng)絡的初始連接權值 BP算法決定了誤差函數(shù)一般存在（很）多個局部極小點，不同的網(wǎng)絡初始權值直接決定了 BP算法收斂于哪個局部極小點或是全局極小點。因此，要求計算程序（建議采用標準通用軟件，如 Statsoft公司出品的 Statistica Neural Networks軟件和 Matlab 軟件 ）必須能夠自由改變網(wǎng)絡初始連接權值。由于 Sigmoid轉換函數(shù)的特性，一般要求初始權值分布在 ~。 訓練神經(jīng)網(wǎng)絡的首要和根本任務是確保訓練好的網(wǎng)絡模型對非訓練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊含的內(nèi)在規(guī)律，而不是看網(wǎng)絡模型對訓練樣本的擬合能力。從存在性結論可知，即使每個訓練樣本的誤差都很小（可以為零），并不意味著建立的模型已逼近訓練樣本所蘊含的規(guī)律。因此，僅給出訓練樣本誤差（通常是指均方根誤差 RSME或均方誤差、 AAE或 MAPE等）的大小而不給出非訓練樣本誤差的大小是沒有任何意義的。 要分析建立的網(wǎng)絡模型對樣本所蘊含的規(guī)律的逼近情況（能力），即泛化能力，應該也必須用非訓練樣本（本文稱為檢驗樣本和測試樣本）誤差的大小來表示和評價，這也是之所以必須將總樣本分成訓練樣本和非訓練樣本而絕不能將全部樣本用于網(wǎng)絡訓練的主要原因之一。 判斷建立的模型是否已有效逼近樣本所蘊含的規(guī)律 ,最直接和客觀的指標是從總樣本中隨機抽取的非訓練樣本（檢驗樣本和測試樣本）誤差是否和訓練樣本的誤差一樣小或稍大。非訓練樣本誤差很接近訓練樣本誤差或比其小，一般可認為建立的網(wǎng)絡模型已有效逼近訓練樣本所蘊含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍）就說明建立的網(wǎng)絡模型并沒有有效逼近訓練樣本所蘊含的規(guī)律，而只是在這些訓練樣本點上逼近而已，而建立的網(wǎng)絡模型是對訓練樣本所蘊含規(guī)律的錯誤反映。 因為訓練樣本的誤差可以達到很小，因此，用從總樣本中隨機抽取的一部分測試樣本的誤差表示網(wǎng)絡模型計算和預測所具有的精度（網(wǎng)絡性能）是合理的和可靠的。 值得注意的是，判斷網(wǎng)絡模型泛化能力的好壞，主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于訓練樣本和檢驗樣本的誤差。 對同一結構的網(wǎng)絡，由于 BP算法存在（很）多個局部極小點，因此，必須通過多次（通常是幾十次）改變網(wǎng)絡初始連接權值求得相應的極小點，才能通過比較這些極小點的網(wǎng)絡誤差的大小，確定全局極小點，從而得到該網(wǎng)絡結構的最佳網(wǎng)絡連接權值。必須注
教學課件相關推薦
鄂ICP備17016276號-1