人工神經(jīng)網(wǎng)絡(luò)的研究方法(存儲(chǔ)版)
【正文】 時(shí)效率不高，而且還會(huì)由于過擬合 (overfitting)造成網(wǎng)絡(luò)的性能脆弱，泛化能力(generalization ability)下降；太小的網(wǎng)絡(luò)可能就根本不收斂。 輸入層 輸出層 隱層 圖 63 BP網(wǎng)絡(luò)模型 臭氧濃度 入口 UV254 UV254去除率 1．學(xué)習(xí)率 η和動(dòng)量因子 α BP算法本質(zhì)上是優(yōu)化計(jì)算中的梯度下降法，利用誤差對(duì)于權(quán)、閥值的一階導(dǎo)數(shù)信息來指導(dǎo)下一步的權(quán)值調(diào)整方向，以求最終得到誤差最小。一般文獻(xiàn)認(rèn)為初始權(quán)值范圍為 1～＋ 1之間，初始權(quán)值的選擇對(duì)于局部極小點(diǎn)的防止和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，如果初始權(quán)值范圍選擇不當(dāng)，學(xué)習(xí)過程一開始就可能進(jìn)入“假飽和”現(xiàn)象，甚至進(jìn)入局部極小點(diǎn)，網(wǎng)絡(luò)根本不收斂。 輸入數(shù)據(jù)的預(yù)處理 在 BP算法中，神經(jīng)元具有飽和非線性特征（如果神經(jīng)元的總輸入與閾值相距甚遠(yuǎn)，神經(jīng)元的實(shí)際輸出要么為最大值、要么為最小值）。 ? ?? ?m ax/m ax/m axm ax//m a xm a xTTTPPPTTPP???? 訓(xùn)練樣本 實(shí)驗(yàn)號(hào) 臭氧濃度 (mg/L) 入口 UV254 UV254去除率 (%) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 檢驗(yàn)樣本 實(shí)驗(yàn)號(hào) 臭氧濃度 (mg/L) 入口 UV254 UV254去除率 (%) 1 2 3 4 5 進(jìn)水 UV254值 臭 氧 濃 度 ， mg/L UV254去除率，％ BP網(wǎng)絡(luò)訓(xùn)練誤差曲線和網(wǎng)絡(luò)模型 實(shí)驗(yàn)號(hào) 臭氧 (mg/L) UV254去除率 (%) 相對(duì)誤差 （ %） 實(shí)測(cè)值 網(wǎng)絡(luò)預(yù)測(cè)值 1 2 3 4 5 模型預(yù)測(cè)結(jié)果與實(shí)測(cè)值比較 O3 濃度 ， mg/L UV254= UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ 利用 BP網(wǎng)絡(luò)對(duì) O3濃度的優(yōu)化 。如果 Emin值取得較大時(shí)則相反。我們?cè)谏鲜龇秶鷥?nèi)通過對(duì)不同的 η和 α的取值進(jìn)行了考察，確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為： η＝ ， α＝ 。 當(dāng)隱層數(shù)為 20 10和 8 4時(shí)的訓(xùn)練結(jié)果 : 隱層數(shù)為 2節(jié)點(diǎn)數(shù) 8 4 隱層數(shù)為 2節(jié)點(diǎn)數(shù) 20 10 圖 62 相同隱層數(shù)不同節(jié)點(diǎn)數(shù)訓(xùn)練誤差曲線 神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層 2個(gè)；第一隱層 12個(gè)；第二隱層 6個(gè)；輸出層 1個(gè)。 隱層的數(shù)目 : 理論上雖然證明了這類網(wǎng)絡(luò)的逼近能力，對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)的要求，并沒有給出明確的說明。由于網(wǎng)絡(luò)中神經(jīng)元作用函數(shù)的非線性，網(wǎng)絡(luò)實(shí)現(xiàn)是復(fù)雜的非線性映射。一般地，隨著網(wǎng)絡(luò)結(jié)構(gòu)的變大，誤差變小。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍）就說明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點(diǎn)上逼近而已，而建立的網(wǎng)絡(luò)模型是對(duì)訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯(cuò)誤反映。 4 網(wǎng)絡(luò)的初始連接權(quán)值 BP算法決定了誤差函數(shù)一般存在（很）多個(gè)局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了 BP算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。目前雖已有改進(jìn) BP法、遺傳算法（ GA）和模擬退火算法等多種優(yōu)化方法用于 BP網(wǎng)絡(luò)的訓(xùn)練 (這些方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點(diǎn) )，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點(diǎn)。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1