【正文】 絡(luò)可能就根本不收斂。當(dāng)選取隱層數(shù)為 1時，BP網(wǎng)絡(luò)不收斂，而當(dāng)選取隱層數(shù)為 2時， BP網(wǎng)絡(luò)訓(xùn)練較好?？紤]到本研究的特點，結(jié)合不同隱層網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練結(jié)果，本文選擇了隱層數(shù) L=2的網(wǎng)絡(luò)結(jié)構(gòu)模型。 2375 Epochs 隱層數(shù)為 1節(jié)點數(shù) 6 不同隱層數(shù)訓(xùn)練誤差曲線 隱層數(shù)為 2 節(jié)點數(shù) 12 6 例 : BP神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù)測等方面獲得了廣泛的應(yīng)用 。 光催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型 樣本 實驗號 臭氧濃度 (mg/L) 入口 UV254 UV254去除率 (%) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 檢驗樣本 實驗號 臭氧濃度 (mg/L) 入口 UV254 UV254去除率 (%) 1 ? 2 ? 3 ? 4 ? 5 ? 隱層神經(jīng)元數(shù)的選擇 隱層神經(jīng)元數(shù)的選擇是一個十分復(fù)雜的問題。因為沒有很好的解析式表示，可以說隱層神經(jīng)元數(shù)與問題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。事實上隱層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來，但太多又使學(xué)習(xí)時間過長，使網(wǎng)絡(luò)不“不強(qiáng)壯”，泛化能力下降，即不能識別以前沒有直接接收到的樣本，容錯性差。 當(dāng)隱層數(shù)為 20 10和 8 4時的訓(xùn)練結(jié)果 : 隱層數(shù)為 2節(jié)點數(shù) 8 4 隱層數(shù)為 2節(jié)點數(shù) 20 10 圖 62 相同隱層數(shù)不同節(jié)點數(shù)訓(xùn)練誤差曲線 神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點數(shù)分別為：輸入層 2個；第一隱層 12個；第二隱層 6個；輸出層 1個。 綜合以上研究內(nèi)容，建立光催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型如圖 63所示。 輸入層 輸出層 隱層 圖 63 BP網(wǎng)絡(luò)模型 臭氧濃度 入口 UV254 UV254去除率 1．學(xué)習(xí)率 η和動量因子 α BP算法本質(zhì)上是優(yōu)化計算中的梯度下降法，利用誤差對于權(quán)、閥值的一階導(dǎo)數(shù)信息來指導(dǎo)下一步的權(quán)值調(diào)整方向，以求最終得到誤差最小。為了保證算法的收斂性，學(xué)習(xí)率 η必須小于某一上限，一般取 0η1而且越接近極小值，由于梯度變化值逐漸趨于零，算法的收斂就越來越慢。在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率 η和動量因子 α是很重要的，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。為提高學(xué)習(xí)速度，應(yīng)采用大的 η。但 η太大卻可能導(dǎo)致在穩(wěn)定點附近振蕩，乃至不收斂。針對具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，都存在一個最佳的學(xué)習(xí)率門和動量因子 α，它們的取值范圍一般 0～ 1之間，視實際情況而定。在上述范圍內(nèi)通過對不同的 η和 α的取值進(jìn)行了考察，確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為： η＝ ， α＝ 。 2．初始權(quán)值的選擇 在前饋多層神經(jīng)網(wǎng)絡(luò)的 BP算法中，初始權(quán)、閾值一般是在一個固定范圍內(nèi)按均勻分布隨機(jī)產(chǎn)生的。一般文獻(xiàn)認(rèn)為初始權(quán)值范圍為 1～＋ 1之間，初始權(quán)值的選擇對于局部極小點的防止和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，如果初始權(quán)值范圍選擇不當(dāng)，學(xué)習(xí)過程一開始就可能進(jìn)入“假飽和”現(xiàn)象，甚至進(jìn)入局部極小點，網(wǎng)絡(luò)根本不收斂。初始權(quán)、閾值的選擇因具體的網(wǎng)絡(luò)結(jié)構(gòu)模式和訓(xùn)練樣本不同而有所差別，一般應(yīng)視實際情況而定。本文考察了不同初始權(quán)、閾值的賦值范圍對網(wǎng)絡(luò)收斂速度的影響，確定本文神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)和閾值的隨機(jī)賦值范圍為－ ～ +。 3．收斂誤差界值 Emin 在網(wǎng)絡(luò)訓(xùn)練過程中應(yīng)根據(jù)實際情況預(yù)先確定誤差界值。誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來確定。當(dāng) Emin 值選擇較小時，學(xué)習(xí)效果好，但收斂速度慢，訓(xùn)練次數(shù)增加。如果 Emin值取得較大時則相反。本文神經(jīng)網(wǎng)絡(luò)的誤差界值 Emin為 ，即在迭代計算時誤差值 E Emin＝ ，則認(rèn)為學(xué)習(xí)完成，停止計算，輸出結(jié)果。 輸入數(shù)據(jù)的預(yù)處理 在 BP算法中，神經(jīng)元具有飽和非線性特征（如果神經(jīng)元的總輸入與閾值相距甚遠(yuǎn)，神經(jīng)元的實際輸出要么為最大值、要么為最小值）。前饋型靜態(tài)網(wǎng)絡(luò)的神經(jīng)元作用函數(shù)的總輸入是與其相連的其它神經(jīng)元輸出的加權(quán)，在使用 BP算法時，要防止神經(jīng)元進(jìn)入飽和狀態(tài)，必須限制與其相連的其它神經(jīng)元的輸出幅值。由于輸入層只起數(shù)據(jù)傳送作用，層中的神經(jīng)元是扇區(qū)單元，通常使用線性作用函數(shù) (輸出等于輸入 )，不存在飽和狀態(tài)。第一隱層中的神經(jīng)元通常采用飽和非線性作用函數(shù)，學(xué)習(xí)過程中會出現(xiàn)飽和現(xiàn)象，因此要防止此層神經(jīng)元進(jìn)入飽和，必須限制網(wǎng)絡(luò)輸入的幅值。所以，為減少平臺現(xiàn)象出現(xiàn)的可能，加快學(xué)習(xí)，應(yīng)對網(wǎng)絡(luò)的輸入樣本進(jìn)行歸一化（或稱正則化）處理，這也是 BP算法必須對輸入數(shù)據(jù)進(jìn)行預(yù)處理的真正原因。本文使用的標(biāo)準(zhǔn)化方法如下： 式中， P為輸入量， T為輸出量， P/和 T/為經(jīng)過歸一化處理后的實驗數(shù)據(jù)。 ? ?? ?m ax/m ax/m axm ax//m a xm a xTTTPPPTTPP???? 進(jìn)水 UV254值 臭 氧 濃 度 ， mg/L UV254去除率，％ BP網(wǎng)絡(luò)訓(xùn)練誤差曲線和網(wǎng)絡(luò)模型 實驗號 臭氧 (mg/L) UV254去除率 (%) 相對誤差 （ %） 實測值 網(wǎng)絡(luò)預(yù)測值 1 2 3 4 5 模型預(yù)測結(jié)果與實測值比較 O3 濃度 ， mg/L UV254= UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ 利用 BP網(wǎng)絡(luò)對 O3濃度的優(yōu)化 量變引起質(zhì)變 神經(jīng)網(wǎng)絡(luò)的作用 （ 1）螞蟻群 一個螞蟻有 50個神經(jīng)元 ， 單獨的一個螞蟻不能做太多的事；甚至于不能很好活下去 ． 但是一窩螞蟻；設(shè)有 10萬個體 ， 那么這個群體相當(dāng)于 500萬個神經(jīng)元 （ 當(dāng)然不是簡單相加 ， 這里只為說明方便而言 ） ；那么它們可以覓食 、 搬家 、 圍攻敵人等等 ． （ 2）網(wǎng)絡(luò)說話 人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光電，電聲的信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過 B－ P算法長時間的訓(xùn)練竟能正確讀出英語課本中 90％的詞匯． 從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個新的熱潮． 人工神經(jīng)網(wǎng)絡(luò)的基本特點 （ 1）可處理非線性 （ 2）并行結(jié)構(gòu)．對神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元來說；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計算機(jī)并行處理． （ 3） 具有學(xué)習(xí)和記憶能力 ． 一個神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則 ． 神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶 ． （ 4） 對數(shù)據(jù)的可容性大 ． 在神經(jīng)網(wǎng)絡(luò)中可以同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù) （ 如好 、 中 、 差 、 及格 、 不及格等 ） ． （ 5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實現(xiàn)．如美國用 256個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼． ANN特點 局部優(yōu)化 黑箱 層次增加會得到任意的精度 分類與回歸