【正文】 1,1(1111111 W? ?)3,1()2,1()1,1( 2222 W ?)()3,( jjw ii ?? 為閾值 其中 分析如下： 為第一層的輸出 ， 同時(shí)作為第二層的輸入 。)1()( xxeexf????))1(())1()1(()1( 239。 ?并行分布處理方式 ：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。 ?多變量系統(tǒng) ：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問(wèn)題。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過(guò)程使之不發(fā)生“過(guò)擬合”和評(píng)價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（ 10%以上）和測(cè)試樣本（ 10%以上） 3部分。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個(gè)，也可以是多個(gè)。一般要求對(duì)不同變量分別進(jìn)行預(yù)處理，也可以對(duì)類似性質(zhì)的變量進(jìn)行統(tǒng)一的預(yù)處理。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在 ~。在設(shè)計(jì) BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)， 應(yīng)優(yōu)先考慮 3層 BP網(wǎng)絡(luò)（即有 1個(gè)隱層）。 隱層節(jié)點(diǎn)數(shù) 在 BP 網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對(duì)建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的直接原因， 但是目前理論上還沒(méi)有一種科學(xué)的和普遍的確定方法。 研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入 /輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問(wèn)題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。 總之，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長(zhǎng)，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的內(nèi)在原因。但遺憾的是，迄今為止還沒(méi)有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的 BP網(wǎng)絡(luò)模型并通過(guò)向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來(lái)滿意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很?。┑膯?wèn)題， 目前在很大程度上還需要依靠經(jīng)驗(yàn)知識(shí)和設(shè)計(jì)者的經(jīng)驗(yàn)。這些方法中應(yīng)用最廣的是增加了沖量（動(dòng)量）項(xiàng)的改進(jìn) BP算法。 增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點(diǎn)。因此，要求計(jì)算程序（建議采用標(biāo)準(zhǔn)通用軟件，如 Statsoft公司出品的 Statistica Neural Networks軟件和 Matlab 軟件 ）必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。因此，僅給出訓(xùn)練樣本誤差（通常是指均方根誤差 RSME或均方誤差、 AAE或 MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒(méi)有任何意義的。 因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測(cè)試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。此外，在不滿足隱層節(jié)點(diǎn)數(shù)條件時(shí)，總也可以求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，但此時(shí)檢驗(yàn)樣本和測(cè)試樣本的誤差可能要大得多；若改變網(wǎng)絡(luò)連接權(quán)初始值，檢驗(yàn)樣本和測(cè)試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會(huì)產(chǎn)生很大變化，即多模式現(xiàn)象。通常，在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大（隱層節(jié)點(diǎn)數(shù)增加）的過(guò)程中，網(wǎng)絡(luò)誤差會(huì)出現(xiàn)迅速減小然后趨于穩(wěn)定的一個(gè)階段，因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)取誤差迅速減小后基本穩(wěn)定時(shí)的隱層節(jié)點(diǎn)數(shù)。 雖然神經(jīng)網(wǎng)絡(luò)的類型很多，建立神經(jīng)網(wǎng)絡(luò)模型時(shí)，根據(jù)研究對(duì)象的特點(diǎn)，可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型。關(guān)于這類網(wǎng)絡(luò)對(duì)非線性的逼近能力， Hornikl等分別利用不同的方法證明了如下一個(gè)事實(shí)：僅含有一個(gè)隱層的前向網(wǎng)絡(luò)能以任意精度逼近定義在 Rn的一個(gè)緊集上的任意非線性函數(shù)。這些參數(shù)對(duì)訓(xùn)練速度的影響最為關(guān)鍵。因而在應(yīng)用中神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)確定常常有人為的主觀性和藝術(shù)性，缺乏一個(gè)指導(dǎo)原則。 2375 Epochs 隱層數(shù)為 1節(jié)點(diǎn)數(shù) 6 不同隱層數(shù)訓(xùn)練誤差曲線 隱層數(shù)為 2 節(jié)點(diǎn)數(shù) 12 6 例 : BP神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù)測(cè)等方面獲得了廣泛的應(yīng)用 。 當(dāng)隱層數(shù)為 20 10和 8 4時(shí)的訓(xùn)練結(jié)果 : 隱層數(shù)為 2節(jié)點(diǎn)數(shù) 8 4 隱層數(shù)為 2節(jié)點(diǎn)數(shù) 20 10 圖 62 相同隱層數(shù)不同節(jié)點(diǎn)數(shù)訓(xùn)練誤差曲線 神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層 2個(gè)；第一隱層 12個(gè)；第二隱層 6個(gè)；輸出層 1個(gè)。在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率 η和動(dòng)量因子 α是很重要的，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。在上述范圍內(nèi)通過(guò)對(duì)不同的 η和 α的取值進(jìn)行了考察，確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為： η＝ ， α＝ 。本文考察了不同初始權(quán)、閾值的賦值范圍對(duì)網(wǎng)絡(luò)收斂速度的影響，確定本文神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)和閾值的隨機(jī)賦值范圍為－ ～ +。如果 Emin值取得較大時(shí)則相反。由于輸入層只起數(shù)據(jù)傳送作用，層中的神經(jīng)元是扇區(qū)單元，通常使用線性作用函數(shù) (輸出等于輸入 )，不存在飽和狀態(tài)。 ? ?? ?m ax/m ax/m axm ax//m a xm a xTTTPPPTTPP???? 進(jìn)水 UV254值 臭 氧 濃 度 ， mg/L UV254去除率，％ BP網(wǎng)絡(luò)訓(xùn)練誤差曲線和網(wǎng)絡(luò)模型 實(shí)驗(yàn)號(hào) 臭氧 (mg/L) UV254去除率 (%) 相對(duì)誤差 （ %） 實(shí)測(cè)值 網(wǎng)絡(luò)預(yù)測(cè)值 1 2 3 4 5 模型預(yù)測(cè)結(jié)果與實(shí)測(cè)值比較 O3 濃度 ， mg/L UV254= UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254= O3 濃度 ， mg/L UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ 利用 BP網(wǎng)絡(luò)對(duì) O3濃度的優(yōu)化 量變引起質(zhì)變 神經(jīng)網(wǎng)絡(luò)的作用 （ 1）螞蟻群 一個(gè)螞蟻有 50個(gè)神經(jīng)元 ， 單獨(dú)的一個(gè)螞蟻不能做太多的事；甚至于不能很好活下去 ． 但是一窩螞蟻；設(shè)有 10萬(wàn)個(gè)體 ， 那么這個(gè)群體相當(dāng)于 500萬(wàn)個(gè)神經(jīng)元 （ 當(dāng)然不是簡(jiǎn)單相加 ， 這里只為說(shuō)明方便而言 ） ；那么它們可以覓食 、 搬家 、 圍攻敵人等等 ． （ 2）網(wǎng)絡(luò)說(shuō)話 人們把一本教科書(shū)用網(wǎng)絡(luò)把它讀出來(lái)（當(dāng)然需要通過(guò)光電，電聲的信號(hào)轉(zhuǎn)換）；開(kāi)始網(wǎng)絡(luò)說(shuō)的話像嬰兒學(xué)語(yǔ)那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過(guò) B－ P算法長(zhǎng)時(shí)間的訓(xùn)練竟能正確讀出英語(yǔ)課本中 90％的詞匯． 從此用神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別語(yǔ)言和圖象形成一個(gè)新的熱潮． 人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn) （ 1）可處理非線性 （ 2）并行結(jié)構(gòu)．對(duì)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元來(lái)說(shuō)；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計(jì)算機(jī)并行處理． （ 3） 具有學(xué)習(xí)和記憶能力 ． 一個(gè)神經(jīng)網(wǎng)絡(luò)可以通過(guò)訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則 ． 神經(jīng)網(wǎng)絡(luò)可以用于聯(lián)想記憶 ． （ 4） 對(duì)數(shù)據(jù)的可容性大 ． 在神經(jīng)網(wǎng)絡(luò)中可以同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù) （ 如好 、 中 、 差 、 及格 、 不及格等 ） ． （ 5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來(lái)實(shí)現(xiàn)．如美國(guó)用 256個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識(shí)別手寫(xiě)體的郵政編碼． ANN特點(diǎn) 局部?jī)?yōu)化 黑箱 層次增加會(huì)得到任意的精度 分類與回歸