【正文】 網(wǎng)絡(luò)是一種利用誤差反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)，具有很強(qiáng)的自學(xué)習(xí)自適應(yīng)抗干擾能力。 BP 算法學(xué)習(xí)過程 BP 算法學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳 播兩個(gè)過程組成。 （一）正向傳播：輸入樣本→輸入層→各隱層（處理）→輸出層 隱含層中第 i個(gè)神經(jīng)元的輸出為： 1,... ,2,1),11(11 1 sibpwfa ijrj iji ??? ?? 輸出層第 k個(gè)神經(jīng)元的輸出為： 2,...,2,1),212(22 11 skbawfa kisi kik ??? ?? 定義誤差函數(shù)為： 221 )2(21),( ?? ??sk kk atBWE 注 1：若輸出層實(shí)際輸出與期望輸出（教師信號）不符，則轉(zhuǎn)入 2）（誤差反 向傳播過程） （二）誤差反向傳播 [2]：輸出誤差（某種形式）→隱層（逐層）→輸入層 輸出層的權(quán)值變化 對從第 i個(gè)輸入到第 k個(gè)輸出的權(quán)值，有： ikiikkkikkkikiaafatwaaEwEw112)2(22222????????????????????????? 其中：kkkkkkki ate fefat 2 22)2( ?? ???????? 同理可得：kikkkikkkikifatbaaEbEb???????????????????????2)2(22222 隱含層權(quán)值變化 對從第 j個(gè)輸入到第 i個(gè)輸出的權(quán)值，有： jijjkiskkkijiikkijijppfwfatwaaaaEwEw?????????????????????????????????122)2(111221121 其中： 1,2,2,2 21 ????????? ?? fewefeate iijsk kikiikkikkk ??? 同理可得： ijib ???? 1 在 MATLAB 工具箱中，上述公式的計(jì)算均已編成函數(shù)的形式，通過簡單的書寫調(diào)用即可方便地獲得結(jié)果。由于隱含層中沒有直接給出目標(biāo)矢量，所以利用輸出層的 ki?進(jìn)行誤差反向傳遞來求出隱含層權(quán)值的變化量 kiw2? 。如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差 ke 一層一層的反推算到第一層為止。 BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練流程圖，如圖 2 圖 2 BP 神經(jīng)網(wǎng)絡(luò)算法流程圖 2 空氣質(zhì)量檢測模型的建立 樣本數(shù)據(jù) [7] 收集和整理分組 采用 BP 神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。此外，數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮 樣本模式間的平衡。若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè)具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會更好，開始 初始化，給出一組訓(xùn)練樣本，并對閾值和各連接權(quán)值 分別賦初值 輸入訓(xùn)練樣本 前向傳播：分別計(jì)算隱層和輸出層各神經(jīng)元的輸出 計(jì)算輸出層上各神經(jīng)元的 ? 值，并調(diào)整該層上神經(jīng)元的輸出 反向傳播：逐層計(jì)算各神經(jīng)元的 ?值，調(diào)整各連接權(quán)值和閾值 結(jié)束 E 滿足要求？ 訓(xùn)練也更方便。因此，要對輸入數(shù)據(jù)進(jìn)行預(yù)處理。如果輸出層節(jié)點(diǎn)也采用 Sigmoid 轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不做預(yù)處理。但必須注意的是，預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。 隱層數(shù) 一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬合”的傾向。顯然，這是一個(gè)存在性結(jié)論。 實(shí)際上誤差精度的提高可以通 過增加隱含層中神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果要比增加隱層數(shù)更容易觀察和實(shí)現(xiàn)。另外一個(gè)問題 :能不能僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題呢？結(jié)論是：沒有必要或效果不好。而對于只能用非線性函數(shù)解決的問題，單層精度又不夠高，也只有增加層數(shù)才能達(dá)到期望的結(jié)果。 隱層節(jié)點(diǎn)數(shù) 在 BP 網(wǎng)絡(luò)中，隱層 節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。事實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入 /輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的形式以及樣本數(shù)據(jù)的特性等因素有關(guān)。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于 N1。 總之，若 隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過擬合”的內(nèi)在原因。 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 （一）訓(xùn)練 BP網(wǎng)絡(luò)的訓(xùn)練就是通過應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。但遺憾的是，迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的 BP網(wǎng)絡(luò)模型并通過向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很小）的問題，目前在很大程度上還需要依靠經(jīng)驗(yàn)知識和設(shè)計(jì)者的經(jīng)驗(yàn)。 由于 BP 網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一 個(gè)無約束的非線性最優(yōu)化計(jì)算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。這些方法中應(yīng)用最廣的是增加了沖量（動量）項(xiàng)和自適應(yīng)調(diào)整的改進(jìn) BP算法。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超 出某個(gè)誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過長，不過能保證收斂于某個(gè)極小值。 增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點(diǎn)。通常在 0～ 1之間，而且一般比學(xué)習(xí)率要大。因此，要求計(jì)算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。 （四）網(wǎng)絡(luò)模型的性能和泛化能力 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓(xùn)練樣本的擬合能力。因此，僅給出訓(xùn)練樣本誤差（通常是指均方根誤差 RSME 或均 方誤差、 AAE 或 MAPE 等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒有任何意義的。判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律 ,最直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗(yàn)樣本和測試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。 （五）合理網(wǎng)絡(luò)模型的確定 對同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于 BP 算法存在（很）多個(gè)局部極小點(diǎn)，因此，必須通過多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。此外，在不滿足隱層節(jié)點(diǎn)數(shù)條件時(shí)，總也可以求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，但此時(shí)檢驗(yàn)樣本和測試樣本的誤差可能要大得多；若改變網(wǎng)絡(luò)連接權(quán)初始值，檢驗(yàn)樣本和測試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會產(chǎn)生很大變化，即多模式現(xiàn)象。因此，還必須比較不同網(wǎng)絡(luò)結(jié)構(gòu)的模型的優(yōu)劣。通常，在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大（隱層節(jié)點(diǎn)數(shù)增加）的過程中，網(wǎng)絡(luò)誤差會出現(xiàn)迅速減小然后趨于穩(wěn)定的一個(gè)階段，因此，合理隱層節(jié) 點(diǎn)數(shù)應(yīng)取誤差迅速減小后基本穩(wěn)定時(shí)的隱層節(jié)點(diǎn)數(shù)。設(shè)計(jì)合理 BP網(wǎng)絡(luò)模型的過程是一個(gè)不斷調(diào)整參數(shù)的過程，也是一個(gè)不斷對比結(jié)果的過程，比較復(fù)雜且有時(shí)還帶有經(jīng)驗(yàn)性。 雖然神經(jīng)網(wǎng)絡(luò)的類型很多，建立神經(jīng)網(wǎng)絡(luò)模型時(shí) ，根據(jù)研究對象的特點(diǎn)，可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型。 BP 網(wǎng)絡(luò)的輸入和輸出關(guān)系可以看成是一種映射關(guān)系，即每一組輸入對應(yīng)一組輸出。關(guān)于這類網(wǎng)絡(luò)對非線性的逼近能力， Hornikl 等分別利用不同的方法證明了如下一個(gè)事實(shí)：僅含有一個(gè)隱層的前向網(wǎng)絡(luò)能以任意精度逼近定義在 Rn的一個(gè)緊集上的任意非線性函數(shù)。 由于傳統(tǒng)的誤差反傳 BP 算法較為成熟，且應(yīng)用廣泛，因此努力提高該方法的學(xué)習(xí)速度具有較高的實(shí)用價(jià)值。這些參數(shù)對訓(xùn)練速度的影響最為關(guān)鍵。因而在應(yīng)用中神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)確定常常有人為的主觀性和藝術(shù)性，缺乏一個(gè)指導(dǎo)原則。考慮到本研究的特點(diǎn)，結(jié)合不同隱層網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練結(jié)果，本文選擇了隱層數(shù) L=1 的網(wǎng)絡(luò)結(jié)構(gòu)模型。因?yàn)闆]有很好的解析式表示，可以說隱層神經(jīng)元數(shù)與問題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。 隱層神經(jīng)元數(shù)為 4， 5的訓(xùn)練結(jié)果如下： 圖 3 隱層神經(jīng)元為 4 的訓(xùn)練結(jié)果 圖 4 隱層神經(jīng)元為 5 的訓(xùn)練結(jié)果 同理比較神經(jīng)元數(shù)為 6， 9， 10等等，可得當(dāng)隱層神經(jīng)元數(shù)為 5時(shí)最好，所以，隱層節(jié)點(diǎn)為 5個(gè)。 綜合以上所述，建立空氣質(zhì)量檢測神經(jīng)網(wǎng)絡(luò)模型如圖 3所示。為了保證算法的收斂性，學(xué)習(xí)率 ? 必須小于某一上限，一 般取 0＜ ? ＜ 1，而且越接近極小值，由于梯度變化值逐漸趨于零，算法的收斂就越來越慢。為提高學(xué)習(xí)速度，應(yīng)采用大的 ? 。針對具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，都存在一個(gè)最佳的學(xué)習(xí)率 ? 和動量因子 ? ，它們的取值范圍一般 0～ 1之間，視實(shí)際情況而定。一般文獻(xiàn)認(rèn)為初始權(quán)值范圍為 1～＋ 1 之間，初始權(quán)值的選擇對于局部極小點(diǎn)的防止和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，如果初始權(quán)值范圍選擇不當(dāng)，學(xué)習(xí)過程一開始就可能 進(jìn)入“假飽和”現(xiàn)象，甚至進(jìn)入局部極小點(diǎn)，網(wǎng)絡(luò)根本不收斂。本文采用 newff()函數(shù)自動完成權(quán)值和閾值的初始化。誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來確定。如果 Emin 值取得較大時(shí)則相反。 輸入數(shù)據(jù)的預(yù)處理 在 BP 算法中，神經(jīng)元具有飽和非線性特征（如果神經(jīng)元的總輸入與閾值相距甚遠(yuǎn)，神經(jīng)元的實(shí)際輸出要么為最大值、要么為最小值）。由于輸入層只起數(shù)據(jù)傳送作用，層中的神經(jīng)元是扇區(qū)單元，通常使用線性作用函數(shù) (輸出等于輸入 )，不存在飽和狀態(tài)。所以，為減少平臺現(xiàn)象出現(xiàn)的可能，加快學(xué)習(xí)，應(yīng)對網(wǎng)絡(luò)的輸入樣本進(jìn)行歸一化（或稱正則化）處理，這也是 BP 算法必須對輸入數(shù)據(jù)進(jìn)行預(yù)處理的真正原因。 式中， p 為輸入量， t 為輸出量， P和 T為經(jīng)過歸一化處理后的實(shí)驗(yàn)數(shù)據(jù)。美國的 Mathwork 公司推出的 MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。 基于 MATLAB 的 BP 算法的實(shí)現(xiàn)過程 (1) 原始數(shù)據(jù)的預(yù)處理。為了適應(yīng)網(wǎng)絡(luò)的訓(xùn)練，以便與網(wǎng)絡(luò)向前傳播輸出值對比計(jì)算目標(biāo)函數(shù)誤差，需要對數(shù)據(jù)進(jìn)行歸一化。 (3) BP 網(wǎng)絡(luò)模型的建立。網(wǎng)絡(luò)輸入層和隱層節(jié)點(diǎn)數(shù)對網(wǎng)絡(luò)性能有較大影響。 (4)BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。 newff 函數(shù)常用格式為： =newff(PR,[S1 S2 ? SN] ,{TF1 TF2 ? TFN} ,BTF)。應(yīng)用 minmax函數(shù)可以求出樣本的輸入范圍，使用附加動量法和自適應(yīng)學(xué)系速率相結(jié)合的技術(shù)算法函數(shù) traingdx 為訓(xùn)練函數(shù)，設(shè)定訓(xùn)練次數(shù)、要求精度、學(xué)習(xí)率等訓(xùn)練參數(shù)，進(jìn)行網(wǎng)絡(luò) 訓(xùn)練，使網(wǎng)絡(luò)的學(xué)習(xí)值和期望值達(dá)到精度要求，保存權(quán)值和閾值。訓(xùn)練結(jié)束后，利用 sim 函數(shù)對訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)仿真，調(diào)用 postreg函數(shù)對訓(xùn)練后網(wǎng)絡(luò)的仿真輸出和目標(biāo)輸出做線性回歸分析 ,以檢驗(yàn)網(wǎng)絡(luò)的訓(xùn)練效果。 訓(xùn)練樣本 [4][6]： 采用 MATLAB 的 rand()函數(shù)在各級評價(jià)標(biāo)準(zhǔn)內(nèi)按隨機(jī)均 勻分布方式內(nèi)插生成訓(xùn)練樣本 ， 小于一級標(biāo)準(zhǔn)生成 200 個(gè) ， 一、二級標(biāo)準(zhǔn)之間生成 200 個(gè) ， 二、三級標(biāo)準(zhǔn)之間生成 200個(gè) ， 共