【導讀】量指數(shù)問題具有很大的不確定性和一定的復雜性。神經(jīng)網(wǎng)絡(luò)作為一種描述和刻畫非線性。因素性、不確定性、隨機性、非線性和隨時間變化特性的對象進行研究。空氣質(zhì)量指數(shù)進行預測。計算結(jié)果表明BP和RBF模型應用于大氣污染預報具有較高。而通過BP和RBF算法的比較，更好的展現(xiàn)了神經(jīng)網(wǎng)絡(luò)在預測方面應。同時表明這兩種方法具有一定的客觀性和積極性。

　　

【正文】 ljklmjlmkljkwEn e tfw???? （ ） 因此，反向傳播算法的步驟可概括如下： （ 1）選定權(quán)系數(shù)初值； （ 2）重復下述過程，直到誤差指標滿足精度要求，即： ?? ,21 1 ?? ??Nk kENE：精度 ?對 k=1 到 N 正向過程計算：計算每層單元的 1?ljk? ， ljk 和 ky ,k=2， ...， N。 反向過程：對各層（ l=L1 到 2），對每層各單元，計算 ljk? 。 ?修正權(quán)值 沈陽理工大學學士學位論文 20 0wEww ijijij ??????? （ ） （ 3）結(jié)束。 這里，訓練樣本的順序從一個回合到另一個回合必須是隨機的。動量和學習率參數(shù)隨著訓練迭代次數(shù)的增加而調(diào)整（通常是減少的）。 以上是 BP 神經(jīng)網(wǎng)絡(luò)基本的學習算法，梯度下降法。下面將介紹本文采用的算法 —LM 算法。 LM 算法與擬牛頓法一樣，是為了在以近似二階訓練速率進行修正時避免計算Hessian 矩陣而設(shè)計的。當誤差性能函數(shù)具有平方和誤差（訓練前饋網(wǎng)絡(luò)的典型誤差函數(shù)）的形式時， Hessian 矩陣可以近似表示為： JJH T? () 其中， J 為 Jacobian 矩陣可以表示為 ? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?nN2N1Nn22212n12111wwewwewwewwewwewwewwewwewwewJ?????????????????????????? 梯度的計算表達式為 eJg T? （ ） 式中， H 是雅可比矩陣， e 是網(wǎng)絡(luò)的誤差向量。雅可比矩陣可以通過標準的前饋網(wǎng)絡(luò)技術(shù)進行計算，比 Hessian 矩陣的計算要簡單得多。類似于牛頓法， LM 算法用上述近似 Hessian 矩陣按下式進行修正。 ? ? ? ? eJ]JJJ[kx1kx T1T ?????? （ ） 當系數(shù) μ為 0 時，上式采用牛頓法；當系數(shù)很大時，上式 采用步長比較小的梯度下降法。牛頓法逼近最小誤差更快更準，所以要使算法更加接近牛頓法。若是要實現(xiàn)誤差最小，則應減小 μ的值。 LM 算法適合訓練中等規(guī)模的前饋網(wǎng)絡(luò)，它對 MATLAB 的實現(xiàn)也一樣可行，因為它的矩陣的計算在 MATLAB 中的實現(xiàn)方式是函數(shù)。 預測步驟 用 BP 神經(jīng)網(wǎng)絡(luò)對空氣質(zhì)量指數(shù)進行預測可以分為神經(jīng)網(wǎng)絡(luò)的訓練和預測兩個部分，具體步驟如下： 沈陽理工大學學士學位論文 21 （ 1）選取訓練樣本數(shù)據(jù)構(gòu)造訓練樣本。空氣質(zhì)量指數(shù)是一個很不穩(wěn)定的動態(tài)變化的非線性系統(tǒng)，尾氣、煤炭燃放等都影響著空氣質(zhì)量指數(shù)。因此，必須考 慮到影響空氣質(zhì)量指數(shù)的各項因素，否則會降低網(wǎng)絡(luò)的預測能力。另外，如果訓練樣本的個數(shù)選取太多有可能造成計算量巨大，訓練過程難以擬合，可能導致最終預測失敗；而選取樣本過少有可能造成擬合誤差過大。本次實例中，我們選取 23 組數(shù)據(jù)作為訓練樣本對空氣質(zhì)量指數(shù)進行預測。 （ 2）對空氣質(zhì)量指數(shù)樣本數(shù)據(jù)進行預處理。在進行神經(jīng)網(wǎng)絡(luò)預測之前，要對原始數(shù)據(jù)進行歸一化處理，對于預測值，由于變化幅度較大，也不宜直接作為神經(jīng)網(wǎng)絡(luò)的輸出，因此仍需進行必要的歸一化。將數(shù)據(jù)規(guī)范在 [0,1]之間，這樣可以盡可能地平滑數(shù)據(jù)，從而消除預測結(jié)果 的噪聲。 歸一化是為了加快訓練網(wǎng)絡(luò)的收斂性，具體算法是： 將輸入輸出數(shù)據(jù)變換為 [0,1]區(qū)間的值常用以下變換式： minmaxminii xx xxx ??? （ ） 式中，代表輸入或輸出數(shù)據(jù)；代表數(shù)據(jù)變化范圍的最小值；代表數(shù)據(jù)變化范圍的最大值。 將輸入數(shù)據(jù)變換為 [1,1]區(qū)間的值常用以下變換式： 2 xxx m inm axm id ?? （ ） )xx(21xxxm inm axm idii??? （ ） 其中，代表數(shù)據(jù)變化范圍的中間值，按上述方法變換后，處于中間值的原始數(shù)據(jù)轉(zhuǎn)化為零，而最大值和最小值分別轉(zhuǎn)化為 1 和 入或輸出向量中的某個分量值過于密集時，對其進行以上預處理可將數(shù)據(jù)點拉開距離。 （ 3）構(gòu)造訓練樣本。對空氣質(zhì)量指數(shù)進行預測的基礎(chǔ)是空氣質(zhì)量指數(shù)的歷史數(shù)據(jù)，這些數(shù)據(jù)主要是每日的二氧化硫、二氧化氮、一氧化碳、 、 PM10 和臭氧等。盡管從表面上看，這些數(shù)據(jù)并不能直接反映空氣質(zhì)量指數(shù)的內(nèi)在規(guī)律，但是通過對它們進行簡單的計算便可以得到相關(guān)的狀態(tài)指標。 （ 4）選用三層結(jié)構(gòu) BP 神經(jīng)網(wǎng)絡(luò)建立預測模型。第一層為輸入層，輸入訓練樣本，第二層為隱含層，第三層為輸出層，輸出最終結(jié)果，最終結(jié)果包括期望輸出，預測輸出 ，沈陽理工大學學士學位論文 22 預測誤差以及預測誤差百分比。 其中，隱層節(jié)點數(shù)對建立的神經(jīng)網(wǎng)絡(luò)模型的性能有重大影響，甚至關(guān)系到網(wǎng)絡(luò)訓練時是否出現(xiàn)“過適配”現(xiàn)象，然而，目前理論上還沒有一種通用的科學方法來確定隱層的節(jié)點數(shù)，多數(shù)文獻中提出的確定隱層節(jié)點數(shù)的計算方法為試湊法，可先設(shè)置較少的隱節(jié)點訓練網(wǎng)絡(luò)，然后逐漸增加隱節(jié)點數(shù)，用同一樣本集進行訓練，從中確定網(wǎng)絡(luò)誤差最小時對應的隱節(jié)點數(shù)。在用試湊法時，可以一些確定隱節(jié)點數(shù)的經(jīng)驗公式。這些公式計算出來的隱節(jié)點數(shù)只是一種粗略的估計值，可作為試湊法的初始值。下面介紹幾個公式： ???? lnm （ ） nlogm 2? （ ） 式中， m為隱節(jié)點數(shù)； n 為輸入層節(jié)點數(shù)； l 為輸出節(jié)點數(shù)；α為 110 之間的常數(shù)。不過，這在實踐中難以 滿足，實踐中常常出現(xiàn)各種計算公式得到的隱層節(jié)點數(shù)相差較大，甚至達百倍。為了得到性能優(yōu)異的網(wǎng)絡(luò)拓撲結(jié)構(gòu)，一般按照如下原則來確定隱層節(jié)點數(shù)：在保證精度要求的前提下使結(jié)構(gòu)盡量緊湊，即讓隱層節(jié)點數(shù)盡可能小。針對這一原則，目前有學者提出了動態(tài)的隱層節(jié)點數(shù)方案，該方案先根據(jù)性能要求逐步增加隱層節(jié)點數(shù)，然后隨著訓練進行逐步減少節(jié)點數(shù)以找到滿足性能要求的最少節(jié)點數(shù)，該方案有一定的實現(xiàn)價值，但是也增加了學習過程的復雜性。理論研究和實踐表明，隱層節(jié)點數(shù)主要與以下幾個因素有關(guān)： （ 1） 輸入層節(jié)點數(shù)； （ 2） 輸出層節(jié)點 數(shù)； （ 3） 激勵函數(shù)的形式； （ 4） 問題的復雜程度。 （ 5）訓練網(wǎng)絡(luò)。用設(shè)計好的 BP 神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進行訓練。 在訓練過程中， BP 網(wǎng)絡(luò)應用 BP 算法不斷調(diào)整網(wǎng)絡(luò)權(quán)值和閥值，使網(wǎng)絡(luò)模型輸出值與已知的訓練樣本輸出值之間的誤差平方和或者其他性能函數(shù)值不斷減小，直至達到設(shè)定的停止訓練要求，這些要求主要包括誤差值達到某一設(shè)定的較小值、訓練次數(shù)達到最大迭代次數(shù)以及誤差保持不變等。在給定有限個訓練樣本數(shù)據(jù)的情況下，設(shè)計二個合理的 BP 網(wǎng)絡(luò)模型，并通過所給的有限個樣本的訓練來滿意地逼近樣本所蘊含的規(guī)律，目前在很大程度上還需要依靠經(jīng)驗知識或者設(shè)計者個人的經(jīng)驗。在 BP 網(wǎng)絡(luò)的訓練過程中，為了達到較好亦或最優(yōu)的網(wǎng)絡(luò)性能，我們必須耐心的反復運用多種學習算法和訓練沈陽理工大學學士學位論文 23 方式，改變各個參數(shù)，對于特定問題，摸索出網(wǎng)絡(luò)性能與各個變量之間的復雜關(guān)系，才有可能最終獲得我們所期望的網(wǎng)絡(luò)模型。 （ 6）預測網(wǎng)絡(luò)。對后 7 組數(shù)據(jù)進行預測，預測結(jié)束后，利用反歸一化對數(shù)據(jù)進行處理，得到預測后的數(shù)據(jù)。 （ 7）全局誤差計算。 設(shè)共有 P 對訓練樣本，網(wǎng)絡(luò)對于不同的樣本具有不同的誤差，可將全部樣本輸出誤差的平方進行累加再開方，作為總輸出 誤差，也可用諸誤差中的最大者代表網(wǎng)絡(luò)的總誤差，實用中更多采用均方根誤差 ???P1p2pR M E )E(P1E （ ） （ 8）判斷網(wǎng)絡(luò)誤差是否滿足要求。當誤差值將到預先設(shè)定的精度或者學習次數(shù)大于設(shè)定的最大次數(shù)時，則結(jié)束訓練。否則，隨機選取下一個學習樣本，返回到第三步，轉(zhuǎn)入下一輪學習過程。注意，以上算法步驟采取的是順序訓練方式，當采取批處理訓練方式時， 每次訓練的樣本是一批而不是一個，除此以外，訓練學習步驟基本一致。因為每次初始化網(wǎng)絡(luò)時都是隨機的，而且訓練終止的誤差也不完全相同，結(jié)果訓練后的權(quán)值和閾值也不完全相同（大致是一樣的），所以每次訓練后的結(jié)果也略有不同。 找到比較好的結(jié)果后，用命令 save file name _name 保存網(wǎng)絡(luò)，可使預測的結(jié)果不會發(fā)生變化，在需要的調(diào)用時用命令 load file name 載入。 沈陽理工大學學士學位論文 24 基本流程圖如下圖 所示： No Yes No Yes 圖 程序設(shè)計步驟框圖 連接權(quán)及閾值初始化 向網(wǎng)絡(luò)提供學 習模式對 計算中間層各單元的輸入、輸出 計算輸出層各單元的輸入、輸出 計算輸出層各單元的校正誤差 計算中間層各單元的校正誤差 調(diào)整中間層至輸出層之間的連接權(quán)及輸出層各單元的輸出閾值 調(diào)整輸入層至中間層之間的連接權(quán)及中間層各單元的輸出閾值 更新學習輸入模式 更新學習次數(shù) 學習結(jié)束 開始 誤差 e? 全部模式訓練完 沈陽理工大學學士學位論文 25 基于 BP 網(wǎng)絡(luò)預測仿真實現(xiàn) 首先建立預測模型，選用 3 層結(jié)構(gòu) BP 神經(jīng)網(wǎng)絡(luò)：輸入層、一個隱含層和輸出層，輸入層的輸入個數(shù)為 5，隱含層個數(shù) 為 5，輸出層個數(shù)為 1。用 23 組數(shù)據(jù)進行訓練， 7組數(shù)據(jù)進行測試。 輸入樣本數(shù)據(jù)，并對輸入樣本數(shù)據(jù)進 行歸一化： [inputn,inputps]=mapminmax(input_train)。 [outputn,outputps]=mapminmax(output_train)。 其中， inputn為歸一化后的數(shù)據(jù)， inputps為歸一化后的結(jié)構(gòu)體，包含最大、最小、平均值等，可用于測試數(shù)據(jù)歸一化及反歸一化。 input_train為訓練的原始數(shù)據(jù)。 數(shù)據(jù)進行歸一化后的范圍會在 01之間，方便數(shù)據(jù)進行訓練和預測。數(shù)據(jù)歸一化后將對網(wǎng)絡(luò)進行初始化創(chuàng)建一個前饋 BP神經(jīng)網(wǎng)絡(luò)，調(diào)用格式為： =newff(inputn,outputn,5)。 其中， inputn為輸入數(shù)據(jù)，即影響空氣質(zhì)量指數(shù)的五個因素。 outputn為輸出數(shù)據(jù)，輸出數(shù)據(jù)為綜合五個影響空氣質(zhì)量因素而得到的空氣質(zhì)量指數(shù)。隱含層的個數(shù)最終選為5，在隱含層個數(shù)的選取過程中，首先利用隱含層個數(shù)計算公式得出隱含層個數(shù)初始值，然后利用試湊法對逐個數(shù)值進行測試，選取誤差最小的隱含層個數(shù)作為最終的結(jié)果，本次仿真中，當隱含層個數(shù)為 5時誤差最小。在初始化網(wǎng)絡(luò)中，創(chuàng)建函數(shù)為 trainlm函數(shù)。trainlm函數(shù)采 用 LevenbergMarquardt算法 ,對于中等規(guī)模的 BP神經(jīng)網(wǎng)絡(luò)有最快的收斂速度 ,是系統(tǒng)默認的算法。由于其避免了直接計算赫賽矩陣 ,從而減少了訓練中的計算量 ,但需要較大內(nèi)存量。當創(chuàng)建函數(shù)為 trainlm函數(shù)時，傳遞函數(shù)是隨機的，權(quán)值和閾值也是隨機的，沒有進行初始化。 初始化之后將對網(wǎng)絡(luò)進行訓練，建立 BP網(wǎng)絡(luò)模型。輸入預測數(shù)據(jù)，對網(wǎng)絡(luò)進行預測。預測結(jié)束后對輸出數(shù)據(jù)進行反歸一化。