【文章內(nèi)容簡介】 的非線性現(xiàn)象，預測誤差，那就是：操作性差，計算復雜；需要分析人員的經(jīng)驗知識，因為這些理論和方法都需要具有顯式函數(shù)，而它們往往難以找到，或只能憑經(jīng)驗近似表達描述，一般都有比較大的誤差；再就是傳統(tǒng)的時間序列預測模型、線性回歸、季節(jié)性預報模型似乎都很難解決多因子時間序，神經(jīng)網(wǎng)絡理論證明了在選擇適當?shù)碾[層數(shù)及相應的神經(jīng)元數(shù)目下，前饋神經(jīng)網(wǎng)絡能以任意精度逼近任意非線性函數(shù).本文根據(jù)歷年四川省 GDP 數(shù)據(jù)，建立了神經(jīng)網(wǎng)絡預測模型，采用 BP 神經(jīng)網(wǎng)絡來訓練建立的模型，利用 Matlab 數(shù)學軟件對模型求解，并將預測結果與傳統(tǒng)模型，我們建立的人工神經(jīng)網(wǎng)絡預測模型在 GDP 預測方面具有一定的理論與應用價值.第 2 章 人工神經(jīng)網(wǎng)絡基本模型及其功能 人工神經(jīng)元的模型 [14][15]人工神經(jīng)元的研究源于腦神經(jīng)元學說，19 世紀末，在生物、生理學領域，Waldeger 等人創(chuàng)建了神經(jīng)元學說。人們開始認識到，復雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。神經(jīng)元由細胞及其發(fā)出的許多突起構成。細胞體內(nèi)有細胞核，突起的作用是傳遞信息，作為引入輸入信號的若干個突起稱為“樹突”或者“晶枝” ，而作為輸出端的突起只有一個，稱為“軸突” 。人工神經(jīng)元是生物神經(jīng)元的模擬與抽象，是構成人工神經(jīng)網(wǎng)絡的基本單元，因此構造一個人工神經(jīng)網(wǎng)絡系統(tǒng)， n 個輸入分量的單個神經(jīng)元模型如圖 21 所示：圖 21 單個人工神經(jīng)元模型圖(1)人工神經(jīng)元的三個基本要素：1)一組連接（對應于神經(jīng)元的突觸） ，連接強度由各連接上的權值表示，權值為正表示激活，為負表示抑制.2)一個求和單元，用于求取各輸入信號的加權和.3)一個非線性激活函數(shù)，起非線性映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi)（一般限制在[0,1]或[1,+1]之間）.此外還有一個偏差，即閾值 θ. 以上作用可分別以數(shù)學式表達出來： 。)(。1?????fowpii?)(xfP1P2P3wpi?w132 ?)(???f其中： 為神經(jīng)元的的輸入總和，相當于生物神經(jīng)元的膜電位；o 為神經(jīng)元的輸出； 表示第 i 個輸入神經(jīng)元到該神經(jīng)元的連接權值； 表示第 i 個wi pi輸入神經(jīng)元的輸入分量；θ 為神經(jīng)元的偏差，即閾值；f (x)為激活函數(shù)，表示神經(jīng)元輸入輸出關系. 人工神經(jīng)網(wǎng)絡的特性人工神經(jīng)網(wǎng)絡由大量處理單元互聯(lián)組成的非線性、自適應信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡處理、記憶信息的方式進行信息處理。　　人工神經(jīng)網(wǎng)絡具有四個基本特征：　　1）非線性 非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學上表現(xiàn)為一種非線性關系。具有閾值的神經(jīng)元構成的網(wǎng)絡具有更好的性能，可以提高容錯性和存儲容量?！　?）非局限性 一個神經(jīng)網(wǎng)絡通常由多個神經(jīng)元廣泛連接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子?！　?）非常定性 人工神經(jīng)網(wǎng)絡具有自適應、自組織、自學習能力。神經(jīng)網(wǎng)絡不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程?！　?）非凸性 一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性?！　∪斯ど窠?jīng)網(wǎng)絡中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數(shù)據(jù)；輸出單元實現(xiàn)系統(tǒng)處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權值反映了單元間的連接強度，信息的表示和處理體現(xiàn)在網(wǎng)絡處理單元的連接關系中。人工神經(jīng)網(wǎng)絡是一種非程序化、適應性、大腦風格的信息處理，其本質(zhì)是通過網(wǎng)絡的變換和動力學行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學、思維科學、人工智能、計算機科學等多個領域的交叉學科。人工神經(jīng)網(wǎng)絡是并行分布式系統(tǒng)，采用了與傳統(tǒng)人工智能和信息處理技術完全不同的機理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結構化信息方面的缺陷，具有自適應、自組織和實時學習的特點。 人工神經(jīng)網(wǎng)絡的基本功能 聯(lián)想記憶功能 由于神經(jīng)網(wǎng)絡具有分布存儲信息和并行計算的性能，因此它具有對外界刺激和輸入信息進行聯(lián)想記憶的能力。這種能力是通過神經(jīng)元之間的協(xié)同結構及信息處理的集體行為而實現(xiàn)的。神經(jīng)網(wǎng)絡通過預先存儲信息和學習機制進行自適應訓練，可以聰不完整的信息和噪音干擾中恢復完整的信息。這一功能是神經(jīng)網(wǎng)絡的圖像復原、語音處理、模式識別和分類方面具有重要的應用前景。聯(lián)想記憶又分為自聯(lián)想記憶和異聯(lián)想記憶兩種：1）自聯(lián)想記憶：假定有 m個樣本矢量 ，其中 i=0,1,2,….m1，若網(wǎng)絡輸入 ， 表示Xi)( ???Xkj k第 k 個樣本，△是由于噪音、干擾或圖形缺損等因素引起的誤差。要求輸出，即去掉偏差使信號按樣本復原。2）異聯(lián)想記憶：與自聯(lián)想記憶不同，Y?它涉及兩組樣本，若樣本 與樣本 一一對應，當具有偏差的輸入信號為kZk時，輸出為 ，此聯(lián)想為一聯(lián)想功能。??kj Y? 分類識別功能 神經(jīng)網(wǎng)絡對外界輸入樣本有很強的識別與分類能力。對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內(nèi)的樣本屬于一類。假定神經(jīng)網(wǎng)絡輸入 X 有 m 類樣本，樣本元素為 n，輸入 相應與 m 類樣本之一，ykk=0,1,2,….m1，輸入 X 與輸出 Y 之間的關系如圖 22 所示：圖 22 神 經(jīng) 網(wǎng) 絡 分 類 器 圖對于 ，則： 。 此關系表明，當輸入樣本與標準樣本RjX??????jky,01匹配時即可歸類，神經(jīng)網(wǎng)絡完成分類功能。 優(yōu)化計算功能優(yōu)化計算是指在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標函數(shù)達到最小。將優(yōu)化約束信息存儲于神經(jīng)網(wǎng)絡的連接權矩陣之中，神經(jīng)網(wǎng)絡的工作狀態(tài)以動態(tài)系統(tǒng)方程式描述。設置一組隨機數(shù)據(jù)作為起始條件，當系統(tǒng)的狀態(tài)趨于穩(wěn)定時，神經(jīng)網(wǎng)絡方程的解作為輸出優(yōu)化結果。 非線性映射功能在許多實際問題中，如過程控制、系統(tǒng)辨識、故障診斷、機器人控制等諸多領域，系統(tǒng)的輸入與輸出之間存在復雜的非線性關系，對于這類系統(tǒng)難以用傳統(tǒng)的數(shù)理方程建立數(shù)學模型。神經(jīng)網(wǎng)絡在這方面有獨到的優(yōu)勢，設計合理的神經(jīng)網(wǎng)絡通過對系統(tǒng)輸入輸出樣本進行訓練學習，從理論上講，能夠以任意精度逼近任意復雜的非線性函數(shù)。神經(jīng)網(wǎng)絡的這一優(yōu)良性能使其可以作為多維非線性函數(shù)的通用數(shù)學模型。 人工神經(jīng)網(wǎng)絡的基本要素在人工神經(jīng)網(wǎng)絡設計及應用研究中，通常需要考慮 3 個方面的內(nèi)容，即神經(jīng)元功能函數(shù)、神經(jīng)元之間的連接形式和網(wǎng)絡的學習（訓練） 。y2.....m1?...... 神經(jīng)網(wǎng)絡0],.[10xnX? 神經(jīng)元功能函數(shù)神經(jīng)元在輸入信號作用下產(chǎn)生輸出信號的規(guī)律由神經(jīng)元功能函數(shù)f(Activation Function)給出，也稱激活函數(shù)，或稱轉(zhuǎn)移函數(shù)。它包含了從輸入信號到凈輸入、再到激活函數(shù)、最終產(chǎn)生輸出信號的過程。綜合了凈輸入、f 函數(shù)的作用。激活函數(shù)是一個神經(jīng)元及網(wǎng)絡的核心，本作用是：控制輸入對輸出的激活作用；對輸入輸出進行函數(shù)轉(zhuǎn)換；將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。不同的人工神經(jīng)網(wǎng)絡模型，神經(jīng)元的激活函數(shù)也不相同。常用的激活函數(shù)如下：1)閾值型（硬限制型）閾值型激活函數(shù)將任意輸入轉(zhuǎn)化為 0 或 1 的輸出，函數(shù) f (x)為單位階躍函數(shù)，如圖 23 所示：圖 23 閾 值 型 激 活 函 數(shù)具有此函數(shù)的神經(jīng)元的輸入輸出關系為： ?????????0*,01)*(bPWbfA2)線性型線性激活函數(shù)使網(wǎng)絡的輸出等于加權輸入加上偏差，如圖 24 所示：10f11f01圖 24 線 性 激 活 函 數(shù)此函數(shù)的輸入輸出關系為： bPWfA???*)(3)S 型(Sigmoid)S 型激活函數(shù)將任意輸入壓縮到(0,1)的范圍，如圖 25 所示：圖 25 Ｓ型激活函數(shù)此種激活函數(shù)常用對數(shù)或雙曲正切等一類 S 形狀的曲線來表示，如對數(shù) S型激活函數(shù)關系為： ；而雙曲正切 S 型曲線的輸入－輸出函數(shù))exp(1nf???關系為： ；S 型函數(shù)是連續(xù)可導的，反映了神經(jīng)元的飽和特征，)2e(f?即函數(shù)的值域可以由研究者根據(jù)實際需要給定，當輸入的值較小時，函數(shù)有一個比較大的增益，當輸入的值較大時，函數(shù)有一個比較小的增益，這樣可以很好地防止網(wǎng)絡進入飽和狀態(tài)，因此 S 型函數(shù)被廣泛采用. 神經(jīng)元之間的連接形式人工神經(jīng)網(wǎng)絡是由大量的神經(jīng)元按照一定的模式（層內(nèi)連接、循環(huán)連接和110n1f ??b0nff0 n層間連接）相互連接而成的。按一定的規(guī)則將神經(jīng)元連接而成神經(jīng)網(wǎng)絡，才能實現(xiàn)對復雜信息的處理與存儲。經(jīng)過幾十年的興衰，人們已經(jīng)發(fā)展了上百種人。一般地說，人工神經(jīng)網(wǎng)絡的連接形式和拓撲結構可以分為兩大類：即分層型和互聯(lián)型神經(jīng)網(wǎng)絡。分層型神經(jīng)網(wǎng)絡的拓撲結構如圖 所示，它又分為簡單的前饋網(wǎng)絡、反饋型前饋網(wǎng)絡和內(nèi)層互聯(lián)前饋網(wǎng)絡。1)前饋網(wǎng)絡：各種神經(jīng)元接受前一層的輸入，并輸出給下一層，沒有反饋。節(jié)點分為兩類，即輸入單元和計算單元。每一計算單元可以有任意輸入，但只有一個輸出（它可以耦合到任意多個其他節(jié)點為其輸入） 。通常前饋網(wǎng)絡可以分為不同的層，第 i 層輸入值與第 i1 層輸出相連，輸入和輸出層節(jié)點與外界相連，而其他中間層則稱為隱含層。如圖 26 所示。圖 26 分 層 型 神 經(jīng) 網(wǎng) 絡 的 拓 撲 結 構分層型神經(jīng)網(wǎng)絡按照將所有神經(jīng)元按功能分為若干層，一般有輸入層、中間層、輸出層，所以又稱為隱層，根據(jù)處理功能的不同，隱層可以有多層，也可以沒有。(a)一般前饋網(wǎng)絡 （b）反饋型前饋網(wǎng)絡（c）內(nèi)層互聯(lián)前饋網(wǎng)絡2)互聯(lián)型神經(jīng)網(wǎng)絡的拓撲結構如圖 27 所示，其網(wǎng)絡的任意兩個神經(jīng)元都相互連接，構成互聯(lián)神經(jīng)網(wǎng)絡；如果不是全部的神經(jīng)元彼此相互連接，則構成局部互聯(lián)神經(jīng)網(wǎng)絡。圖 27 互聯(lián)型神經(jīng)網(wǎng)絡在人工神經(jīng)網(wǎng)絡的發(fā)展過程中，對生物神經(jīng)系統(tǒng)已從不同的角度進行了不同層次的描述和模擬，提出了各種各樣的神經(jīng)網(wǎng)絡模型，其中具有代表性的網(wǎng)絡模型有感知器神經(jīng)網(wǎng)絡、線性神經(jīng)網(wǎng)絡、BP 神經(jīng)網(wǎng)絡、徑向基函數(shù)網(wǎng)絡、自組織網(wǎng)絡、反饋網(wǎng)絡等。 人工神經(jīng)網(wǎng)絡的學習（訓練）神經(jīng)網(wǎng)絡模型能夠通過學習來動態(tài)修改各處理單元之間的連接權值。某一特定的模式可以根據(jù)某一學習規(guī)則，提交修改處理單元之間的連接權值，存儲到神經(jīng)網(wǎng)絡模型中，并且通過學習后的神經(jīng)網(wǎng)絡模型識別新的模式或回憶過去的記憶。神經(jīng)網(wǎng)絡的學習規(guī)則也就是連接權值的修正規(guī)則，兩個比較經(jīng)典的學習規(guī)則是 Hebb 學習規(guī)則和 Delta 學習規(guī)則。幾乎所有的學習規(guī)則都可以看作是Hebb 學習規(guī)則的變形。在 Hebb 學習規(guī)則中，學習信號簡單地等于神經(jīng)元的輸出： )(1xwyinijjf??權向量的調(diào)正公式為： （）wijijiijij tftt ????)()(1(式子表明，權值調(diào)整量與輸入輸出的乘積成正比。顯然，經(jīng)常出現(xiàn)的輸入模式將對權向量有較大的影響。在這種情況下，Hebb 學習規(guī)則需預先設置權飽和值，以防止輸入和輸出正負始終一致時出現(xiàn)權值無約束增長。Hebb 學習規(guī)則代表一種純前饋、無導師學習。該學習規(guī)則至今在各種神經(jīng)網(wǎng)絡模型中起著重要作用。典型的應用如利用 Hebb 規(guī)則訓練線性聯(lián)想器的權矩陣。如果假定網(wǎng)絡的權矩陣初始化為 0，然后將 m 個輸入輸出對依此應用式()，取學習率 ，得權矩陣 W： 1?? XYTkk???1假設輸入向量 為標準正交向量。如果將 輸入到網(wǎng)絡，則網(wǎng)絡產(chǎn)生的輸Xk j出為: () )(][11ojTkmkjmkTkjkW????? 由于 為標準正交向量， ，則 。k k )(,0。, kjXYojTkk ???此時，網(wǎng)絡的輸出等于其相應的目標輸出。也就是說，如果輸入原型向量是標準正交向量，Hebb 學習規(guī)則就能為每個輸入生成正確的輸出結果。假設輸入向量 為單位向量但不是正交向量，則()式變?yōu)椋篨k )()(][11 YXYo jTkkjjTkmkjmkTkjkW???????? ???由于這些向量不是正交的，所以網(wǎng)絡的輸出有誤差。誤差的大小取決于原型輸入模式之間的相關總和。第 3 章 BP 神經(jīng)網(wǎng)絡概述 BP 神經(jīng)網(wǎng)絡的結構 [16]BP（Back Propagation）網(wǎng)絡是 1986 年由 Rumelhart 和 McCelland 為首的科學家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一。BP 網(wǎng)絡能學習和存貯大量的輸入輸出模式映射關系，而無需事前揭示描述這種映射關系的數(shù)學方程。它的學習規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡的權值和閾值，使網(wǎng)絡的誤差平方和最小。BP 神經(jīng)網(wǎng)絡模型拓撲結構包括輸入層（input） 、隱層(hide layer)和輸出層(ou