【文章內(nèi)容簡介】 以描述 GDP 預(yù)測中的非線性現(xiàn)象，預(yù)測誤差，那就是：操作性差，計(jì)算復(fù)雜；需要分析人員的經(jīng)驗(yàn)知識(shí)，因?yàn)檫@些理論和方法都需要具有顯式函數(shù)，而它們往往難以找到，或只能憑經(jīng)驗(yàn)近似表達(dá)描述，一般都有比較大的誤差；再就是傳統(tǒng)的時(shí)間序列預(yù)測模型、線性回歸、季節(jié)性預(yù)報(bào)模型似乎都很難解決多因子時(shí)間序，神經(jīng)網(wǎng)絡(luò)理論證明了在選擇適當(dāng)?shù)碾[層數(shù)及相應(yīng)的神經(jīng)元數(shù)目下，前饋神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任意非線性函數(shù).本文根據(jù)歷年四川省 GDP 數(shù)據(jù)，建立了神經(jīng)網(wǎng)絡(luò)預(yù)測模型，采用 BP 神經(jīng)網(wǎng)絡(luò)來訓(xùn)練建立的模型，利用 Matlab 數(shù)學(xué)軟件對(duì)模型求解，并將預(yù)測結(jié)果與傳統(tǒng)模型，我們建立的人工神經(jīng)網(wǎng)絡(luò)預(yù)測模型在 GDP 預(yù)測方面具有一定的理論與應(yīng)用價(jià)值.第 2 章 人工神經(jīng)網(wǎng)絡(luò)基本模型及其功能 人工神經(jīng)元的模型 [14][15]人工神經(jīng)元的研究源于腦神經(jīng)元學(xué)說，19 世紀(jì)末，在生物、生理學(xué)領(lǐng)域，Waldeger 等人創(chuàng)建了神經(jīng)元學(xué)說。人們開始認(rèn)識(shí)到，復(fù)雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。神經(jīng)元由細(xì)胞及其發(fā)出的許多突起構(gòu)成。細(xì)胞體內(nèi)有細(xì)胞核，突起的作用是傳遞信息，作為引入輸入信號(hào)的若干個(gè)突起稱為“樹突”或者“晶枝” ，而作為輸出端的突起只有一個(gè)，稱為“軸突” 。人工神經(jīng)元是生物神經(jīng)元的模擬與抽象，是構(gòu)成人工神經(jīng)網(wǎng)絡(luò)的基本單元，因此構(gòu)造一個(gè)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)， n 個(gè)輸入分量的單個(gè)神經(jīng)元模型如圖 21 所示：圖 21 單個(gè)人工神經(jīng)元模型圖(1)人工神經(jīng)元的三個(gè)基本要素：1)一組連接（對(duì)應(yīng)于神經(jīng)元的突觸） ，連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示激活，為負(fù)表示抑制.2)一個(gè)求和單元，用于求取各輸入信號(hào)的加權(quán)和.3)一個(gè)非線性激活函數(shù)，起非線性映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi)（一般限制在[0,1]或[1,+1]之間）.此外還有一個(gè)偏差，即閾值 θ. 以上作用可分別以數(shù)學(xué)式表達(dá)出來： 。)(。1?????fowpii?)(xfP1P2P3wpi?w132 ?)(???f其中： 為神經(jīng)元的的輸入總和，相當(dāng)于生物神經(jīng)元的膜電位；o 為神經(jīng)元的輸出； 表示第 i 個(gè)輸入神經(jīng)元到該神經(jīng)元的連接權(quán)值； 表示第 i 個(gè)wi pi輸入神經(jīng)元的輸入分量；θ 為神經(jīng)元的偏差，即閾值；f (x)為激活函數(shù)，表示神經(jīng)元輸入輸出關(guān)系. 人工神經(jīng)網(wǎng)絡(luò)的特性人工神經(jīng)網(wǎng)絡(luò)由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理?！　∪斯ど窠?jīng)網(wǎng)絡(luò)具有四個(gè)基本特征：　　1）非線性 非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯(cuò)性和存儲(chǔ)容量。　　2）非局限性 一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子?！　?）非常定性 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動(dòng)力系統(tǒng)的演化過程?！　?）非凸性 一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性?！　∪斯ど窠?jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理，其本質(zhì)是通過網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學(xué)、思維科學(xué)、人工智能、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域的交叉學(xué)科。人工神經(jīng)網(wǎng)絡(luò)是并行分布式系統(tǒng)，采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機(jī)理，克服了傳統(tǒng)的基于邏輯符號(hào)的人工智能在處理直覺、非結(jié)構(gòu)化信息方面的缺陷，具有自適應(yīng)、自組織和實(shí)時(shí)學(xué)習(xí)的特點(diǎn)。 人工神經(jīng)網(wǎng)絡(luò)的基本功能 聯(lián)想記憶功能 由于神經(jīng)網(wǎng)絡(luò)具有分布存儲(chǔ)信息和并行計(jì)算的性能，因此它具有對(duì)外界刺激和輸入信息進(jìn)行聯(lián)想記憶的能力。這種能力是通過神經(jīng)元之間的協(xié)同結(jié)構(gòu)及信息處理的集體行為而實(shí)現(xiàn)的。神經(jīng)網(wǎng)絡(luò)通過預(yù)先存儲(chǔ)信息和學(xué)習(xí)機(jī)制進(jìn)行自適應(yīng)訓(xùn)練，可以聰不完整的信息和噪音干擾中恢復(fù)完整的信息。這一功能是神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原、語音處理、模式識(shí)別和分類方面具有重要的應(yīng)用前景。聯(lián)想記憶又分為自聯(lián)想記憶和異聯(lián)想記憶兩種：1）自聯(lián)想記憶：假定有 m個(gè)樣本矢量 ，其中 i=0,1,2,….m1，若網(wǎng)絡(luò)輸入 ， 表示Xi)( ???Xkj k第 k 個(gè)樣本，△是由于噪音、干擾或圖形缺損等因素引起的誤差。要求輸出，即去掉偏差使信號(hào)按樣本復(fù)原。2）異聯(lián)想記憶：與自聯(lián)想記憶不同，Y?它涉及兩組樣本，若樣本 與樣本 一一對(duì)應(yīng)，當(dāng)具有偏差的輸入信號(hào)為kZk時(shí)，輸出為 ，此聯(lián)想為一聯(lián)想功能。??kj Y? 分類識(shí)別功能 神經(jīng)網(wǎng)絡(luò)對(duì)外界輸入樣本有很強(qiáng)的識(shí)別與分類能力。對(duì)輸入樣本的分類實(shí)際上是在樣本空間找出符合分類要求的分割區(qū)域，每個(gè)區(qū)域內(nèi)的樣本屬于一類。假定神經(jīng)網(wǎng)絡(luò)輸入 X 有 m 類樣本，樣本元素為 n，輸入 相應(yīng)與 m 類樣本之一，ykk=0,1,2,….m1，輸入 X 與輸出 Y 之間的關(guān)系如圖 22 所示：圖 22 神 經(jīng) 網(wǎng) 絡(luò) 分 類 器 圖對(duì)于 ，則： 。 此關(guān)系表明，當(dāng)輸入樣本與標(biāo)準(zhǔn)樣本RjX??????jky,01匹配時(shí)即可歸類，神經(jīng)網(wǎng)絡(luò)完成分類功能。 優(yōu)化計(jì)算功能優(yōu)化計(jì)算是指在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標(biāo)函數(shù)達(dá)到最小。將優(yōu)化約束信息存儲(chǔ)于神經(jīng)網(wǎng)絡(luò)的連接權(quán)矩陣之中，神經(jīng)網(wǎng)絡(luò)的工作狀態(tài)以動(dòng)態(tài)系統(tǒng)方程式描述。設(shè)置一組隨機(jī)數(shù)據(jù)作為起始條件，當(dāng)系統(tǒng)的狀態(tài)趨于穩(wěn)定時(shí)，神經(jīng)網(wǎng)絡(luò)方程的解作為輸出優(yōu)化結(jié)果。 非線性映射功能在許多實(shí)際問題中，如過程控制、系統(tǒng)辨識(shí)、故障診斷、機(jī)器人控制等諸多領(lǐng)域，系統(tǒng)的輸入與輸出之間存在復(fù)雜的非線性關(guān)系，對(duì)于這類系統(tǒng)難以用傳統(tǒng)的數(shù)理方程建立數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)在這方面有獨(dú)到的優(yōu)勢，設(shè)計(jì)合理的神經(jīng)網(wǎng)絡(luò)通過對(duì)系統(tǒng)輸入輸出樣本進(jìn)行訓(xùn)練學(xué)習(xí)，從理論上講，能夠以任意精度逼近任意復(fù)雜的非線性函數(shù)。神經(jīng)網(wǎng)絡(luò)的這一優(yōu)良性能使其可以作為多維非線性函數(shù)的通用數(shù)學(xué)模型。 人工神經(jīng)網(wǎng)絡(luò)的基本要素在人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)及應(yīng)用研究中，通常需要考慮 3 個(gè)方面的內(nèi)容，即神經(jīng)元功能函數(shù)、神經(jīng)元之間的連接形式和網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練） 。y2.....m1?...... 神經(jīng)網(wǎng)絡(luò)0],.[10xnX? 神經(jīng)元功能函數(shù)神經(jīng)元在輸入信號(hào)作用下產(chǎn)生輸出信號(hào)的規(guī)律由神經(jīng)元功能函數(shù)f(Activation Function)給出，也稱激活函數(shù)，或稱轉(zhuǎn)移函數(shù)。它包含了從輸入信號(hào)到凈輸入、再到激活函數(shù)、最終產(chǎn)生輸出信號(hào)的過程。綜合了凈輸入、f 函數(shù)的作用。激活函數(shù)是一個(gè)神經(jīng)元及網(wǎng)絡(luò)的核心，本作用是：控制輸入對(duì)輸出的激活作用；對(duì)輸入輸出進(jìn)行函數(shù)轉(zhuǎn)換；將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。不同的人工神經(jīng)網(wǎng)絡(luò)模型，神經(jīng)元的激活函數(shù)也不相同。常用的激活函數(shù)如下：1)閾值型（硬限制型）閾值型激活函數(shù)將任意輸入轉(zhuǎn)化為 0 或 1 的輸出，函數(shù) f (x)為單位階躍函數(shù)，如圖 23 所示：圖 23 閾 值 型 激 活 函 數(shù)具有此函數(shù)的神經(jīng)元的輸入輸出關(guān)系為： ?????????0*,01)*(bPWbfA2)線性型線性激活函數(shù)使網(wǎng)絡(luò)的輸出等于加權(quán)輸入加上偏差，如圖 24 所示：10f11f01圖 24 線 性 激 活 函 數(shù)此函數(shù)的輸入輸出關(guān)系為： bPWfA???*)(3)S 型(Sigmoid)S 型激活函數(shù)將任意輸入壓縮到(0,1)的范圍，如圖 25 所示：圖 25 Ｓ型激活函數(shù)此種激活函數(shù)常用對(duì)數(shù)或雙曲正切等一類 S 形狀的曲線來表示，如對(duì)數(shù) S型激活函數(shù)關(guān)系為： ；而雙曲正切 S 型曲線的輸入－輸出函數(shù))exp(1nf???關(guān)系為： ；S 型函數(shù)是連續(xù)可導(dǎo)的，反映了神經(jīng)元的飽和特征，)2e(f?即函數(shù)的值域可以由研究者根據(jù)實(shí)際需要給定，當(dāng)輸入的值較小時(shí)，函數(shù)有一個(gè)比較大的增益，當(dāng)輸入的值較大時(shí)，函數(shù)有一個(gè)比較小的增益，這樣可以很好地防止網(wǎng)絡(luò)進(jìn)入飽和狀態(tài)，因此 S 型函數(shù)被廣泛采用. 神經(jīng)元之間的連接形式人工神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元按照一定的模式（層內(nèi)連接、循環(huán)連接和110n1f ??b0nff0 n層間連接）相互連接而成的。按一定的規(guī)則將神經(jīng)元連接而成神經(jīng)網(wǎng)絡(luò)，才能實(shí)現(xiàn)對(duì)復(fù)雜信息的處理與存儲(chǔ)。經(jīng)過幾十年的興衰，人們已經(jīng)發(fā)展了上百種人。一般地說，人工神經(jīng)網(wǎng)絡(luò)的連接形式和拓?fù)浣Y(jié)構(gòu)可以分為兩大類：即分層型和互聯(lián)型神經(jīng)網(wǎng)絡(luò)。分層型神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖 所示，它又分為簡單的前饋網(wǎng)絡(luò)、反饋型前饋網(wǎng)絡(luò)和內(nèi)層互聯(lián)前饋網(wǎng)絡(luò)。1)前饋網(wǎng)絡(luò)：各種神經(jīng)元接受前一層的輸入，并輸出給下一層，沒有反饋。節(jié)點(diǎn)分為兩類，即輸入單元和計(jì)算單元。每一計(jì)算單元可以有任意輸入，但只有一個(gè)輸出（它可以耦合到任意多個(gè)其他節(jié)點(diǎn)為其輸入） 。通常前饋網(wǎng)絡(luò)可以分為不同的層，第 i 層輸入值與第 i1 層輸出相連，輸入和輸出層節(jié)點(diǎn)與外界相連，而其他中間層則稱為隱含層。如圖 26 所示。圖 26 分 層 型 神 經(jīng) 網(wǎng) 絡(luò) 的 拓 撲 結(jié) 構(gòu)分層型神經(jīng)網(wǎng)絡(luò)按照將所有神經(jīng)元按功能分為若干層，一般有輸入層、中間層、輸出層，所以又稱為隱層，根據(jù)處理功能的不同，隱層可以有多層，也可以沒有。(a)一般前饋網(wǎng)絡(luò) （b）反饋型前饋網(wǎng)絡(luò)（c）內(nèi)層互聯(lián)前饋網(wǎng)絡(luò)2)互聯(lián)型神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖 27 所示，其網(wǎng)絡(luò)的任意兩個(gè)神經(jīng)元都相互連接，構(gòu)成互聯(lián)神經(jīng)網(wǎng)絡(luò)；如果不是全部的神經(jīng)元彼此相互連接，則構(gòu)成局部互聯(lián)神經(jīng)網(wǎng)絡(luò)。圖 27 互聯(lián)型神經(jīng)網(wǎng)絡(luò)在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展過程中，對(duì)生物神經(jīng)系統(tǒng)已從不同的角度進(jìn)行了不同層次的描述和模擬，提出了各種各樣的神經(jīng)網(wǎng)絡(luò)模型，其中具有代表性的網(wǎng)絡(luò)模型有感知器神經(jīng)網(wǎng)絡(luò)、線性神經(jīng)網(wǎng)絡(luò)、BP 神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)等。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練）神經(jīng)網(wǎng)絡(luò)模型能夠通過學(xué)習(xí)來動(dòng)態(tài)修改各處理單元之間的連接權(quán)值。某一特定的模式可以根據(jù)某一學(xué)習(xí)規(guī)則，提交修改處理單元之間的連接權(quán)值，存儲(chǔ)到神經(jīng)網(wǎng)絡(luò)模型中，并且通過學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)模型識(shí)別新的模式或回憶過去的記憶。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則也就是連接權(quán)值的修正規(guī)則，兩個(gè)比較經(jīng)典的學(xué)習(xí)規(guī)則是 Hebb 學(xué)習(xí)規(guī)則和 Delta 學(xué)習(xí)規(guī)則。幾乎所有的學(xué)習(xí)規(guī)則都可以看作是Hebb 學(xué)習(xí)規(guī)則的變形。在 Hebb 學(xué)習(xí)規(guī)則中，學(xué)習(xí)信號(hào)簡單地等于神經(jīng)元的輸出： )(1xwyinijjf??權(quán)向量的調(diào)正公式為： （）wijijiijij tftt ????)()(1(式子表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比。顯然，經(jīng)常出現(xiàn)的輸入模式將對(duì)權(quán)向量有較大的影響。在這種情況下，Hebb 學(xué)習(xí)規(guī)則需預(yù)先設(shè)置權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致時(shí)出現(xiàn)權(quán)值無約束增長。Hebb 學(xué)習(xí)規(guī)則代表一種純前饋、無導(dǎo)師學(xué)習(xí)。該學(xué)習(xí)規(guī)則至今在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用。典型的應(yīng)用如利用 Hebb 規(guī)則訓(xùn)練線性聯(lián)想器的權(quán)矩陣。如果假定網(wǎng)絡(luò)的權(quán)矩陣初始化為 0，然后將 m 個(gè)輸入輸出對(duì)依此應(yīng)用式()，取學(xué)習(xí)率 ，得權(quán)矩陣 W： 1?? XYTkk???1假設(shè)輸入向量 為標(biāo)準(zhǔn)正交向量。如果將 輸入到網(wǎng)絡(luò)，則網(wǎng)絡(luò)產(chǎn)生的輸Xk j出為: () )(][11ojTkmkjmkTkjkW????? 由于 為標(biāo)準(zhǔn)正交向量， ，則 。k k )(,0。, kjXYojTkk ???此時(shí)，網(wǎng)絡(luò)的輸出等于其相應(yīng)的目標(biāo)輸出。也就是說，如果輸入原型向量是標(biāo)準(zhǔn)正交向量，Hebb 學(xué)習(xí)規(guī)則就能為每個(gè)輸入生成正確的輸出結(jié)果。假設(shè)輸入向量 為單位向量但不是正交向量，則()式變?yōu)椋篨k )()(][11 YXYo jTkkjjTkmkjmkTkjkW???????? ???由于這些向量不是正交的，所以網(wǎng)絡(luò)的輸出有誤差。誤差的大小取決于原型輸入模式之間的相關(guān)總和。第 3 章 BP 神經(jīng)網(wǎng)絡(luò)概述 BP 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) [16]BP（Back Propagation）網(wǎng)絡(luò)是 1986 年由 Rumelhart 和 McCelland 為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP 網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP 神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input） 、隱層(hide laye