【正文】 ............................................................................. 37 參考文獻(xiàn) ................................................................................................................................. 38 附錄 A 英文原文 ................................................................................................................... 40 附錄 B 英文原文譯文 ............................................................................................................ 49 附錄 C 程序代碼 .................................................................................................................... 55 BP 網(wǎng)絡(luò) 程序代碼 ............................................................................................................ 55 RBF 網(wǎng)絡(luò)程序代碼 .......................................................................................................... 57 沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 1 1 緒論 課題的研究背景及意義 作為 一種 能夠 模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征 的 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Networks, ANN） ， 能夠按照 分布式并行 方式進(jìn)行 信息處理 ， 依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整 在 內(nèi)部 存在的 大量節(jié)點(diǎn)之間相互連接的關(guān)系，達(dá)到處理信息的目的。 人工神經(jīng)網(wǎng)絡(luò)有能力自學(xué)習(xí)和自適應(yīng)， 可以 根據(jù) 對(duì)應(yīng)的一組預(yù)先設(shè)置的輸入 輸出數(shù)據(jù)，分析掌握 其中的規(guī)律 ，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)，以計(jì)算輸出其結(jié)果， 這種 分析的過(guò)程被稱為“訓(xùn)練”。 人工神經(jīng)網(wǎng)絡(luò)就是 一種 模擬人思維的方式 ， 它 是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其信息的分布式存儲(chǔ)和并行協(xié)同處理 是它的特色 。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的 [1]。 通過(guò) 近年來(lái)對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究，可以看出神經(jīng)網(wǎng)絡(luò)的研究目的和意義有以下三點(diǎn)： （ 1）通過(guò)揭示物理 和 認(rèn)知平面間的映射 關(guān)系 ，了解它們相互 作用 和 相互 聯(lián)系 的機(jī)理，從而揭示思維的本質(zhì)，探索智能的 根本 。 （ 2）爭(zhēng)取構(gòu)造出 的計(jì)算機(jī)可以 與人腦具有相似功能，即神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)。 （ 3）人工神經(jīng)網(wǎng)絡(luò) 在 研究仿照腦神經(jīng)系統(tǒng) 方面 ， 會(huì) 在組合優(yōu)化 、 模式識(shí)別和決策判斷等方面取得傳統(tǒng)計(jì)算機(jī)難以達(dá)到的效果。 人工 神經(jīng)網(wǎng)絡(luò)是由大量的、簡(jiǎn)單的處理單元（稱為神經(jīng)元）廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個(gè)高度復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng) [2]。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲(chǔ)和處理、自組織、自適應(yīng)和自學(xué)習(xí)能力，特別適合處理需要同時(shí)考慮許多因素和 條件的、不精確和模糊的信息處理問(wèn)題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)、人工智能、信息科學(xué)、控制論、機(jī)器人學(xué)、微電子學(xué)、心理學(xué)、微電子學(xué)、心理學(xué)、光計(jì)算、分子生物學(xué)等有關(guān)，是一門新興的邊緣交叉學(xué)科 [3]。 MATLAB 是一種科學(xué)與工程計(jì)算的高級(jí)語(yǔ)言，廣泛地運(yùn)用于包括信號(hào)與圖像處理，控制系統(tǒng)設(shè)計(jì)，系統(tǒng)仿真等諸多領(lǐng)域。為了解決神經(jīng)網(wǎng)絡(luò)問(wèn)題中的研究工作量和編程計(jì)沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 2 算工作量問(wèn)題，目前工程領(lǐng)域中較為流行的軟件 MATLAB，提供了現(xiàn)成的神經(jīng)網(wǎng)絡(luò)工具箱（ Neural Network Toolbox，簡(jiǎn) 稱 NNbox），為解決這個(gè)矛盾提供了便利條件。神經(jīng)網(wǎng)絡(luò)工具箱提供了很多經(jīng)典的學(xué)習(xí)算法，使用它能夠快速實(shí)現(xiàn)對(duì)實(shí)際問(wèn)題的建模求解。在解決實(shí)際問(wèn)題中，應(yīng)用 MATLAB 語(yǔ)言構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活傳遞函數(shù)，編寫(xiě)各種網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練的子程序，網(wǎng)絡(luò)的設(shè)計(jì)者可以根據(jù)需要調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)訓(xùn)練程序，使自己能夠從煩瑣的編程中解脫出來(lái) ， 減輕工程人員的負(fù)擔(dān)，從而提高工作效率 [4]。 神經(jīng)網(wǎng)絡(luò) 預(yù)測(cè) 的發(fā)展與研究現(xiàn)狀 20 世紀(jì) 90 年代作為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)理論與應(yīng)用迅速發(fā)展的時(shí)期，在理論方面的主要工作是：（ 1）線性化方法 ：通過(guò)不同的線性化逼近，可以把非線性規(guī)律求解加以簡(jiǎn)化，以此提高計(jì)算速度。（ 2）預(yù)測(cè)偏差補(bǔ)償方法：多步預(yù)測(cè)時(shí)，將會(huì)產(chǎn)生較大誤差，采用神經(jīng)網(wǎng)絡(luò)進(jìn)行補(bǔ)償糾正。（ 3）數(shù)值計(jì)算和解析相結(jié)合的方法。 在 1992 年用于多步預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)得到了廣泛地關(guān)注。自此，國(guó)內(nèi)外學(xué)者進(jìn)行了大量的研究在神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方面。 Buescher 等利用神經(jīng)網(wǎng)絡(luò)作為預(yù)測(cè)的模型，提出了一種基于非線性預(yù)測(cè)的時(shí)間二尺度方案，在預(yù)測(cè)模型中使用多個(gè)采樣周期的平均值形成多步預(yù)測(cè)，從而減少計(jì)算量； Namarreno 等同樣利用遞歸神經(jīng)網(wǎng)絡(luò)作為預(yù)測(cè)模型，提出了一種多 變量的帶約束的預(yù)測(cè)方法，其優(yōu)點(diǎn)是具有強(qiáng)非線性和能夠處理系統(tǒng)變量約束；陳強(qiáng)等提出一種非線性系統(tǒng)間接預(yù)測(cè)方法，控制網(wǎng)絡(luò)為多輸入單輸出，輸出的量是準(zhǔn)備計(jì)算的當(dāng)前控制信號(hào)，各個(gè)輸入量是對(duì)過(guò)程的多步預(yù)測(cè)序列與相應(yīng)的設(shè)定值之差。 進(jìn)入 21 世紀(jì)后，人們除繼續(xù)研究基于非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)建模與預(yù)測(cè)外，還針對(duì)一些較為特殊且復(fù)雜的非線性系統(tǒng)，開(kāi)展了一些關(guān)于神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)理論以及應(yīng)用方面的新的研究。 張興會(huì)等提出了一種非線性系統(tǒng)間接多步預(yù)測(cè)學(xué)習(xí)，采用 BP 網(wǎng)絡(luò)對(duì)非線性系統(tǒng)進(jìn)行建模，通過(guò)對(duì)廣義預(yù)測(cè)控制目標(biāo)函數(shù)的優(yōu)化進(jìn)行計(jì)算；劉曉華等利 用權(quán)值一種權(quán)值可在線調(diào)整的動(dòng)態(tài) BP 網(wǎng)絡(luò)對(duì)模型預(yù)測(cè)誤差進(jìn)行擬合，并對(duì)預(yù)測(cè)模型一起構(gòu)成動(dòng)態(tài)組合預(yù)測(cè)器，在此基礎(chǔ)上形成對(duì)模型誤差具有動(dòng)態(tài)補(bǔ)償能力的預(yù)測(cè)控制算法 [5]。吳愛(ài)國(guó)對(duì)非線性時(shí)滯系統(tǒng)采用了 d 步超前預(yù)測(cè)模型的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)控制，首次實(shí)現(xiàn)了非線性時(shí)滯系統(tǒng)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的并聯(lián)模型的 RTRL 算法，介紹了一種新的正交神經(jīng)網(wǎng)絡(luò)，首次給出了多變量輸入正交神經(jīng)網(wǎng)絡(luò)完備處理單元選擇的通用公式 [6]。針對(duì)輸入變量增多時(shí)，完備處理單元急劇增加的情況，提出了幾種裁剪完備處理單元的選取方法，仿真實(shí)驗(yàn)驗(yàn)證了正交神經(jīng)網(wǎng)絡(luò)比 BP 網(wǎng)絡(luò)收斂速度 快、訓(xùn)練時(shí)間短、逼近能力好 [7]。 沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 3 課題設(shè)計(jì)路線及主要工作 本文的主要工作是探討基于 BP 和 RBF 神經(jīng)網(wǎng)絡(luò)對(duì)空氣質(zhì)量指數(shù)的預(yù)測(cè)。本文一共分為五大章。其中 ,第一章為緒論，主要講述課題的研究背景和意義，神經(jīng)網(wǎng)絡(luò)的發(fā)展和目前研究的現(xiàn)狀以及對(duì)各章節(jié)的主要內(nèi)容進(jìn)行總結(jié)概括。第二章主要是對(duì)三種不同的神經(jīng)網(wǎng)絡(luò)作簡(jiǎn)要的介紹，分別為 BP 神經(jīng)網(wǎng)絡(luò)， RBF 神經(jīng)網(wǎng)絡(luò)以及模糊神經(jīng)網(wǎng)絡(luò)。在第二章里簡(jiǎn)單的講述了三種神經(jīng)網(wǎng)絡(luò)的基本知識(shí)點(diǎn)，以便讀者可以對(duì)神經(jīng)網(wǎng)絡(luò)有初步的了解，在后續(xù)章節(jié)中還會(huì)重點(diǎn)對(duì) BP 神經(jīng)網(wǎng)絡(luò)和 RBF 神經(jīng)網(wǎng)絡(luò)進(jìn)行 詳細(xì)的介紹。第三章主要介紹了 MATLAB 工具箱的一些基礎(chǔ)知識(shí)，為讀者能更好的理解后續(xù) BP 神經(jīng)網(wǎng)絡(luò)和 RBF 神經(jīng)網(wǎng)絡(luò)的編程仿真提供幫助。第四章為本文的重點(diǎn)，主要是對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行詳細(xì)的研究，包括 BP 神經(jīng)網(wǎng)絡(luò)的原理，算法，實(shí)現(xiàn)步驟，仿真實(shí)現(xiàn)以及對(duì)仿真結(jié)果的分析。第五章也是本文的重點(diǎn)，主要是對(duì) RBF 神經(jīng)網(wǎng)絡(luò)進(jìn)行詳細(xì)的研究，研究的主要內(nèi)容和 BP 神經(jīng)網(wǎng)絡(luò)一樣，只不過(guò)在最后還要對(duì) BP 和 RBF 進(jìn)行比較分析。 沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 4 2 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 BP 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 BP 神經(jīng)網(wǎng)絡(luò)的定義 BP 網(wǎng)絡(luò)（ Back Propagation），是 1986 年由 Rumelhart 和 McCelland 為首的科學(xué)家小組提出，是一種按誤差逆 傳播 算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的 神經(jīng)網(wǎng)絡(luò) 模型之一 [8]。 BP 網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入 輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的 數(shù)學(xué) 方程。它的學(xué)習(xí) 規(guī)則 是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。 BP 神經(jīng)網(wǎng)絡(luò)模型 拓?fù)?結(jié)構(gòu)包括輸入層（ input）、隱層 (hide layer)和輸出層 (output layer)。 BP 學(xué)習(xí)算法是訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的基本方法，它也是一個(gè)非常重要且經(jīng)典的學(xué)習(xí)算法，其實(shí)質(zhì)是求解誤差函數(shù)的最小值問(wèn)題，利用它可以實(shí)現(xiàn)多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值的調(diào)節(jié) [9]。這種學(xué)習(xí)算法的提出對(duì)人工神經(jīng)網(wǎng)絡(luò)發(fā)展起了很大的推動(dòng)作用。 BP 神經(jīng)網(wǎng)絡(luò)的基本原理 BP 網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱層和輸出層組成。圖 為一個(gè)典型的三層 BP 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，層與層之間采用全互連方式，同一層之間不存在相互連接 ,隱層可以有一層或多層。層與層之間有兩種信號(hào)在流通：一種是工作信號(hào) （ 用實(shí)線表示 ） ，它是施加輸入信號(hào)后向前 傳播直到在輸出端產(chǎn)生實(shí)際輸出的信號(hào)，是輸入和權(quán)值的函數(shù)。另一種是誤差信號(hào) (用虛線表示 ),網(wǎng)絡(luò)實(shí)際輸出與期望輸出間的差值即為誤差，它由輸出端開(kāi)始逐層向后傳播。 BP 網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程程由前向計(jì)算過(guò)程和誤差反向傳播過(guò)程組成。在前向計(jì)算過(guò)程中，輸入量從輸入層經(jīng)隱層逐層計(jì)算，并傳向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差反向傳播過(guò)程，誤差信號(hào)沿原來(lái)的連接通路返回，逐次調(diào)整網(wǎng)絡(luò)各層的權(quán)值和閾值，直至到達(dá)輸入層，再重復(fù)向計(jì)算 [10]。這兩個(gè)過(guò)程一次反復(fù)進(jìn)行，不斷調(diào)整各層的權(quán)值和 閾值，使得網(wǎng)絡(luò)誤差最小或達(dá)到人們所期望的要求時(shí)，學(xué)習(xí)過(guò)程結(jié)束。 沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 5 圖 典型 Bp網(wǎng)絡(luò)模型 BP 算法是在導(dǎo)師指導(dǎo)下，適合于多層神經(jīng)元網(wǎng)絡(luò)的一種學(xué)習(xí)，它是建立在梯度下降法的基礎(chǔ)上的。理論證明，含有一個(gè)隱含層的 BP 網(wǎng)絡(luò)可以實(shí)現(xiàn)以任意精度 近似任何連續(xù)非線性函數(shù)。 BP 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用 BP 神經(jīng)網(wǎng)絡(luò)及其變化形式。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工 神經(jīng)網(wǎng)絡(luò)的精華。 BP 網(wǎng)絡(luò)主要用于以下四方面。 （ 1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)以逼近一個(gè)函數(shù)。 （ 2）模式識(shí)別：用一個(gè)待定的輸出向量將它與輸入向量聯(lián)系起來(lái)。 （ 3）分類：把輸入向量所定義的合適方式進(jìn)行分類。 （ 4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲(chǔ)。 本文主要研究的是 BP 神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)方面的應(yīng)用，其實(shí)質(zhì)上就是求解函數(shù)逼近問(wèn)題，給出訓(xùn)練樣本使 BP 神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行訓(xùn)練，然后給出測(cè)試樣本使訓(xùn)練出的數(shù)值盡可能地逼近實(shí)際值，越逼近實(shí)際值預(yù)測(cè)效果便越好。 BP 神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)及局限性 BP 神經(jīng)網(wǎng)絡(luò)最主要的優(yōu)點(diǎn)是具有極強(qiáng)的非線性映射能力。理論上，對(duì)于一個(gè)三層和三層以上的 BP 網(wǎng)絡(luò)，只要隱層神經(jīng)元數(shù)目足夠多，該網(wǎng)絡(luò)就能以任意精度逼近一個(gè)非線性函數(shù)。其次， BP 神經(jīng)網(wǎng)絡(luò)具有對(duì)外界刺激和輸入信息進(jìn)行聯(lián)想記憶的能力。這是因?yàn)樗捎昧朔植疾⑿械男畔⑻幚矸绞?，?duì)信息的提取必須采用聯(lián)想的方式，才能將相關(guān)神經(jīng)元全部調(diào)動(dòng)起來(lái)。 BP 神經(jīng)網(wǎng)絡(luò)通過(guò)預(yù)先存儲(chǔ)信息和學(xué)習(xí)機(jī)制進(jìn)行自適應(yīng)訓(xùn)輸出層 輸入層 沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 6 練，可以從不完整的信息和噪聲干擾中恢復(fù)原始的完整信息。這種能力使其在圖像復(fù)原、語(yǔ)言處理、模式識(shí)別等方面具有 重要應(yīng)用。再次， BP 神經(jīng)網(wǎng)絡(luò)對(duì)外界輸入樣本有很強(qiáng)的識(shí)別與分類能力。由于它具有強(qiáng)大的非線性處理能力，因此可以較好地進(jìn)行非線性分類， 解決了神經(jīng)網(wǎng)絡(luò)發(fā)展史上的非線性分類難題。另外 ， BP 神經(jīng)網(wǎng)絡(luò)具有優(yōu)化計(jì)算能力。 BP 神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個(gè)非線性優(yōu)化問(wèn)題 , 它可以在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標(biāo)函數(shù)達(dá)到最小。 基于 BP 算法的神經(jīng)網(wǎng)絡(luò)從運(yùn)行過(guò)程中的信息流向來(lái)看，它是前饋型網(wǎng)絡(luò)。這種網(wǎng)絡(luò)僅提供許多具有簡(jiǎn)單處理能力的神經(jīng)元的復(fù)合作用使網(wǎng)絡(luò)具有復(fù)雜的非線性映射能力而沒(méi)有反饋，因此它不屬于一個(gè)非線性 動(dòng)力學(xué)系統(tǒng)，而只是一個(gè)非線性映射。盡管如此，由于它理論上的完整性和應(yīng)用的廣泛性，所以它仍然有重要的意義，但它也存在著不少問(wèn)題 [11]。 （ 1） BP 算法按照均方誤差的梯度下降方向收斂，但均方誤差的梯度曲線存在不少局部和全局最小點(diǎn)，這就使得神經(jīng)網(wǎng)絡(luò)易陷入局部極?。?local minima）； （ 2） BP 學(xué)習(xí)算法的收斂速度很慢，可能會(huì)浪費(fèi)大量時(shí)間； （ 3）網(wǎng)絡(luò)的隱含節(jié)點(diǎn)數(shù)的選取尚缺少統(tǒng)一而完整的理論指導(dǎo)（即沒(méi)有