【文章內(nèi)容簡(jiǎn)介】 值進(jìn)行對(duì)比，然后才對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行修改調(diào)整。BP網(wǎng)絡(luò)的學(xué)習(xí)前后都要以給定的樣本做為標(biāo)準(zhǔn)進(jìn)行監(jiān)督學(xué)習(xí)。（2）無監(jiān)督學(xué)習(xí)是指網(wǎng)絡(luò)學(xué)習(xí)過程沒有學(xué)習(xí)樣本指導(dǎo)，網(wǎng)絡(luò)自己學(xué)習(xí)輸入與輸出的映射特征，這種方法使網(wǎng)絡(luò)擁有較強(qiáng)的自組織自學(xué)習(xí)能力。（3）混合型學(xué)習(xí)過程先采用無監(jiān)督學(xué)習(xí)，然后再采用有監(jiān)督學(xué)習(xí)，前者抽取輸入模式的特征，后者在對(duì)其進(jìn)行處理，形成輸入輸出的某種映射。這樣的學(xué)習(xí)過程把前兩種學(xué)習(xí)學(xué)習(xí)方式的優(yōu)點(diǎn)都集中，訓(xùn)練時(shí)間比第一種要快，訓(xùn)練精度比第二種要高。 BP神經(jīng)網(wǎng)絡(luò)性能分析 BP網(wǎng)絡(luò)優(yōu)點(diǎn)（1）BP網(wǎng)絡(luò)能為我們實(shí)現(xiàn)任何一種復(fù)雜的非線性映射的功能，可以用于解決內(nèi)部機(jī)制繁雜的問題。（2）BP網(wǎng)絡(luò)能通過學(xué)習(xí)帶有正確答案的例子得到接近于事物之間的發(fā)展規(guī)律，它有著自學(xué)習(xí)能力，能通過學(xué)習(xí)到的規(guī)律預(yù)測(cè)新的未知答案。（3）BP網(wǎng)絡(luò)具有泛化能力，能從給定的樣本數(shù)據(jù)中學(xué)習(xí)知識(shí)，抽象出接近真實(shí)的規(guī)則。 BP網(wǎng)絡(luò)的不足1）BP網(wǎng)絡(luò)中的BP算法學(xué)習(xí)速度很慢，其主要原因是：①BP算法要優(yōu)化的目標(biāo)函數(shù)一般比較復(fù)雜，這樣就會(huì)出現(xiàn)“鋸齒形現(xiàn)象”，使得該算法效率不高。②存在麻痹現(xiàn)象。③因?yàn)闊o法求得每一次的迭代步長(zhǎng)，就要預(yù)先賦予BP網(wǎng)絡(luò)學(xué)習(xí)的步長(zhǎng)，這導(dǎo)致BP算法效率低。2）網(wǎng)絡(luò)訓(xùn)練很多時(shí)候會(huì)失敗，特別在處理復(fù)雜問題時(shí)，其主要原因是：在理論上，BP算法只是一種局部搜索的優(yōu)化方法，找到我們需要的全局極值不容易，網(wǎng)絡(luò)自己就有可能陷入局部搜索，造成訓(xùn)練失敗。3)BP神經(jīng)網(wǎng)絡(luò)的規(guī)模在解決應(yīng)用問題的實(shí)例中存在矛盾。其網(wǎng)絡(luò)規(guī)模無法為實(shí)例中的規(guī)模服務(wù)，網(wǎng)絡(luò)容量的大小可能不足，還有網(wǎng)絡(luò)是否可行，這導(dǎo)致BP神經(jīng)網(wǎng)絡(luò)在處理復(fù)雜性問題上不能達(dá)到令人滿意的結(jié)果。4)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇還有待我們?nèi)パ芯?，目前為止，我們還沒有找到一種有效的可行的方法去準(zhǔn)確確定BP網(wǎng)絡(luò)的結(jié)構(gòu)。目前我們只能以前任的經(jīng)驗(yàn)為指導(dǎo)。5)BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)能力（泛化能力）一直是我們追求的目的，我們一直希望它能越高越好，但是它又和網(wǎng)絡(luò)本身的訓(xùn)練能力（逼近能力）相矛盾。它們會(huì)呈現(xiàn)正態(tài)分布，即在一定范圍內(nèi)，網(wǎng)絡(luò)的訓(xùn)練能力和預(yù)測(cè)能力一起增長(zhǎng)，但是超過該范圍后訓(xùn)練能力繼續(xù)曾大，預(yù)測(cè)能力卻會(huì)下降。 BP網(wǎng)絡(luò)的缺陷與改進(jìn)盡管BP神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展成為目前最流行的神經(jīng)網(wǎng)絡(luò)，BP算法也得到人們的廣泛應(yīng)用，但是因?yàn)锽P網(wǎng)絡(luò)的本質(zhì)為梯度下降法，所以總會(huì)存在一些不足之處。第一，由于BP算法采用的是非線性優(yōu)化，比較容易形成局部極小值從而使我們無法得到全局最優(yōu)值；第二，BP算法尋找最優(yōu)值的參數(shù)比較多，這就導(dǎo)致其收斂速度表較慢；第三，構(gòu)建神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一直到現(xiàn)在也沒有找到一個(gè)準(zhǔn)確的方法，即無法確定隱層和節(jié)點(diǎn)的數(shù)量；第四，當(dāng)我們需要在已經(jīng)學(xué)習(xí)好的樣本中加入新的樣本時(shí)，會(huì)影響到原來的學(xué)習(xí)。雖然BP算法還無法達(dá)到我們滿意的程度，但是我們一直在尋找改進(jìn)BP算法的方法。到目前為止，比較有名的有幾個(gè)：擬牛頓法、共軛梯度法、LevenbergMarquardt法、附加動(dòng)量法。 本章小結(jié)在本章節(jié)中，簡(jiǎn)單介紹了BP神經(jīng)網(wǎng)絡(luò)，闡述了BP神經(jīng)網(wǎng)絡(luò)的BP算法，分析了BP網(wǎng)絡(luò)及BP算法的優(yōu)缺點(diǎn)，講述一些目前在使用的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)方法。第4章 短時(shí)交通流量預(yù)測(cè)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)主要是涉及到網(wǎng)絡(luò)本身的幾個(gè)層以及各個(gè)層次之間傳遞函數(shù)的確定。 BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法（1）網(wǎng)絡(luò)層數(shù)選擇設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)一般都會(huì)先確定網(wǎng)絡(luò)的層數(shù)，在BP神經(jīng)網(wǎng)絡(luò)中我們可以包含不同的隱含層在其中。但是，現(xiàn)在的理論告訴我們，在沒有限制隱含層節(jié)點(diǎn)數(shù)的時(shí)候，它可以用于任意非線性樣本的映射。一般經(jīng)驗(yàn)告訴我們，當(dāng)樣本數(shù)量比較少的時(shí)候，選擇兩層BP神經(jīng)網(wǎng)絡(luò)足以滿足我們的需求。而當(dāng)我們需要訓(xùn)練的樣本數(shù)量比較多時(shí)就需要增加一個(gè)隱含層，但是BP神經(jīng)網(wǎng)絡(luò)一般情況下也不會(huì)擁有超過2層。（2）輸入層節(jié)點(diǎn)數(shù)選擇在BP網(wǎng)絡(luò)中，輸入層節(jié)點(diǎn)數(shù)取決于輸入矢量的維數(shù)。比如我們要做的是交通流量預(yù)測(cè)，維數(shù)單一，只有一個(gè)變量的輸入輸出；再比如我們通過蒼蠅的翅膀、觸角、顏色去區(qū)分蒼蠅的種類，這其中輸入到輸出的映射關(guān)系對(duì)應(yīng)到BP神經(jīng)網(wǎng)絡(luò)就是這樣：翅膀、觸角、顏色三個(gè)作為輸入，而種類則是輸出[6]。（3）輸出層節(jié)點(diǎn)數(shù)選擇在BP網(wǎng)絡(luò)中，輸出層節(jié)點(diǎn)數(shù)取和輸出該型數(shù)據(jù)的大小這兩個(gè)因素。我們即將做的交通流量預(yù)測(cè)只有一個(gè)類型的數(shù)據(jù)，即交通流量。而且我們做的是短時(shí)交通流量的預(yù)測(cè)，所以數(shù)據(jù)并不會(huì)太大，因此我們僅需要一個(gè)輸出即可[6]。（4）隱含層的節(jié)點(diǎn)數(shù)對(duì)于BP神經(jīng)網(wǎng)絡(luò)中隱含層的節(jié)點(diǎn)數(shù)，到目前為止還沒有準(zhǔn)確的理論方法指導(dǎo)，我們沒有準(zhǔn)確的解析式去確定其節(jié)點(diǎn)數(shù)，因此我們只能選擇前人所積累的經(jīng)驗(yàn)去選擇?，F(xiàn)在我們的認(rèn)知中，隱含層的節(jié)點(diǎn)數(shù)與神經(jīng)網(wǎng)絡(luò)的輸出和輸入的變量都有關(guān)系。另外由于BP網(wǎng)絡(luò)的局限性，為了不造成過擬合現(xiàn)象，隱含層節(jié)點(diǎn)數(shù)過多過少都不合適。我們只有在訓(xùn)練網(wǎng)絡(luò)時(shí)謀求在一定的范圍內(nèi)改變隱含層的節(jié)點(diǎn)數(shù)，盡可能地去找到最優(yōu)的節(jié)點(diǎn)數(shù)目，從而進(jìn)行網(wǎng)絡(luò)訓(xùn)練。根據(jù)前人的經(jīng)驗(yàn)來看，一般使用兩種方法去確定隱含層的節(jié)點(diǎn)數(shù)。第一，根據(jù)經(jīng)驗(yàn)參照公式（41）進(jìn)行選擇： （41）式中，為隱含層的節(jié)點(diǎn)數(shù)，為輸入的節(jié)點(diǎn)數(shù)，為輸出的節(jié)點(diǎn)數(shù)，為110之間的常數(shù)[7]。對(duì)于選取多少個(gè)節(jié)點(diǎn)，需要我們根據(jù)公式得到的范圍去做不同節(jié)點(diǎn)數(shù)的實(shí)驗(yàn)，找到最佳的目標(biāo)。第二，根據(jù)Kolmogorov定理（強(qiáng)大數(shù)定理），任一個(gè)連續(xù)函數(shù)可以精確地用一個(gè)三層網(wǎng)絡(luò)實(shí)現(xiàn)，即一個(gè)輸入層，Sigmoid單隱層，一個(gè)線性輸出層[8]。而隱含層當(dāng)中的節(jié)點(diǎn)數(shù)目根據(jù)Kolmogorov定理由式（42）得出： （42）式中，為隱含層節(jié)點(diǎn)數(shù)；為輸入層節(jié)點(diǎn)數(shù)。強(qiáng)大數(shù)定理只是給定一個(gè)比較靠近最佳節(jié)點(diǎn)數(shù)的值，并不是說該方法求得的節(jié)點(diǎn)數(shù)就是最佳節(jié)點(diǎn)數(shù)。比如六個(gè)輸入時(shí)，根據(jù)式（42）求得的節(jié)點(diǎn)數(shù)為13，而我們應(yīng)該選擇13以及13附近的數(shù)目作為節(jié)點(diǎn)數(shù)，具體選擇多少個(gè)隱含層神經(jīng)元要根據(jù)訓(xùn)練情況而定。 改進(jìn)型訓(xùn)練方法由于BP網(wǎng)絡(luò)本身也存在著一些不足之處，所以很多專家學(xué)者一直在對(duì)改進(jìn)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行著一系列的探索和發(fā)掘。經(jīng)過這些年的積累，人們已經(jīng)找到了很多不錯(cuò)的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的方法，比較著名的有附加動(dòng)量法、擬牛頓法、共軛梯度法、自適應(yīng)學(xué)習(xí)速率法、彈性BP法、以及LevenbergMarquardt算法等。我們?cè)谶@里主要介紹介紹共軛梯度法和LevenbergMarquardt算法。1)共軛梯度法有鑒于BP網(wǎng)絡(luò)在使用梯度下降法時(shí)，收斂速度慢，而擬牛頓法計(jì)算對(duì)于我們來說又較為復(fù)雜，研究者就開發(fā)出了共軛梯度法，從而盡量避免兩者的缺點(diǎn)。共軛梯度法的第一步是沿著負(fù)梯度方向搜索，然后沿著當(dāng)前搜索方向的共軛方向進(jìn)行搜索，這樣一來就可以快速達(dá)到最優(yōu)值。當(dāng)?shù)谝淮蔚乃阉鞣较?，之后的每一次迭代的搜索方向由式?5）決定： （45）其中， （46）根據(jù)所取形式不同，可構(gòu)成不同的共軛梯度法。 （48）其中， （49）一般情況下，搜索方向在網(wǎng)絡(luò)訓(xùn)練迭代過程中會(huì)按照一定的周期復(fù)位到負(fù)梯度方向，這個(gè)周期長(zhǎng)度為網(wǎng)絡(luò)所有權(quán)值和偏差的總數(shù)目。共軛梯度法收斂速度增加很多，而且需要的存儲(chǔ)量和計(jì)算量并不多。因此我們可以看出，共軛梯度法對(duì)于那些權(quán)值很多的網(wǎng)絡(luò)訓(xùn)練是非常有效的。2)LevenbergMarquardt算法我們要了解的LevenbergMarquardt算法，實(shí)際上可以說是梯度下降法和牛頓法的結(jié)合。它的優(yōu)勢(shì)在于當(dāng)前網(wǎng)絡(luò)權(quán)值數(shù)目比較少時(shí)收斂的速度非?？欤枰拇螖?shù)比較少，精確度也很高。LevenbergMarquardt算法的思路是網(wǎng)絡(luò)的每一次迭代不僅僅會(huì)沿著單一的負(fù)梯度方向搜索，而且誤差還會(huì)沿著網(wǎng)絡(luò)惡化的方向進(jìn)行搜索，在搜索的同時(shí)間內(nèi)不斷在兩個(gè)算法之間適應(yīng)調(diào)整來優(yōu)化網(wǎng)絡(luò)權(quán)值，以達(dá)到網(wǎng)絡(luò)可有效地進(jìn)行收斂的目的。LevenbergMarquardt優(yōu)化算法，我們又稱為阻尼最小二乘法，它的權(quán)值調(diào)整公式為： （410）其中，為誤差向量；為誤差對(duì)權(quán)值微分的雅克比矩陣；為一個(gè)標(biāo)量，且變大時(shí)，它會(huì)向最速下降法靠近；減少至零時(shí)，他靠向高斯牛頓法。因此，LM優(yōu)化算法是在高斯牛頓法和具有學(xué)習(xí)率的最速下降法之間的平滑調(diào)和。LM優(yōu)化算法的迭代步驟可分為四步：第一，把輸入量全部送入BP神經(jīng)網(wǎng)絡(luò)，并且計(jì)算出網(wǎng)絡(luò)的輸出數(shù)據(jù)。第二，計(jì)算誤差相對(duì)于微分之后的權(quán)值的雅克比矩陣J：它首先定義Marquardt的敏感度： （411）從式（411）知道，敏感度誤差函數(shù)對(duì)層輸入的第個(gè)元素變化的敏感性，其中，為每一層的網(wǎng)絡(luò)加權(quán)和。敏感度關(guān)系式為： （412）由是（412）可以值得，敏感度可以由網(wǎng)絡(luò)的最后一層向第一層傳播： （413）使用（413）計(jì)算雅克比矩陣的元素： （414）第三，使用式（410）求得。第四，用重復(fù)計(jì)算誤差平方和。當(dāng)我們得到的新和小于步驟一種計(jì)算的和時(shí)，就要用除以，且，轉(zhuǎn)入步驟一；否則，用乘以，轉(zhuǎn)入步驟三，當(dāng)我們得到的誤差平方和減少到某一目標(biāo)誤差是，LevenbergMarquardt算法就算達(dá)到我們的目的了，可以認(rèn)為算法這時(shí)已經(jīng)收斂[9]。 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，有關(guān)BP網(wǎng)絡(luò)的函數(shù)一般包括創(chuàng)建函數(shù)、性能函數(shù)、傳遞函數(shù)、學(xué)習(xí)函數(shù)、訓(xùn)練函數(shù)以及作圖像輸出的顯示函數(shù)。創(chuàng)建函數(shù)如表41所示：表41 創(chuàng)建函數(shù)函數(shù)名功能效用newcf創(chuàng)建級(jí)聯(lián)前向BP網(wǎng)絡(luò)newff創(chuàng)建一個(gè)BP網(wǎng)絡(luò)傳遞函數(shù)如表42：表42 傳遞函數(shù)函數(shù)名功能效用logsig作為S型的對(duì)數(shù)函數(shù)tansig作為雙曲正切S型傳遞函數(shù)Purelin作為線性函數(shù)學(xué)習(xí)函數(shù)如表43：表43 學(xué)習(xí)函數(shù)函數(shù)名功能效用learngd通過輸入、誤差和學(xué)習(xí)速率來計(jì)算權(quán)值/閾值的變化率Learngdm利用輸入、誤差、學(xué)習(xí)速率以及動(dòng)量常數(shù)來計(jì)算權(quán)值/閾值的變化率訓(xùn)練函數(shù)如表44：表44 訓(xùn)練函數(shù)函數(shù)名功能效用trainbrBayes 規(guī)范化BP訓(xùn)練函數(shù)traincgb