【文章內(nèi)容簡介】 值進行對比，然后才對神經(jīng)網(wǎng)絡(luò)的權(quán)值進行修改調(diào)整。BP網(wǎng)絡(luò)的學(xué)習(xí)前后都要以給定的樣本做為標(biāo)準(zhǔn)進行監(jiān)督學(xué)習(xí)。（2）無監(jiān)督學(xué)習(xí)是指網(wǎng)絡(luò)學(xué)習(xí)過程沒有學(xué)習(xí)樣本指導(dǎo)，網(wǎng)絡(luò)自己學(xué)習(xí)輸入與輸出的映射特征，這種方法使網(wǎng)絡(luò)擁有較強的自組織自學(xué)習(xí)能力。（3）混合型學(xué)習(xí)過程先采用無監(jiān)督學(xué)習(xí)，然后再采用有監(jiān)督學(xué)習(xí)，前者抽取輸入模式的特征，后者在對其進行處理，形成輸入輸出的某種映射。這樣的學(xué)習(xí)過程把前兩種學(xué)習(xí)學(xué)習(xí)方式的優(yōu)點都集中，訓(xùn)練時間比第一種要快，訓(xùn)練精度比第二種要高。 BP神經(jīng)網(wǎng)絡(luò)性能分析 BP網(wǎng)絡(luò)優(yōu)點（1）BP網(wǎng)絡(luò)能為我們實現(xiàn)任何一種復(fù)雜的非線性映射的功能，可以用于解決內(nèi)部機制繁雜的問題。（2）BP網(wǎng)絡(luò)能通過學(xué)習(xí)帶有正確答案的例子得到接近于事物之間的發(fā)展規(guī)律，它有著自學(xué)習(xí)能力，能通過學(xué)習(xí)到的規(guī)律預(yù)測新的未知答案。（3）BP網(wǎng)絡(luò)具有泛化能力，能從給定的樣本數(shù)據(jù)中學(xué)習(xí)知識，抽象出接近真實的規(guī)則。 BP網(wǎng)絡(luò)的不足1）BP網(wǎng)絡(luò)中的BP算法學(xué)習(xí)速度很慢，其主要原因是：①BP算法要優(yōu)化的目標(biāo)函數(shù)一般比較復(fù)雜，這樣就會出現(xiàn)“鋸齒形現(xiàn)象”，使得該算法效率不高。②存在麻痹現(xiàn)象。③因為無法求得每一次的迭代步長，就要預(yù)先賦予BP網(wǎng)絡(luò)學(xué)習(xí)的步長，這導(dǎo)致BP算法效率低。2）網(wǎng)絡(luò)訓(xùn)練很多時候會失敗，特別在處理復(fù)雜問題時，其主要原因是：在理論上，BP算法只是一種局部搜索的優(yōu)化方法，找到我們需要的全局極值不容易，網(wǎng)絡(luò)自己就有可能陷入局部搜索，造成訓(xùn)練失敗。3)BP神經(jīng)網(wǎng)絡(luò)的規(guī)模在解決應(yīng)用問題的實例中存在矛盾。其網(wǎng)絡(luò)規(guī)模無法為實例中的規(guī)模服務(wù)，網(wǎng)絡(luò)容量的大小可能不足，還有網(wǎng)絡(luò)是否可行，這導(dǎo)致BP神經(jīng)網(wǎng)絡(luò)在處理復(fù)雜性問題上不能達到令人滿意的結(jié)果。4)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇還有待我們?nèi)パ芯?，目前為止，我們還沒有找到一種有效的可行的方法去準(zhǔn)確確定BP網(wǎng)絡(luò)的結(jié)構(gòu)。目前我們只能以前任的經(jīng)驗為指導(dǎo)。5)BP神經(jīng)網(wǎng)絡(luò)的預(yù)測能力（泛化能力）一直是我們追求的目的，我們一直希望它能越高越好，但是它又和網(wǎng)絡(luò)本身的訓(xùn)練能力（逼近能力）相矛盾。它們會呈現(xiàn)正態(tài)分布，即在一定范圍內(nèi)，網(wǎng)絡(luò)的訓(xùn)練能力和預(yù)測能力一起增長，但是超過該范圍后訓(xùn)練能力繼續(xù)曾大，預(yù)測能力卻會下降。 BP網(wǎng)絡(luò)的缺陷與改進盡管BP神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展成為目前最流行的神經(jīng)網(wǎng)絡(luò)，BP算法也得到人們的廣泛應(yīng)用，但是因為BP網(wǎng)絡(luò)的本質(zhì)為梯度下降法，所以總會存在一些不足之處。第一，由于BP算法采用的是非線性優(yōu)化，比較容易形成局部極小值從而使我們無法得到全局最優(yōu)值；第二，BP算法尋找最優(yōu)值的參數(shù)比較多，這就導(dǎo)致其收斂速度表較慢；第三，構(gòu)建神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一直到現(xiàn)在也沒有找到一個準(zhǔn)確的方法，即無法確定隱層和節(jié)點的數(shù)量；第四，當(dāng)我們需要在已經(jīng)學(xué)習(xí)好的樣本中加入新的樣本時，會影響到原來的學(xué)習(xí)。雖然BP算法還無法達到我們滿意的程度，但是我們一直在尋找改進BP算法的方法。到目前為止，比較有名的有幾個：擬牛頓法、共軛梯度法、LevenbergMarquardt法、附加動量法。 本章小結(jié)在本章節(jié)中，簡單介紹了BP神經(jīng)網(wǎng)絡(luò)，闡述了BP神經(jīng)網(wǎng)絡(luò)的BP算法，分析了BP網(wǎng)絡(luò)及BP算法的優(yōu)缺點，講述一些目前在使用的改進BP神經(jīng)網(wǎng)絡(luò)方法。第4章 短時交通流量預(yù)測網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)的設(shè)計與訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)的設(shè)計主要是涉及到網(wǎng)絡(luò)本身的幾個層以及各個層次之間傳遞函數(shù)的確定。 BP神經(jīng)網(wǎng)絡(luò)的設(shè)計方法（1）網(wǎng)絡(luò)層數(shù)選擇設(shè)計神經(jīng)網(wǎng)絡(luò)一般都會先確定網(wǎng)絡(luò)的層數(shù)，在BP神經(jīng)網(wǎng)絡(luò)中我們可以包含不同的隱含層在其中。但是，現(xiàn)在的理論告訴我們，在沒有限制隱含層節(jié)點數(shù)的時候，它可以用于任意非線性樣本的映射。一般經(jīng)驗告訴我們，當(dāng)樣本數(shù)量比較少的時候，選擇兩層BP神經(jīng)網(wǎng)絡(luò)足以滿足我們的需求。而當(dāng)我們需要訓(xùn)練的樣本數(shù)量比較多時就需要增加一個隱含層，但是BP神經(jīng)網(wǎng)絡(luò)一般情況下也不會擁有超過2層。（2）輸入層節(jié)點數(shù)選擇在BP網(wǎng)絡(luò)中，輸入層節(jié)點數(shù)取決于輸入矢量的維數(shù)。比如我們要做的是交通流量預(yù)測，維數(shù)單一，只有一個變量的輸入輸出；再比如我們通過蒼蠅的翅膀、觸角、顏色去區(qū)分蒼蠅的種類，這其中輸入到輸出的映射關(guān)系對應(yīng)到BP神經(jīng)網(wǎng)絡(luò)就是這樣：翅膀、觸角、顏色三個作為輸入，而種類則是輸出[6]。（3）輸出層節(jié)點數(shù)選擇在BP網(wǎng)絡(luò)中，輸出層節(jié)點數(shù)取和輸出該型數(shù)據(jù)的大小這兩個因素。我們即將做的交通流量預(yù)測只有一個類型的數(shù)據(jù)，即交通流量。而且我們做的是短時交通流量的預(yù)測，所以數(shù)據(jù)并不會太大，因此我們僅需要一個輸出即可[6]。（4）隱含層的節(jié)點數(shù)對于BP神經(jīng)網(wǎng)絡(luò)中隱含層的節(jié)點數(shù)，到目前為止還沒有準(zhǔn)確的理論方法指導(dǎo)，我們沒有準(zhǔn)確的解析式去確定其節(jié)點數(shù)，因此我們只能選擇前人所積累的經(jīng)驗去選擇。現(xiàn)在我們的認知中，隱含層的節(jié)點數(shù)與神經(jīng)網(wǎng)絡(luò)的輸出和輸入的變量都有關(guān)系。另外由于BP網(wǎng)絡(luò)的局限性，為了不造成過擬合現(xiàn)象，隱含層節(jié)點數(shù)過多過少都不合適。我們只有在訓(xùn)練網(wǎng)絡(luò)時謀求在一定的范圍內(nèi)改變隱含層的節(jié)點數(shù)，盡可能地去找到最優(yōu)的節(jié)點數(shù)目，從而進行網(wǎng)絡(luò)訓(xùn)練。根據(jù)前人的經(jīng)驗來看，一般使用兩種方法去確定隱含層的節(jié)點數(shù)。第一，根據(jù)經(jīng)驗參照公式（41）進行選擇： （41）式中，為隱含層的節(jié)點數(shù)，為輸入的節(jié)點數(shù)，為輸出的節(jié)點數(shù)，為110之間的常數(shù)[7]。對于選取多少個節(jié)點，需要我們根據(jù)公式得到的范圍去做不同節(jié)點數(shù)的實驗，找到最佳的目標(biāo)。第二，根據(jù)Kolmogorov定理（強大數(shù)定理），任一個連續(xù)函數(shù)可以精確地用一個三層網(wǎng)絡(luò)實現(xiàn)，即一個輸入層，Sigmoid單隱層，一個線性輸出層[8]。而隱含層當(dāng)中的節(jié)點數(shù)目根據(jù)Kolmogorov定理由式（42）得出： （42）式中，為隱含層節(jié)點數(shù)；為輸入層節(jié)點數(shù)。強大數(shù)定理只是給定一個比較靠近最佳節(jié)點數(shù)的值，并不是說該方法求得的節(jié)點數(shù)就是最佳節(jié)點數(shù)。比如六個輸入時，根據(jù)式（42）求得的節(jié)點數(shù)為13，而我們應(yīng)該選擇13以及13附近的數(shù)目作為節(jié)點數(shù)，具體選擇多少個隱含層神經(jīng)元要根據(jù)訓(xùn)練情況而定。 改進型訓(xùn)練方法由于BP網(wǎng)絡(luò)本身也存在著一些不足之處，所以很多專家學(xué)者一直在對改進BP神經(jīng)網(wǎng)絡(luò)進行著一系列的探索和發(fā)掘。經(jīng)過這些年的積累，人們已經(jīng)找到了很多不錯的改進BP神經(jīng)網(wǎng)絡(luò)的方法，比較著名的有附加動量法、擬牛頓法、共軛梯度法、自適應(yīng)學(xué)習(xí)速率法、彈性BP法、以及LevenbergMarquardt算法等。我們在這里主要介紹介紹共軛梯度法和LevenbergMarquardt算法。1)共軛梯度法有鑒于BP網(wǎng)絡(luò)在使用梯度下降法時，收斂速度慢，而擬牛頓法計算對于我們來說又較為復(fù)雜，研究者就開發(fā)出了共軛梯度法，從而盡量避免兩者的缺點。共軛梯度法的第一步是沿著負梯度方向搜索，然后沿著當(dāng)前搜索方向的共軛方向進行搜索，這樣一來就可以快速達到最優(yōu)值。當(dāng)?shù)谝淮蔚乃阉鞣较?，之后的每一次迭代的搜索方向由式?5）決定： （45）其中， （46）根據(jù)所取形式不同，可構(gòu)成不同的共軛梯度法。 （48）其中， （49）一般情況下，搜索方向在網(wǎng)絡(luò)訓(xùn)練迭代過程中會按照一定的周期復(fù)位到負梯度方向，這個周期長度為網(wǎng)絡(luò)所有權(quán)值和偏差的總數(shù)目。共軛梯度法收斂速度增加很多，而且需要的存儲量和計算量并不多。因此我們可以看出，共軛梯度法對于那些權(quán)值很多的網(wǎng)絡(luò)訓(xùn)練是非常有效的。2)LevenbergMarquardt算法我們要了解的LevenbergMarquardt算法，實際上可以說是梯度下降法和牛頓法的結(jié)合。它的優(yōu)勢在于當(dāng)前網(wǎng)絡(luò)權(quán)值數(shù)目比較少時收斂的速度非?？欤枰拇螖?shù)比較少，精確度也很高。LevenbergMarquardt算法的思路是網(wǎng)絡(luò)的每一次迭代不僅僅會沿著單一的負梯度方向搜索，而且誤差還會沿著網(wǎng)絡(luò)惡化的方向進行搜索，在搜索的同時間內(nèi)不斷在兩個算法之間適應(yīng)調(diào)整來優(yōu)化網(wǎng)絡(luò)權(quán)值，以達到網(wǎng)絡(luò)可有效地進行收斂的目的。LevenbergMarquardt優(yōu)化算法，我們又稱為阻尼最小二乘法，它的權(quán)值調(diào)整公式為： （410）其中，為誤差向量；為誤差對權(quán)值微分的雅克比矩陣；為一個標(biāo)量，且變大時，它會向最速下降法靠近；減少至零時，他靠向高斯牛頓法。因此，LM優(yōu)化算法是在高斯牛頓法和具有學(xué)習(xí)率的最速下降法之間的平滑調(diào)和。LM優(yōu)化算法的迭代步驟可分為四步：第一，把輸入量全部送入BP神經(jīng)網(wǎng)絡(luò)，并且計算出網(wǎng)絡(luò)的輸出數(shù)據(jù)。第二，計算誤差相對于微分之后的權(quán)值的雅克比矩陣J：它首先定義Marquardt的敏感度： （411）從式（411）知道，敏感度誤差函數(shù)對層輸入的第個元素變化的敏感性，其中，為每一層的網(wǎng)絡(luò)加權(quán)和。敏感度關(guān)系式為： （412）由是（412）可以值得，敏感度可以由網(wǎng)絡(luò)的最后一層向第一層傳播： （413）使用（413）計算雅克比矩陣的元素： （414）第三，使用式（410）求得。第四，用重復(fù)計算誤差平方和。當(dāng)我們得到的新和小于步驟一種計算的和時，就要用除以，且，轉(zhuǎn)入步驟一；否則，用乘以，轉(zhuǎn)入步驟三，當(dāng)我們得到的誤差平方和減少到某一目標(biāo)誤差是，LevenbergMarquardt算法就算達到我們的目的了，可以認為算法這時已經(jīng)收斂[9]。 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，有關(guān)BP網(wǎng)絡(luò)的函數(shù)一般包括創(chuàng)建函數(shù)、性能函數(shù)、傳遞函數(shù)、學(xué)習(xí)函數(shù)、訓(xùn)練函數(shù)以及作圖像輸出的顯示函數(shù)。創(chuàng)建函數(shù)如表41所示：表41 創(chuàng)建函數(shù)函數(shù)名功能效用newcf創(chuàng)建級聯(lián)前向BP網(wǎng)絡(luò)newff創(chuàng)建一個BP網(wǎng)絡(luò)傳遞函數(shù)如表42：表42 傳遞函數(shù)函數(shù)名功能效用logsig作為S型的對數(shù)函數(shù)tansig作為雙曲正切S型傳遞函數(shù)Purelin作為線性函數(shù)學(xué)習(xí)函數(shù)如表43：表43 學(xué)習(xí)函數(shù)函數(shù)名功能效用learngd通過輸入、誤差和學(xué)習(xí)速率來計算權(quán)值/閾值的變化率Learngdm利用輸入、誤差、學(xué)習(xí)速率以及動量常數(shù)來計算權(quán)值/閾值的變化率訓(xùn)練函數(shù)如表44：表44 訓(xùn)練函數(shù)函數(shù)名功能效用trainbrBayes 規(guī)范化BP訓(xùn)練函數(shù)traincgb