【文章內(nèi)容簡介】 值進行對比，然后才對神經(jīng)網(wǎng)絡的權(quán)值進行修改調(diào)整。BP網(wǎng)絡的學習前后都要以給定的樣本做為標準進行監(jiān)督學習。（2）無監(jiān)督學習是指網(wǎng)絡學習過程沒有學習樣本指導，網(wǎng)絡自己學習輸入與輸出的映射特征，這種方法使網(wǎng)絡擁有較強的自組織自學習能力。（3）混合型學習過程先采用無監(jiān)督學習，然后再采用有監(jiān)督學習，前者抽取輸入模式的特征，后者在對其進行處理，形成輸入輸出的某種映射。這樣的學習過程把前兩種學習學習方式的優(yōu)點都集中，訓練時間比第一種要快，訓練精度比第二種要高。 BP神經(jīng)網(wǎng)絡性能分析 BP網(wǎng)絡優(yōu)點（1）BP網(wǎng)絡能為我們實現(xiàn)任何一種復雜的非線性映射的功能，可以用于解決內(nèi)部機制繁雜的問題。（2）BP網(wǎng)絡能通過學習帶有正確答案的例子得到接近于事物之間的發(fā)展規(guī)律，它有著自學習能力，能通過學習到的規(guī)律預測新的未知答案。（3）BP網(wǎng)絡具有泛化能力，能從給定的樣本數(shù)據(jù)中學習知識，抽象出接近真實的規(guī)則。 BP網(wǎng)絡的不足1）BP網(wǎng)絡中的BP算法學習速度很慢，其主要原因是：①BP算法要優(yōu)化的目標函數(shù)一般比較復雜，這樣就會出現(xiàn)“鋸齒形現(xiàn)象”，使得該算法效率不高。②存在麻痹現(xiàn)象。③因為無法求得每一次的迭代步長，就要預先賦予BP網(wǎng)絡學習的步長，這導致BP算法效率低。2）網(wǎng)絡訓練很多時候會失敗，特別在處理復雜問題時，其主要原因是：在理論上，BP算法只是一種局部搜索的優(yōu)化方法，找到我們需要的全局極值不容易，網(wǎng)絡自己就有可能陷入局部搜索，造成訓練失敗。3)BP神經(jīng)網(wǎng)絡的規(guī)模在解決應用問題的實例中存在矛盾。其網(wǎng)絡規(guī)模無法為實例中的規(guī)模服務，網(wǎng)絡容量的大小可能不足，還有網(wǎng)絡是否可行，這導致BP神經(jīng)網(wǎng)絡在處理復雜性問題上不能達到令人滿意的結(jié)果。4)BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)選擇還有待我們?nèi)パ芯?，目前為止，我們還沒有找到一種有效的可行的方法去準確確定BP網(wǎng)絡的結(jié)構(gòu)。目前我們只能以前任的經(jīng)驗為指導。5)BP神經(jīng)網(wǎng)絡的預測能力（泛化能力）一直是我們追求的目的，我們一直希望它能越高越好，但是它又和網(wǎng)絡本身的訓練能力（逼近能力）相矛盾。它們會呈現(xiàn)正態(tài)分布，即在一定范圍內(nèi)，網(wǎng)絡的訓練能力和預測能力一起增長，但是超過該范圍后訓練能力繼續(xù)曾大，預測能力卻會下降。 BP網(wǎng)絡的缺陷與改進盡管BP神經(jīng)網(wǎng)絡已經(jīng)發(fā)展成為目前最流行的神經(jīng)網(wǎng)絡，BP算法也得到人們的廣泛應用，但是因為BP網(wǎng)絡的本質(zhì)為梯度下降法，所以總會存在一些不足之處。第一，由于BP算法采用的是非線性優(yōu)化，比較容易形成局部極小值從而使我們無法得到全局最優(yōu)值；第二，BP算法尋找最優(yōu)值的參數(shù)比較多，這就導致其收斂速度表較慢；第三，構(gòu)建神經(jīng)網(wǎng)絡的結(jié)構(gòu)一直到現(xiàn)在也沒有找到一個準確的方法，即無法確定隱層和節(jié)點的數(shù)量；第四，當我們需要在已經(jīng)學習好的樣本中加入新的樣本時，會影響到原來的學習。雖然BP算法還無法達到我們滿意的程度，但是我們一直在尋找改進BP算法的方法。到目前為止，比較有名的有幾個：擬牛頓法、共軛梯度法、LevenbergMarquardt法、附加動量法。 本章小結(jié)在本章節(jié)中，簡單介紹了BP神經(jīng)網(wǎng)絡，闡述了BP神經(jīng)網(wǎng)絡的BP算法，分析了BP網(wǎng)絡及BP算法的優(yōu)缺點，講述一些目前在使用的改進BP神經(jīng)網(wǎng)絡方法。第4章 短時交通流量預測網(wǎng)絡 BP神經(jīng)網(wǎng)絡的設計與訓練BP神經(jīng)網(wǎng)絡的設計主要是涉及到網(wǎng)絡本身的幾個層以及各個層次之間傳遞函數(shù)的確定。 BP神經(jīng)網(wǎng)絡的設計方法（1）網(wǎng)絡層數(shù)選擇設計神經(jīng)網(wǎng)絡一般都會先確定網(wǎng)絡的層數(shù)，在BP神經(jīng)網(wǎng)絡中我們可以包含不同的隱含層在其中。但是，現(xiàn)在的理論告訴我們，在沒有限制隱含層節(jié)點數(shù)的時候，它可以用于任意非線性樣本的映射。一般經(jīng)驗告訴我們，當樣本數(shù)量比較少的時候，選擇兩層BP神經(jīng)網(wǎng)絡足以滿足我們的需求。而當我們需要訓練的樣本數(shù)量比較多時就需要增加一個隱含層，但是BP神經(jīng)網(wǎng)絡一般情況下也不會擁有超過2層。（2）輸入層節(jié)點數(shù)選擇在BP網(wǎng)絡中，輸入層節(jié)點數(shù)取決于輸入矢量的維數(shù)。比如我們要做的是交通流量預測，維數(shù)單一，只有一個變量的輸入輸出；再比如我們通過蒼蠅的翅膀、觸角、顏色去區(qū)分蒼蠅的種類，這其中輸入到輸出的映射關(guān)系對應到BP神經(jīng)網(wǎng)絡就是這樣：翅膀、觸角、顏色三個作為輸入，而種類則是輸出[6]。（3）輸出層節(jié)點數(shù)選擇在BP網(wǎng)絡中，輸出層節(jié)點數(shù)取和輸出該型數(shù)據(jù)的大小這兩個因素。我們即將做的交通流量預測只有一個類型的數(shù)據(jù)，即交通流量。而且我們做的是短時交通流量的預測，所以數(shù)據(jù)并不會太大，因此我們僅需要一個輸出即可[6]。（4）隱含層的節(jié)點數(shù)對于BP神經(jīng)網(wǎng)絡中隱含層的節(jié)點數(shù)，到目前為止還沒有準確的理論方法指導，我們沒有準確的解析式去確定其節(jié)點數(shù)，因此我們只能選擇前人所積累的經(jīng)驗去選擇。現(xiàn)在我們的認知中，隱含層的節(jié)點數(shù)與神經(jīng)網(wǎng)絡的輸出和輸入的變量都有關(guān)系。另外由于BP網(wǎng)絡的局限性，為了不造成過擬合現(xiàn)象，隱含層節(jié)點數(shù)過多過少都不合適。我們只有在訓練網(wǎng)絡時謀求在一定的范圍內(nèi)改變隱含層的節(jié)點數(shù)，盡可能地去找到最優(yōu)的節(jié)點數(shù)目，從而進行網(wǎng)絡訓練。根據(jù)前人的經(jīng)驗來看，一般使用兩種方法去確定隱含層的節(jié)點數(shù)。第一，根據(jù)經(jīng)驗參照公式（41）進行選擇： （41）式中，為隱含層的節(jié)點數(shù)，為輸入的節(jié)點數(shù)，為輸出的節(jié)點數(shù)，為110之間的常數(shù)[7]。對于選取多少個節(jié)點，需要我們根據(jù)公式得到的范圍去做不同節(jié)點數(shù)的實驗，找到最佳的目標。第二，根據(jù)Kolmogorov定理（強大數(shù)定理），任一個連續(xù)函數(shù)可以精確地用一個三層網(wǎng)絡實現(xiàn)，即一個輸入層，Sigmoid單隱層，一個線性輸出層[8]。而隱含層當中的節(jié)點數(shù)目根據(jù)Kolmogorov定理由式（42）得出： （42）式中，為隱含層節(jié)點數(shù)；為輸入層節(jié)點數(shù)。強大數(shù)定理只是給定一個比較靠近最佳節(jié)點數(shù)的值，并不是說該方法求得的節(jié)點數(shù)就是最佳節(jié)點數(shù)。比如六個輸入時，根據(jù)式（42）求得的節(jié)點數(shù)為13，而我們應該選擇13以及13附近的數(shù)目作為節(jié)點數(shù)，具體選擇多少個隱含層神經(jīng)元要根據(jù)訓練情況而定。 改進型訓練方法由于BP網(wǎng)絡本身也存在著一些不足之處，所以很多專家學者一直在對改進BP神經(jīng)網(wǎng)絡進行著一系列的探索和發(fā)掘。經(jīng)過這些年的積累，人們已經(jīng)找到了很多不錯的改進BP神經(jīng)網(wǎng)絡的方法，比較著名的有附加動量法、擬牛頓法、共軛梯度法、自適應學習速率法、彈性BP法、以及LevenbergMarquardt算法等。我們在這里主要介紹介紹共軛梯度法和LevenbergMarquardt算法。1)共軛梯度法有鑒于BP網(wǎng)絡在使用梯度下降法時，收斂速度慢，而擬牛頓法計算對于我們來說又較為復雜，研究者就開發(fā)出了共軛梯度法，從而盡量避免兩者的缺點。共軛梯度法的第一步是沿著負梯度方向搜索，然后沿著當前搜索方向的共軛方向進行搜索，這樣一來就可以快速達到最優(yōu)值。當?shù)谝淮蔚乃阉鞣较?，之后的每一次迭代的搜索方向由式?5）決定： （45）其中， （46）根據(jù)所取形式不同，可構(gòu)成不同的共軛梯度法。 （48）其中， （49）一般情況下，搜索方向在網(wǎng)絡訓練迭代過程中會按照一定的周期復位到負梯度方向，這個周期長度為網(wǎng)絡所有權(quán)值和偏差的總數(shù)目。共軛梯度法收斂速度增加很多，而且需要的存儲量和計算量并不多。因此我們可以看出，共軛梯度法對于那些權(quán)值很多的網(wǎng)絡訓練是非常有效的。2)LevenbergMarquardt算法我們要了解的LevenbergMarquardt算法，實際上可以說是梯度下降法和牛頓法的結(jié)合。它的優(yōu)勢在于當前網(wǎng)絡權(quán)值數(shù)目比較少時收斂的速度非?？?，它需要迭代的次數(shù)比較少，精確度也很高。LevenbergMarquardt算法的思路是網(wǎng)絡的每一次迭代不僅僅會沿著單一的負梯度方向搜索，而且誤差還會沿著網(wǎng)絡惡化的方向進行搜索，在搜索的同時間內(nèi)不斷在兩個算法之間適應調(diào)整來優(yōu)化網(wǎng)絡權(quán)值，以達到網(wǎng)絡可有效地進行收斂的目的。LevenbergMarquardt優(yōu)化算法，我們又稱為阻尼最小二乘法，它的權(quán)值調(diào)整公式為： （410）其中，為誤差向量；為誤差對權(quán)值微分的雅克比矩陣；為一個標量，且變大時，它會向最速下降法靠近；減少至零時，他靠向高斯牛頓法。因此，LM優(yōu)化算法是在高斯牛頓法和具有學習率的最速下降法之間的平滑調(diào)和。LM優(yōu)化算法的迭代步驟可分為四步：第一，把輸入量全部送入BP神經(jīng)網(wǎng)絡，并且計算出網(wǎng)絡的輸出數(shù)據(jù)。第二，計算誤差相對于微分之后的權(quán)值的雅克比矩陣J：它首先定義Marquardt的敏感度： （411）從式（411）知道，敏感度誤差函數(shù)對層輸入的第個元素變化的敏感性，其中，為每一層的網(wǎng)絡加權(quán)和。敏感度關(guān)系式為： （412）由是（412）可以值得，敏感度可以由網(wǎng)絡的最后一層向第一層傳播： （413）使用（413）計算雅克比矩陣的元素： （414）第三，使用式（410）求得。第四，用重復計算誤差平方和。當我們得到的新和小于步驟一種計算的和時，就要用除以，且，轉(zhuǎn)入步驟一；否則，用乘以，轉(zhuǎn)入步驟三，當我們得到的誤差平方和減少到某一目標誤差是，LevenbergMarquardt算法就算達到我們的目的了，可以認為算法這時已經(jīng)收斂[9]。 MATLAB神經(jīng)網(wǎng)絡工具箱在MATLAB神經(jīng)網(wǎng)絡工具箱中，有關(guān)BP網(wǎng)絡的函數(shù)一般包括創(chuàng)建函數(shù)、性能函數(shù)、傳遞函數(shù)、學習函數(shù)、訓練函數(shù)以及作圖像輸出的顯示函數(shù)。創(chuàng)建函數(shù)如表41所示：表41 創(chuàng)建函數(shù)函數(shù)名功能效用newcf創(chuàng)建級聯(lián)前向BP網(wǎng)絡newff創(chuàng)建一個BP網(wǎng)絡傳遞函數(shù)如表42：表42 傳遞函數(shù)函數(shù)名功能效用logsig作為S型的對數(shù)函數(shù)tansig作為雙曲正切S型傳遞函數(shù)Purelin作為線性函數(shù)學習函數(shù)如表43：表43 學習函數(shù)函數(shù)名功能效用learngd通過輸入、誤差和學習速率來計算權(quán)值/閾值的變化率Learngdm利用輸入、誤差、學習速率以及動量常數(shù)來計算權(quán)值/閾值的變化率訓練函數(shù)如表44：表44 訓練函數(shù)函數(shù)名功能效用trainbrBayes 規(guī)范化BP訓練函數(shù)traincgb