【文章內容簡介】 值進行對比，然后才對神經網絡的權值進行修改調整。BP網絡的學習前后都要以給定的樣本做為標準進行監(jiān)督學習。（2）無監(jiān)督學習是指網絡學習過程沒有學習樣本指導，網絡自己學習輸入與輸出的映射特征，這種方法使網絡擁有較強的自組織自學習能力。（3）混合型學習過程先采用無監(jiān)督學習，然后再采用有監(jiān)督學習，前者抽取輸入模式的特征，后者在對其進行處理，形成輸入輸出的某種映射。這樣的學習過程把前兩種學習學習方式的優(yōu)點都集中，訓練時間比第一種要快，訓練精度比第二種要高。 BP神經網絡性能分析 BP網絡優(yōu)點（1）BP網絡能為我們實現(xiàn)任何一種復雜的非線性映射的功能，可以用于解決內部機制繁雜的問題。（2）BP網絡能通過學習帶有正確答案的例子得到接近于事物之間的發(fā)展規(guī)律，它有著自學習能力，能通過學習到的規(guī)律預測新的未知答案。（3）BP網絡具有泛化能力，能從給定的樣本數(shù)據(jù)中學習知識，抽象出接近真實的規(guī)則。 BP網絡的不足1）BP網絡中的BP算法學習速度很慢，其主要原因是：①BP算法要優(yōu)化的目標函數(shù)一般比較復雜，這樣就會出現(xiàn)“鋸齒形現(xiàn)象”，使得該算法效率不高。②存在麻痹現(xiàn)象。③因為無法求得每一次的迭代步長，就要預先賦予BP網絡學習的步長，這導致BP算法效率低。2）網絡訓練很多時候會失敗，特別在處理復雜問題時，其主要原因是：在理論上，BP算法只是一種局部搜索的優(yōu)化方法，找到我們需要的全局極值不容易，網絡自己就有可能陷入局部搜索，造成訓練失敗。3)BP神經網絡的規(guī)模在解決應用問題的實例中存在矛盾。其網絡規(guī)模無法為實例中的規(guī)模服務，網絡容量的大小可能不足，還有網絡是否可行，這導致BP神經網絡在處理復雜性問題上不能達到令人滿意的結果。4)BP神經網絡的結構選擇還有待我們去研究，目前為止，我們還沒有找到一種有效的可行的方法去準確確定BP網絡的結構。目前我們只能以前任的經驗為指導。5)BP神經網絡的預測能力（泛化能力）一直是我們追求的目的，我們一直希望它能越高越好，但是它又和網絡本身的訓練能力（逼近能力）相矛盾。它們會呈現(xiàn)正態(tài)分布，即在一定范圍內，網絡的訓練能力和預測能力一起增長，但是超過該范圍后訓練能力繼續(xù)曾大，預測能力卻會下降。 BP網絡的缺陷與改進盡管BP神經網絡已經發(fā)展成為目前最流行的神經網絡，BP算法也得到人們的廣泛應用，但是因為BP網絡的本質為梯度下降法，所以總會存在一些不足之處。第一，由于BP算法采用的是非線性優(yōu)化，比較容易形成局部極小值從而使我們無法得到全局最優(yōu)值；第二，BP算法尋找最優(yōu)值的參數(shù)比較多，這就導致其收斂速度表較慢；第三，構建神經網絡的結構一直到現(xiàn)在也沒有找到一個準確的方法，即無法確定隱層和節(jié)點的數(shù)量；第四，當我們需要在已經學習好的樣本中加入新的樣本時，會影響到原來的學習。雖然BP算法還無法達到我們滿意的程度，但是我們一直在尋找改進BP算法的方法。到目前為止，比較有名的有幾個：擬牛頓法、共軛梯度法、LevenbergMarquardt法、附加動量法。 本章小結在本章節(jié)中，簡單介紹了BP神經網絡，闡述了BP神經網絡的BP算法，分析了BP網絡及BP算法的優(yōu)缺點，講述一些目前在使用的改進BP神經網絡方法。第4章 短時交通流量預測網絡 BP神經網絡的設計與訓練BP神經網絡的設計主要是涉及到網絡本身的幾個層以及各個層次之間傳遞函數(shù)的確定。 BP神經網絡的設計方法（1）網絡層數(shù)選擇設計神經網絡一般都會先確定網絡的層數(shù)，在BP神經網絡中我們可以包含不同的隱含層在其中。但是，現(xiàn)在的理論告訴我們，在沒有限制隱含層節(jié)點數(shù)的時候，它可以用于任意非線性樣本的映射。一般經驗告訴我們，當樣本數(shù)量比較少的時候，選擇兩層BP神經網絡足以滿足我們的需求。而當我們需要訓練的樣本數(shù)量比較多時就需要增加一個隱含層，但是BP神經網絡一般情況下也不會擁有超過2層。（2）輸入層節(jié)點數(shù)選擇在BP網絡中，輸入層節(jié)點數(shù)取決于輸入矢量的維數(shù)。比如我們要做的是交通流量預測，維數(shù)單一，只有一個變量的輸入輸出；再比如我們通過蒼蠅的翅膀、觸角、顏色去區(qū)分蒼蠅的種類，這其中輸入到輸出的映射關系對應到BP神經網絡就是這樣：翅膀、觸角、顏色三個作為輸入，而種類則是輸出[6]。（3）輸出層節(jié)點數(shù)選擇在BP網絡中，輸出層節(jié)點數(shù)取和輸出該型數(shù)據(jù)的大小這兩個因素。我們即將做的交通流量預測只有一個類型的數(shù)據(jù)，即交通流量。而且我們做的是短時交通流量的預測，所以數(shù)據(jù)并不會太大，因此我們僅需要一個輸出即可[6]。（4）隱含層的節(jié)點數(shù)對于BP神經網絡中隱含層的節(jié)點數(shù)，到目前為止還沒有準確的理論方法指導，我們沒有準確的解析式去確定其節(jié)點數(shù)，因此我們只能選擇前人所積累的經驗去選擇。現(xiàn)在我們的認知中，隱含層的節(jié)點數(shù)與神經網絡的輸出和輸入的變量都有關系。另外由于BP網絡的局限性，為了不造成過擬合現(xiàn)象，隱含層節(jié)點數(shù)過多過少都不合適。我們只有在訓練網絡時謀求在一定的范圍內改變隱含層的節(jié)點數(shù)，盡可能地去找到最優(yōu)的節(jié)點數(shù)目，從而進行網絡訓練。根據(jù)前人的經驗來看，一般使用兩種方法去確定隱含層的節(jié)點數(shù)。第一，根據(jù)經驗參照公式（41）進行選擇： （41）式中，為隱含層的節(jié)點數(shù)，為輸入的節(jié)點數(shù)，為輸出的節(jié)點數(shù)，為110之間的常數(shù)[7]。對于選取多少個節(jié)點，需要我們根據(jù)公式得到的范圍去做不同節(jié)點數(shù)的實驗，找到最佳的目標。第二，根據(jù)Kolmogorov定理（強大數(shù)定理），任一個連續(xù)函數(shù)可以精確地用一個三層網絡實現(xiàn)，即一個輸入層，Sigmoid單隱層，一個線性輸出層[8]。而隱含層當中的節(jié)點數(shù)目根據(jù)Kolmogorov定理由式（42）得出： （42）式中，為隱含層節(jié)點數(shù)；為輸入層節(jié)點數(shù)。強大數(shù)定理只是給定一個比較靠近最佳節(jié)點數(shù)的值，并不是說該方法求得的節(jié)點數(shù)就是最佳節(jié)點數(shù)。比如六個輸入時，根據(jù)式（42）求得的節(jié)點數(shù)為13，而我們應該選擇13以及13附近的數(shù)目作為節(jié)點數(shù)，具體選擇多少個隱含層神經元要根據(jù)訓練情況而定。 改進型訓練方法由于BP網絡本身也存在著一些不足之處，所以很多專家學者一直在對改進BP神經網絡進行著一系列的探索和發(fā)掘。經過這些年的積累，人們已經找到了很多不錯的改進BP神經網絡的方法，比較著名的有附加動量法、擬牛頓法、共軛梯度法、自適應學習速率法、彈性BP法、以及LevenbergMarquardt算法等。我們在這里主要介紹介紹共軛梯度法和LevenbergMarquardt算法。1)共軛梯度法有鑒于BP網絡在使用梯度下降法時，收斂速度慢，而擬牛頓法計算對于我們來說又較為復雜，研究者就開發(fā)出了共軛梯度法，從而盡量避免兩者的缺點。共軛梯度法的第一步是沿著負梯度方向搜索，然后沿著當前搜索方向的共軛方向進行搜索，這樣一來就可以快速達到最優(yōu)值。當?shù)谝淮蔚乃阉鞣较?，之后的每一次迭代的搜索方向由式?5）決定： （45）其中， （46）根據(jù)所取形式不同，可構成不同的共軛梯度法。 （48）其中， （49）一般情況下，搜索方向在網絡訓練迭代過程中會按照一定的周期復位到負梯度方向，這個周期長度為網絡所有權值和偏差的總數(shù)目。共軛梯度法收斂速度增加很多，而且需要的存儲量和計算量并不多。因此我們可以看出，共軛梯度法對于那些權值很多的網絡訓練是非常有效的。2)LevenbergMarquardt算法我們要了解的LevenbergMarquardt算法，實際上可以說是梯度下降法和牛頓法的結合。它的優(yōu)勢在于當前網絡權值數(shù)目比較少時收斂的速度非?？?，它需要迭代的次數(shù)比較少，精確度也很高。LevenbergMarquardt算法的思路是網絡的每一次迭代不僅僅會沿著單一的負梯度方向搜索，而且誤差還會沿著網絡惡化的方向進行搜索，在搜索的同時間內不斷在兩個算法之間適應調整來優(yōu)化網絡權值，以達到網絡可有效地進行收斂的目的。LevenbergMarquardt優(yōu)化算法，我們又稱為阻尼最小二乘法，它的權值調整公式為： （410）其中，為誤差向量；為誤差對權值微分的雅克比矩陣；為一個標量，且變大時，它會向最速下降法靠近；減少至零時，他靠向高斯牛頓法。因此，LM優(yōu)化算法是在高斯牛頓法和具有學習率的最速下降法之間的平滑調和。LM優(yōu)化算法的迭代步驟可分為四步：第一，把輸入量全部送入BP神經網絡，并且計算出網絡的輸出數(shù)據(jù)。第二，計算誤差相對于微分之后的權值的雅克比矩陣J：它首先定義Marquardt的敏感度： （411）從式（411）知道，敏感度誤差函數(shù)對層輸入的第個元素變化的敏感性，其中，為每一層的網絡加權和。敏感度關系式為： （412）由是（412）可以值得，敏感度可以由網絡的最后一層向第一層傳播： （413）使用（413）計算雅克比矩陣的元素： （414）第三，使用式（410）求得。第四，用重復計算誤差平方和。當我們得到的新和小于步驟一種計算的和時，就要用除以，且，轉入步驟一；否則，用乘以，轉入步驟三，當我們得到的誤差平方和減少到某一目標誤差是，LevenbergMarquardt算法就算達到我們的目的了，可以認為算法這時已經收斂[9]。 MATLAB神經網絡工具箱在MATLAB神經網絡工具箱中，有關BP網絡的函數(shù)一般包括創(chuàng)建函數(shù)、性能函數(shù)、傳遞函數(shù)、學習函數(shù)、訓練函數(shù)以及作圖像輸出的顯示函數(shù)。創(chuàng)建函數(shù)如表41所示：表41 創(chuàng)建函數(shù)函數(shù)名功能效用newcf創(chuàng)建級聯(lián)前向BP網絡newff創(chuàng)建一個BP網絡傳遞函數(shù)如表42：表42 傳遞函數(shù)函數(shù)名功能效用logsig作為S型的對數(shù)函數(shù)tansig作為雙曲正切S型傳遞函數(shù)Purelin作為線性函數(shù)學習函數(shù)如表43：表43 學習函數(shù)函數(shù)名功能效用learngd通過輸入、誤差和學習速率來計算權值/閾值的變化率Learngdm利用輸入、誤差、學習速率以及動量常數(shù)來計算權值/閾值的變化率訓練函數(shù)如表44：表44 訓練函數(shù)函數(shù)名功能效用trainbrBayes 規(guī)范化BP訓練函數(shù)traincgb