【文章內(nèi)容簡介】 簡化模擬成一組數(shù)字信號通過一定的學習規(guī)則而不斷變動更新的過程，這組數(shù)字儲存在神經(jīng)元之間的連接權重。網(wǎng)絡的輸入層模擬的是神經(jīng)系統(tǒng)中的感覺神經(jīng)元，它接收輸入樣本信號。輸入信號經(jīng)輸入層輸入， 通過隱含層的復雜計算由輸出層輸出，輸出信號與期望輸出相比較，若有誤差，再將誤差信號反向由輸出層通過隱含層處理后向輸入層傳播。在這個過程中，誤差通過梯度下降算法，分攤給 各層的所有單元，從而獲得各單元的誤差信號，以此誤差信號為依據(jù)修正各單元權值，網(wǎng)絡權值因此被重新分布。此過程完成后， 輸入信號再次由輸入層輸入網(wǎng)絡，重復上述過程。這種信號正向傳播與誤差反向傳播的各層權值調(diào)整過程周而復始地進行著，直到網(wǎng)絡輸出的誤差減少到可以接受的程度，或進行到預先設定的學習次數(shù)為止。權值不斷調(diào)整的過程就是網(wǎng)絡的學習訓練過程。 BP 神經(jīng)網(wǎng)絡的信息處理方式具有如下特點 : 1）信息分布存儲。人腦存儲信息的特點是利用突觸效能的變化來調(diào)整存儲內(nèi)容， 即信息存儲在神經(jīng)元之間的連接強度的分布上， BP 神 經(jīng)網(wǎng)絡模擬人腦的這一特點，使信息以連接權值的形式分布于整個網(wǎng)絡。 2) 信息并行處理。人腦神經(jīng)元之間傳遞脈沖信號的速度遠低于馮諾依曼計算機的工作速度，但是在很多問題上卻可以做出快速的判斷、決策和處理，這是由于人腦是一個大規(guī)模并行與串行組合的處理系統(tǒng)。 BP 神經(jīng)網(wǎng)絡的基本結構模仿人腦，具有并行處理的特征，大大提高了網(wǎng)絡功能。 3）具有容錯性。生物神經(jīng)系統(tǒng)部分不嚴重損傷并不影響整體功能， BP 神經(jīng) 11 網(wǎng)絡也具有這種特性，網(wǎng)絡的高度連接意味著少量的誤差可能不會產(chǎn)生嚴重的后果，部分神經(jīng)元的損傷不破壞整體，它可以自動修正誤 差。這與現(xiàn)代計算機的脆弱性形成鮮明對比。 4）具有自學習、自組織、自適應的能力。 BP 神經(jīng)網(wǎng)絡具有初步的自適應與自組織能力，在學習或訓練中改變突觸權值以適應環(huán)境，可以在使用過程中不斷學習完善自己的功能，并且同一網(wǎng)絡因學習方式的不同可以具有不同的功能，它甚至具有創(chuàng)新能力，可以發(fā)展知識，以至超過設計者原有的知識水平。 BP 神經(jīng)網(wǎng)絡隱含層節(jié)點的選擇： 基于 BP 算法的神經(jīng)元網(wǎng)絡中各層節(jié)點數(shù)目的選擇對于網(wǎng)絡性能的影響很大，隱含層的神經(jīng)元數(shù)目選擇往往需要根據(jù)經(jīng)驗和多次試驗來確定，若隱含層單元數(shù)目選擇太多會致使學習時間過長 、誤差不一定最佳，也會導致容錯性差、不能識別以前沒有看到的樣本，節(jié)點的數(shù)目要選擇恰當。常用的解決辦法就是使隱含層數(shù)目可變。一種是開始放入足夠的隱含單元，然后把學習后的那些不起作用的隱含層單元逐步去掉，一直減少到不可收縮為止。另一種是開始放入比較少的隱含層單元，學習一些次數(shù)后，還不成功就要增加隱含單元個數(shù)，一直達到比較合理的隱含單元數(shù)目為止?？梢愿鶕?jù)以下公式選擇最佳隱含層神經(jīng)元的數(shù)目。 (1) ，其中， m 為輸出神經(jīng)元數(shù)目； n 為輸入神經(jīng)元數(shù)目； a 為 [1,10]之間的常數(shù)； (2) ，其中， n 為輸入單元數(shù)。 (3) ，其中， m 為輸出節(jié)點數(shù)。 隱含層結點數(shù)可根據(jù)公式 (1)、 (2)或 (3)得出一個初始值，然后利用逐步增長或逐步修剪法．所謂逐步增長是先從一個較簡單的網(wǎng)絡開始，若不符合要求則逐步增加隱含層單元數(shù)到合適為止；逐步修剪則從一個較復雜的網(wǎng)絡開始逐步刪除隱含層單元，具體實現(xiàn)已有不少文獻討論。 BP 神經(jīng)網(wǎng)絡學習率的選擇： 學習速率決定每一次循環(huán)訓練所產(chǎn)生的權值的變化量。過大的學習速率可能導致系統(tǒng)的不穩(wěn)定，但是過小的學習速率將導致訓練時間較長，收斂速度很慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于最小的誤差 值。一般要求是：當訓練到誤差曲面得平坦區(qū)時，為加快收斂應使 增大；當訓練到誤差曲面的變化劇烈區(qū)時，為防止過學習 (使誤差增加 )，應使上述值減小。為加快收斂，應使 合理化，比如采用變步長算法。所以在一般情況下，傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性，學習速率的選取范圍一般在 ～ 之間。再根據(jù)訓練過程中梯度變化和均方差變化值來確定。 BP 神經(jīng)網(wǎng)絡的主要功能 目前，在人工神經(jīng)網(wǎng)絡的實際應用中。絕大部分的神經(jīng)網(wǎng)絡模型都采用 BP 神 12 經(jīng)網(wǎng)絡及其變化形式。它也是前向網(wǎng)絡的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡的精 華。 BP 網(wǎng)絡主要用于以下四方面。 （ 1）函數(shù)逼近：用輸入向量和相應的輸出向量訓練一個網(wǎng)絡以逼近一個函數(shù)。 （ 2）模式識別：用一個待定的輸出向量將它與輸入向量聯(lián)系起來。 （ 3）分類：把輸入向量所定義的合適方式進行分類。 （ 4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲。 BP 神經(jīng)網(wǎng)絡的優(yōu)點和缺點 優(yōu)點： 1) 非線性映射能力： BP神經(jīng)網(wǎng)絡實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能，數(shù)學理論證明三層的神經(jīng)網(wǎng)絡就能夠以任意精度逼近任何非線性連續(xù)函數(shù)。這使得其特別適合于求解內(nèi)部機制復雜的問題，即 BP 神經(jīng)網(wǎng)絡具有 較強的非線性映射能力。 2) 自學習和自適應能力： BP 神經(jīng)網(wǎng)絡在訓練時，能夠通過學習自動提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應的將學習內(nèi)容記憶于網(wǎng)絡的權值中。即 BP神經(jīng)網(wǎng)絡具有高度自學習和自適應的能力。 3) 泛化能力：所謂泛化能力是指在設計模式分類器時，即要考慮網(wǎng)絡在保證對所需分類對象進行正確分類，還要關心網(wǎng)絡在經(jīng)過訓練后，能否對未見過的模式或有噪聲污染的模式，進行正確的分類。也即 BP 神經(jīng)網(wǎng)絡具有將學習成果應用于新知識的能力。 4) 容錯能力： BP 神經(jīng)網(wǎng)絡在其局部的或者部分的神經(jīng)元受到破壞后對 全局的訓練結果不會造成很大的影響，也就是說即使系統(tǒng)在受到局部損傷時還是可以正常工作的。即 BP 神經(jīng)網(wǎng)絡具有一定的容錯能力。 BP 神經(jīng)網(wǎng)絡的優(yōu)缺點介紹 人工神經(jīng)網(wǎng)絡（ Artificial Neural Network）又稱連接機模型，是在現(xiàn)代神經(jīng)學、生物學、心理學等學科研究的基礎上產(chǎn)生的，它反映了生物神經(jīng)系統(tǒng)處理外界事物的基本過程，是在模擬人腦神經(jīng)組織的基礎上發(fā)展起來的計算系統(tǒng)，是由大量處理單元通過廣泛互聯(lián)而構成的網(wǎng)絡體系，它具有生物神經(jīng)系統(tǒng)的基本特征，在一定程度上反映了人腦功能的若干反映，是對生物系統(tǒng)的某種 模擬，具有大規(guī)模并行、分布式處理、自組織、自學習等優(yōu)點，被廣泛應用于語音分析、圖像識別、數(shù)字水印、計算機視覺等很多領域，取得了許多突出的成果。最近由于人工神經(jīng)網(wǎng)絡的快速發(fā)展，它已經(jīng)成為模式識別的強有力的工具。神經(jīng)網(wǎng)絡的運用展開了新的領域，解決其它模式識別不能解決的問題，其分類功能特別適合于模式識別與分類的應用。多層前向 BP 網(wǎng)絡是目前應用最多的一種神經(jīng)網(wǎng)絡形式 , 它具備神經(jīng)網(wǎng)絡的普遍優(yōu)點，但它也不是非常完美的 , 為了更好的理解應用神經(jīng)網(wǎng)絡進行問題求解 , 這里對它的優(yōu)缺點展開一些討論。 13 首先 BP 神經(jīng)網(wǎng)絡具有以 下優(yōu)點： （ 1） 非線性映射能力： BP 神經(jīng)網(wǎng)絡實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能，數(shù)學理論證明三層的神經(jīng)網(wǎng)絡就能夠以任意精度逼近任何非線性連續(xù)函數(shù)。這使得其特別適合于求解內(nèi)部機制復雜的問題，即 BP 神經(jīng)網(wǎng)絡具有較強的非線性映射能力。 （ 2）自學習和自適應能力： BP 神經(jīng)網(wǎng)絡在訓練時，能夠通過學習自動提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應的將學習內(nèi)容記憶于網(wǎng)絡的權值中。即 BP 神經(jīng)網(wǎng)絡具有高度自學習和自適應的能力。 （ 3） 泛化能力：所謂泛化能力是指在設計模式分類器時，即要考慮網(wǎng)絡在保證對所需分類對 象進行正確分類，還要關心網(wǎng)絡在經(jīng)過訓練后，能否對未見過的模式或有噪聲污染的模式，進行正確的分類。也即 BP 神經(jīng)網(wǎng)絡具有將學習成果應用于新知識的能力。 （ 4）容錯能力： BP 神經(jīng)網(wǎng)絡在其局部的或者部分的神經(jīng)元受到破壞后對全局的訓練結果不會造成很大的影響，也就是說即使系統(tǒng)在受到局部損傷時還是可以正常工作的。即 BP 神經(jīng)網(wǎng)絡具有一定的容錯能力。 缺點： 鑒于 BP 神經(jīng)網(wǎng)絡的這些優(yōu)點，國內(nèi)外不少研究學者都對其進行了研究，并運用網(wǎng)絡解決了不少應用問題。但是隨著應用范圍的逐步擴大， BP 神經(jīng)網(wǎng)絡也暴露出了越來越多的缺點和不足 ，比如： （ 1）局部極小化問題：從數(shù)學角度看，傳統(tǒng)的 BP 神經(jīng)網(wǎng)絡為一種局部搜索的優(yōu)化方法，它要解決的是一個復雜非線性化問題，網(wǎng)絡的權值是通過沿局部改善的方向逐漸進行調(diào)整的，這樣會使算法陷入局部極值，權值收斂到局部極小點，從而導致網(wǎng)絡訓練失敗。加上 BP 神經(jīng)網(wǎng)絡對初始網(wǎng)絡權重非常敏感，以不同的權重初始化網(wǎng)絡，其往往會收斂于不同的局部極小，這也是很多學者每次訓練得到不同結果的根本原因。 （ 2） BP 神經(jīng)網(wǎng)絡算法的收斂速度慢：由于 BP 神經(jīng)網(wǎng)絡算法本質(zhì)上為梯度下降法，它所要優(yōu)化的目標函數(shù)是非常復雜的，因此，必然會 出現(xiàn)“鋸齒形現(xiàn)象”，這使得BP 算法低效；又由于優(yōu)化的目標函數(shù)很復雜，它必然會在神經(jīng)元輸出接近 0 或 1的情況下，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內(nèi)，權值誤差改變很小，使訓練過程幾乎停頓； BP 神經(jīng)網(wǎng)絡模型中，為了使網(wǎng)絡執(zhí)行 BP 算法，不能使用傳統(tǒng)的一維搜索法求每次迭代的步長，而必須把步長的更新規(guī)則預先賦予網(wǎng)絡，這種方法也會引起算法低效。以上種種，導致了 BP 神經(jīng)網(wǎng)絡算法收斂速度慢的現(xiàn)象。 （ 3） BP 神經(jīng)網(wǎng)絡結構選擇不一： BP 神經(jīng)網(wǎng)絡結構的選擇至今尚無一種統(tǒng)一而完整的理論指導，一般只能由經(jīng)驗選定。網(wǎng)絡結構選擇過大，訓練中 效率不高，可能出現(xiàn)過擬合現(xiàn)象，造成網(wǎng)絡性能低，容錯性下降，若選擇過小，則又會造成網(wǎng)絡可能不收斂。而網(wǎng)絡的結構直接影響網(wǎng)絡的逼近能力及推廣性質(zhì)。因此，應 14 用中如何選擇合適的網(wǎng)絡結構是一個重要的問題。 （ 4）應用實例與網(wǎng)絡規(guī)模的矛盾問題： BP 神經(jīng)網(wǎng)絡難以解決應用問題的實例規(guī)模和網(wǎng)絡規(guī)模間的矛盾問題，其涉及到網(wǎng)絡容量的可能性與可行性的關系問題，即學習復雜性問題。 （ 5） BP 神經(jīng)網(wǎng)絡預測能力和訓練能力的矛盾問題：預測能力也稱泛化能力或者推廣能力，而訓練能力也稱逼近能力或者學習能力。一般情況下，訓練能力差時，預測能力也 差，并且一定程度上，隨著訓練能力地提高，預測能力會得到提高。但這種趨勢不是固定的，其有一個極限，當達到此極限時，隨著訓練能力的提高，預測能力反而會下降，也即出現(xiàn)所謂“過擬合”現(xiàn)象。出現(xiàn)該現(xiàn)象的原因是網(wǎng)絡學習了過多的樣本細節(jié)導致，學習出的模型已不能反映樣本內(nèi)含的規(guī)律，所以如何把握好學習的度，解決網(wǎng)絡預測能力和訓練能力間矛盾問題也是 BP 神經(jīng)網(wǎng)絡的重要研究內(nèi)容。 （ 6） BP 神經(jīng)網(wǎng)絡樣本依賴性問題：網(wǎng)絡模型的逼近和推廣能力與學習樣本的典型性密切相關，而從問題中選取典型樣本實例組成訓練集是一個很困難的問題。 15 第三章 BP 神經(jīng)網(wǎng)絡的應用 快速發(fā)展的 Matlab 軟件為神經(jīng)網(wǎng)絡理論的實現(xiàn)提供了一種便利的仿真手段。Matlab 神經(jīng)網(wǎng)絡工具箱的出現(xiàn)，更加拓寬了神經(jīng)網(wǎng)絡的應用空間。神經(jīng)網(wǎng)絡工具箱將很多原本需要手動計算的工作交給計算機，一方面提高了工作效率，另一方面，還提高了計算的準確度和精度，減輕了工程人員的負擔。 神經(jīng)網(wǎng)絡工具箱是在 MATLAB 環(huán)境下開發(fā)出來的許多工具箱之一。它以人工神經(jīng)網(wǎng)絡理論為基礎，利用 MATLAB 編程語言構造出許多典 型神經(jīng)網(wǎng)絡的框架和相關的函數(shù)。這些工具箱函數(shù)主要為兩大部分。一部分函數(shù)特別針對某一種類型的神經(jīng)網(wǎng)絡的，如感知器的創(chuàng)建函數(shù)、 BP 網(wǎng)絡的訓練函數(shù)等。而另外一部分函數(shù)則是通用的，幾乎可以用于所有類型的神經(jīng)網(wǎng)絡，如神經(jīng)網(wǎng)絡仿真函數(shù)、初始化函數(shù)和訓練函數(shù)等。這些函數(shù)的 MATLAB 實現(xiàn)，使得設計者對所選定網(wǎng)絡進行計算過程，轉變?yōu)閷瘮?shù)的調(diào)用和參數(shù)的選擇，這樣一來，網(wǎng)絡設計人員可以根據(jù)自己的的需要去調(diào)用工具箱中有關的設計和訓練程序，從煩瑣的編程中解脫出來，集中精力解決其他問題，從而提高工作效率。 基于 MATLAB 的 BP神經(jīng)網(wǎng)絡工具箱函數(shù) MATLAB 工具箱介紹 MATLAB 產(chǎn)品家族是美國 MathWorks 公司開發(fā)的用于概念設計 ,算法開發(fā) ,建模仿真 ,實時實現(xiàn)的理想的集成環(huán)境。由于其完整的專業(yè)體系和先進的設計開發(fā)思路，使得 MATLAB 在多種領域都有廣闊的應用空間，特別是在 MATLAB 的主要應用方向 — 科學計算、建模仿真以及信息工程系統(tǒng)的設計開發(fā)上已經(jīng)成為行業(yè)內(nèi)的首選設計工具，全球現(xiàn)有超過五十萬的企業(yè)用戶和上千萬的個人用戶，廣泛的分布在航空航天，金融財務，機械化工，電信，教育等各個行業(yè)。 在 MATLAB 產(chǎn)品家族中， MATLAB 工具箱是整個體系的基座，它是一個語言編程型（ M 語言）開發(fā)平臺，提供了體系中其他工具所需要的集成環(huán)境（比如M 語言的解釋器）。同時由于 MATLAB 對矩陣和線性代數(shù)的支持使得工具箱本身也具有強大的數(shù)學計算能力。 MATLAB 產(chǎn)品體系的演化歷程中最重要的一個體系變更是引入了 Simulink，用來對動態(tài)系統(tǒng)建模仿真。其框圖化的設計方式和良好的交互性，對工程人員本身計算機操作與編程的熟練程度的要求降到了最低，工程人員可以把更多的精力放到理論和技術的創(chuàng)新上去。 針對控制邏輯的開發(fā)，協(xié) 議棧的仿真等要求， MathWorks 公司在 Simulink 平臺上還提供了用于描述復雜事件驅動系統(tǒng)的邏輯行為的建模仿真工具 16 — Stateflow，通過 Stateflow，用戶可以用圖