【正文】 經(jīng)元構(gòu)成的，具有實時性與并行性，因此可以實現(xiàn)多種不同的行為。 （ 3）信息處理與存儲合二為一 神經(jīng)元不僅具有信息處理的功能，而且還具有信息存儲的功能，對信息的記憶與處理同時體現(xiàn)在神經(jīng)元之間權(quán)值的變化以及激勵函數(shù)對神經(jīng)元的影響中。此外，隨著反復(fù)學(xué)習(xí)和訓(xùn)練樣本的增加，每個神經(jīng)元之間的權(quán)值會不斷地增大，神經(jīng)元的反映靈敏度便會得到相應(yīng)地提高。這種算法成為目前應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。各層必須包括一個或者多個人工神經(jīng)元，并且每層之間一般采用全互連的方式，即下層的單元與上層的單元之間都要實現(xiàn)全部連接，而同一層的各人工神經(jīng)元之間不能存在相互的連接，相鄰兩層的人工神經(jīng)元之間都通過可調(diào)的權(quán)值來連接，并且各人工神經(jīng)元之間不會存在反饋。每一個人工神經(jīng)元以加權(quán)和的形式來綜合它的 全部或者一部分的輸入數(shù)據(jù)，并且根據(jù)選用的激活函數(shù)形式來產(chǎn)生相對應(yīng)的輸出。 BP 算法的基本思路是：其學(xué)習(xí)的過程是由輸入信號的正方向進(jìn)行傳播與誤差的反方向進(jìn)行傳播這兩個過程構(gòu)成。如果輸出層實際的輸出與其期望的輸出不相符時，則便開始進(jìn)入誤差的反方向傳播階段。這樣一種信號正方向的傳播與誤差反方向的傳播的各個層次的權(quán)值調(diào)整的過程是循環(huán)往復(fù)地進(jìn)行的。這個過程一直進(jìn)行到該神經(jīng)網(wǎng)絡(luò)輸出的誤差減小到某一個設(shè)定值，或者達(dá)到我們預(yù)先設(shè)定那個學(xué)習(xí)次數(shù)為止。設(shè)所訓(xùn)練的樣本為 ix ，輸入層與隱層之間的連接權(quán)值為 ijv ，隱層神經(jīng)元的閾值為 j? ，則計算隱層各個神經(jīng)元的輸出值的公式可以表示為： ?????? ?? ??nijiijj xvfy1? ? ?63? 為了更方便地表示，令 1, 00 ???? xv jj ? ，則隱層各個單元的輸出值公式可表示為： ????????? ??niiijj xvfy0 (3) 根據(jù)隱層各個單元的輸出 jy 、由隱層到輸出層的連接權(quán)值 ijw 和輸出層神經(jīng)元閾值 k? 便可以得到計算輸出層神經(jīng)元的輸出公式如下式所示： ???????? ?? ??mjkjjkk ywfo1? ? ?73? 同樣地為了方便起見，令 1, 00 ???? yw kk ? ，則輸出層神經(jīng)元的輸出值公式可表示為： ????????? ??mjjjkk ywfo0 (4) 計算實際輸出的值與期望的值之間的這個差值，判斷其差值是否小于 我們預(yù)先進(jìn)行設(shè)定的誤差。利用梯度下降的方法求連接權(quán)值的變化，輸出層的連接權(quán)值修正公式表示為： jkkkjkjk wn e tn e tEwEw ??????????? ?? ? ?10 ??? ? ?83? 其中， ll lkk yw ?? ? ?93? 那么， jjklllkjkk ywywwn e t ?????????????? ? ? ?103? 所以有， jkjk yn etEwE ????? ? ?113? ? ?? ?kkkk don e tfn e tE ???? 39。 ? ?133? ? ? ? ?kkkkk oodon e tE ????? 1 ? ?143? 根據(jù)以上公式可以推導(dǎo)出隱含層到輸出層之間的連接權(quán)值的調(diào)整公式為： ? ? ? ? jkkkkjk yoodow ????? 1? ? ?153? 以及隱含層到輸入層之間的連接權(quán)值的調(diào)整公式為： ? ? ? ? ? ? ijjlkjkkkkkij xyywooodv ??????? ???? ??111? ? ?163? (5) 從樣本集合中順次選取下一個樣本對，返回步驟 (2)繼續(xù)進(jìn) 行訓(xùn)練，直到所需要訓(xùn)練的樣本都已經(jīng)被訓(xùn)練完畢。 BP 算法訓(xùn)練流程圖如圖 34 所示： 青島大學(xué)本科生畢業(yè)論文（設(shè)計） 13 圖 34 BP 算法訓(xùn)練流程圖 標(biāo)準(zhǔn) BP 神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點 BP 網(wǎng)絡(luò)是目前世界上應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)之一，主要是由于基于 BP 算法的多層感知器具有以下一些吸引人的能力： (1) 非線性映射能力 BP 網(wǎng)絡(luò)通過學(xué)習(xí)存儲大量的輸入和輸出模式相對應(yīng)的映射關(guān)系，而并需要事先用知識性的數(shù)學(xué)方程來描述這種映射關(guān)系。這種問題具有難以得非常準(zhǔn)確的解、缺乏專家的經(jīng)驗、能夠轉(zhuǎn)化成為模式識別或者非線性映射的問題的共同特點。 (2) 泛化能力 在將 BP 神 經(jīng)網(wǎng)絡(luò)訓(xùn)練之后，其所輸入的樣本數(shù)據(jù)中的這種非線性的映射關(guān)系便被儲青島大學(xué)本科生畢業(yè)論文（設(shè)計） 14 存在該網(wǎng)絡(luò)的權(quán)值矩陣當(dāng)中，在以后的工作階段中，當(dāng)向該 BP 網(wǎng)絡(luò)輸入訓(xùn)練時未曾出現(xiàn)過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能照常完成由 m維輸入空間到 n維輸出空間的正確的映射關(guān)系。 (3) 容錯能力 BP 網(wǎng)絡(luò)還允許有較大誤差的輸入樣本。 然而隨著 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用范圍的逐步擴大，其也逐步顯露出了越來越多的缺陷和不足之處，例如： (1) BP 算法容易陷入局部極值并且達(dá)不到全面的優(yōu)化 從數(shù)學(xué)的角度來看， 傳統(tǒng)的 BP 神經(jīng)網(wǎng)絡(luò)是一種按局部進(jìn)行搜索來優(yōu)化的一種方法，它所要解決的就是一個復(fù)雜的非線性化問題，沿局部改善的方向逐漸調(diào)整網(wǎng)絡(luò)的權(quán)值，這樣會使 BP 算法陷入局部極值，權(quán)值收斂于一個局部極小點，從而使網(wǎng)絡(luò)訓(xùn)練失敗。 (2) BP 神經(jīng)網(wǎng) 絡(luò)在學(xué)習(xí)時其收斂的速度比較慢 由于 BP 神經(jīng)網(wǎng)絡(luò)算法在本質(zhì)上來說是一種梯度下降法，而它所要進(jìn)行優(yōu)化的目標(biāo)函數(shù)又是十分復(fù)雜的，因此，必然會出現(xiàn)“鋸齒形現(xiàn)象”，這將使得 BP 算法低效；同時由于所要優(yōu)化的目標(biāo)函數(shù)也很復(fù)雜，它必然會在 BP 神經(jīng)元輸出接近 0 或 1 的時候，得到一些較為平坦的區(qū)域，這時權(quán)值誤差改變的量非常得小，這將使得該網(wǎng)絡(luò)的訓(xùn)練過程變得十分緩慢；在 BP 神經(jīng)網(wǎng)絡(luò)的模型當(dāng)中，為了使該網(wǎng)絡(luò)可以順利地執(zhí)行 BP 算法，我們就不能使用所謂傳統(tǒng)的一維搜索方法來求每一次迭代所得的步長，而必須先把該步長更新的規(guī)則預(yù)先賦予給該 BP 網(wǎng)絡(luò)，這種方法也會產(chǎn)生 BP 算法的低效性能。 (3) 網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù) (包括隱層數(shù)、隱層神經(jīng)元數(shù) )和運算參數(shù) (如學(xué)習(xí)速率、非線性函數(shù)等 )的選取一般缺乏理論上的指導(dǎo)，都是在經(jīng)驗的基礎(chǔ)上來確定的，因此，這將導(dǎo)致網(wǎng)絡(luò)往往會具有很大的冗余性，同時也增加了網(wǎng)絡(luò)學(xué)習(xí)的時間。 (1) 增加動量項 標(biāo)準(zhǔn)的 BP 算法在進(jìn)行調(diào)整權(quán)值的過程當(dāng)中，只按照 N 時刻的誤差梯度下降的方向來進(jìn)行調(diào)整，而從不考慮 N 時刻以前的梯度下降的方向，這往往會使訓(xùn)練的過程發(fā)生一些振蕩，收斂的速度也會變得比較緩慢。 現(xiàn)在就以輸出層作為例子，則其權(quán)值調(diào)整向量表達(dá)式為： ? ? ? ?1???????? NwwENw jkjkjk ?? ? ?173? 從上式我們可以看出，增加一個動量項這種方法就是從前一次的權(quán)值的調(diào)整量當(dāng)中取 出一些量來疊加到本次權(quán)值的調(diào)整量中，其中 ? ?1,0?? 被稱之為動量因子。特別 是當(dāng)誤 差的曲面上突然出現(xiàn)變化時，增加動量項這種方法便可以減小網(wǎng)絡(luò)振蕩的趨勢，提 高我們對其進(jìn)行訓(xùn)練的速度。從誤差的曲面上我們就可以得到，在比較平滑的一塊區(qū)域內(nèi)如果 ? 非常小就會增加 該網(wǎng)絡(luò)所需訓(xùn)練的次數(shù)，這樣我們便希望可以增大 ? 值；而在誤差變化非常劇烈的區(qū)域內(nèi)， ? 太大則會由于調(diào)整量太大而跨過比較窄的“坑凹”處，使訓(xùn)練過程出現(xiàn)振蕩，這樣就使迭代的次數(shù)增加。自適應(yīng)調(diào)節(jié)學(xué)習(xí)速率的調(diào)整公式為： ??k? ? ? ? ?kEkE ??1 ? ?1?k? = ? ?k? ? ? ? ?kEkE ??? ? ?183? ??k? 其它 其中， ??kE 表示第 k 次神經(jīng)網(wǎng)絡(luò)訓(xùn)練后所得到的誤差平方和， ??k? 表示第 k 次訓(xùn)練神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率，自適應(yīng)的調(diào)節(jié)學(xué)習(xí)速率可以縮短網(wǎng)絡(luò)訓(xùn)練所花費的時間。 BP 網(wǎng)絡(luò)預(yù)測方法設(shè)計 設(shè)某一時間序列為 ? ?iX ，其中該時間序列的歷史數(shù)據(jù)為 mnnn XXX ?? ??? , 1 ，對未來n+m+k (k0)時刻的該序列的取值進(jìn)行相應(yīng)的預(yù)測，即預(yù)測 kmnX ?? (k0)的某 一種非線性的函數(shù)關(guān)系： ? ?mnnnkmn XXXFX ???? ???? , 1 ? ?14? 我們經(jīng)常使用如下三種預(yù)測： (1) 單步預(yù)測 ? ?1k? 單步預(yù)測是指當(dāng)該神經(jīng)網(wǎng)絡(luò)所有輸入的數(shù)據(jù)都是在時間序列下的實際值時所進(jìn)行的預(yù)測。 ??mnX ，若想要繼續(xù)對2??mnX 的值進(jìn)行預(yù)測，則必須使用實際值 121 , ???? ??? mnnn XXX 來作為網(wǎng)絡(luò)輸入的數(shù)據(jù)，便可以得到預(yù)測的值 239。 (2) 多步預(yù)測 ? ?1k? 多部預(yù)測是指當(dāng) BP 神經(jīng)網(wǎng)絡(luò)開始輸入所要求的歷史數(shù)據(jù)的時候，網(wǎng)絡(luò)輸出的便是kmnmnmn XXX ????? ??? , 1這些預(yù)測的值。這可能是由于在網(wǎng)絡(luò)調(diào)整其權(quán)值與閥值的時候，每一次迭代過程都要累加前一次 k 個預(yù)測的值的誤差，因而便造成此網(wǎng)絡(luò)難以收斂于某個值，甚至可能導(dǎo)致該網(wǎng)絡(luò)發(fā)生嚴(yán)重振蕩的情況。假若開始進(jìn)行預(yù)測的時候，其輸入的數(shù)據(jù)是時序?qū)嶋H青島大學(xué)本科生畢業(yè)論文（設(shè)計） 17 的值 mnnn XXX ?? ??? , 1 ，其輸出便是下一個時間點的預(yù)測的值 139。 ??mnX 與 mnnn XXX ??? ??? , 21 一起作為該網(wǎng)絡(luò)輸入的數(shù)據(jù)對 239。 ??mnX ，再將 239。32 , ???? ??? mnnn XXX 作為該網(wǎng)絡(luò)輸入的數(shù)據(jù)對 339。如下表 41 所示，便可以預(yù)測未來 q 個時刻的值。 ??mnX 2 139。 ??mnX ... ... ... q 139。 表 41 滾動預(yù)測 可見，當(dāng) q? l 時，輸入的數(shù)據(jù)一般不只是時序?qū)嶋H的觀測值，同時也包含預(yù)測的值，特別是當(dāng) q? m 時，全部輸入的數(shù)據(jù)都是預(yù)測的值。我們要實現(xiàn)短時間的投資預(yù)測就得使用單步預(yù)測的方法；而時間序列比較長一些的預(yù)測一般可以采用迭代一步來進(jìn)行預(yù)測，即像前面講訴的 方法那樣來用一個短時間的預(yù)測模型來進(jìn)行逐步的預(yù)測，將預(yù)測得到的數(shù)據(jù)反饋給預(yù)測的模型作為輸入量來繼續(xù)進(jìn)行預(yù)測。 預(yù)測模型參數(shù)的選擇 青島大學(xué)本科生畢業(yè)論文（設(shè)計） 18 預(yù)測模型設(shè)計主要需要確定輸入輸出層的節(jié)點數(shù)目、所建立網(wǎng)絡(luò)的層數(shù)、所需隱層節(jié)點的數(shù)目、激活函數(shù)的類型、訓(xùn)練的終止條件等等。 (2) 網(wǎng)絡(luò)層數(shù)的選取 實驗已經(jīng)證實，任何一個三層的 BP 網(wǎng)絡(luò)都可以近似地表示任何一個連續(xù)可微的非線性函數(shù)。故本文采用三層次的網(wǎng)絡(luò)進(jìn)行股市預(yù)測。確定最佳的隱節(jié)點數(shù)的一個非常常用的方法是試湊法，即可以首先設(shè)置比較少的隱節(jié)點來訓(xùn)練所建立的網(wǎng)絡(luò)，然后再逐漸增加其隱節(jié)點的數(shù)目，利用同一個樣本來進(jìn)行訓(xùn)練，從其中來確定網(wǎng)絡(luò)的誤差達(dá)到最小時做所對應(yīng)的隱節(jié)點的數(shù)目。在這篇文章中將采用式 ? ?24? 來確定網(wǎng)絡(luò)所需隱層節(jié)點的大致數(shù)目，然后再通過進(jìn)行反復(fù)的試驗來得到具體的節(jié)點數(shù)。其表達(dá)式如 式（ 35）所示。設(shè)計時應(yīng)可根據(jù)用戶需求來設(shè)定其值。 BP 網(wǎng)絡(luò)在 MATLAB 中的實現(xiàn) (1) BP 神經(jīng)網(wǎng)絡(luò)的生成及初始化 一個 BP 神經(jīng)網(wǎng)絡(luò)可 以利用 newff 函數(shù)生成。newff 函數(shù)建立了一個神經(jīng)網(wǎng)絡(luò)并且對這個網(wǎng)絡(luò)的權(quán)值與閾值賦予了初值，用戶可以根據(jù)自己的需要來重新進(jìn)行定義各層網(wǎng)絡(luò)的初始化函數(shù)。其常用格式為： ? ? ? ?Ai,Pi,T,P,N E Tt r a i nAf,Pf,E,Y,tr,n e t ? 其中， NET 為等待訓(xùn)練的 BP 神經(jīng)網(wǎng)絡(luò)；此時 P 為網(wǎng)絡(luò)的輸入信號； T 為網(wǎng)絡(luò)的目標(biāo)，一般為 0； Pi 為初始的輸入延遲，一般為 0； Ai 為初始的層次延遲，一般為 0； 為訓(xùn)練后得到 的的 BP 神經(jīng)網(wǎng)絡(luò)； tr 為網(wǎng)絡(luò)在訓(xùn)練過程中得到的記錄； Y 為該 BP 網(wǎng)絡(luò)的輸出信號；E 為 BP 網(wǎng)絡(luò)的誤差； Pf 為最終輸入的延遲； Af 為最終層的延遲。 (3) BP 神經(jīng)網(wǎng)絡(luò)的仿真 采用 sim 函數(shù)可以對我們所建立的 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真。 此外，在 MATLAB 工具箱中提供了 postreg 函數(shù) ， 可以 利