【正文】 多人工神經(jīng)元構(gòu)成的，具有實(shí)時(shí)性與并行性 ，因此可以實(shí)現(xiàn)多種不同的行為。 （ 3）信息處理與存儲(chǔ)合二為一 神經(jīng)元不僅具有信息處理的功能，而且還具有信息存儲(chǔ)的功能，對(duì)信息的記憶與處理同時(shí)體現(xiàn)在神經(jīng)元之間權(quán)值的變化以及激勵(lì)函數(shù)對(duì)神經(jīng)元的影響中。此外，隨著反復(fù)學(xué)習(xí)和訓(xùn) 練樣本的增加，每個(gè)神經(jīng)元之間的權(quán)值會(huì)不斷地增大，神經(jīng)元的反映靈敏度便會(huì)得到相應(yīng)地提高。這種算法成為目前應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。各層必須包括一個(gè)或者多個(gè)人工神經(jīng)元，并且每層之間一般采用全互連的方式，即下層的單元與上層的單元之間都要實(shí)現(xiàn)全部連接，而同一層的各人工神經(jīng)元之間不能存在相互的連接，相鄰兩層的人工神經(jīng)元之間都通過(guò)可調(diào)的權(quán)值來(lái)連接，并且各人工神經(jīng)元之間不會(huì)存在反饋。每一個(gè)人工神經(jīng)元以加權(quán)和的形式來(lái)綜合它的全部或者一部分的輸入數(shù)據(jù)，并且根據(jù)選用的激活函數(shù)形式來(lái)產(chǎn)生 相對(duì)應(yīng)的輸出。 BP 算法的基本思路是：其學(xué)習(xí)的過(guò)程是由輸入信號(hào)的正方向進(jìn)行傳播與誤差的反方向進(jìn)行傳播這兩個(gè)過(guò)程構(gòu)成。如果輸出層實(shí)際的輸出與其期望的輸出不相符時(shí)，則便開(kāi)始進(jìn)入誤差的反方向傳播階段。這樣一種信號(hào)正方向的傳播與誤差反方向的傳播的各個(gè)層次的權(quán)值調(diào)整的過(guò)程是循環(huán)往復(fù)地進(jìn)行的。這個(gè)過(guò)程一直進(jìn)行到該神經(jīng)網(wǎng)絡(luò)輸出的誤差減小到某一個(gè)設(shè)定值，或者達(dá)到我們預(yù)先設(shè)定那個(gè)學(xué)習(xí)次數(shù)為止。設(shè)所訓(xùn)練的樣本為 ix ，輸入層與隱層之間的連接權(quán)值為 ijv ，隱層神經(jīng)元的閾值為 j? ，則計(jì)算隱層各個(gè)神經(jīng)元的輸出值的公式可以表示為： ?????? ?? ??nijiijj xvfy1? ? ?63? 為了更方便地表示，令 1, 00 ???? xv jj ? ，則隱層各個(gè)單元的輸出值公式可表示為： ????????? ??niiijj xvfy0 (3) 根據(jù)隱層各個(gè)單元的輸出 jy 、由隱層到輸出層的連接權(quán)值 ijw 和輸出層神經(jīng)元閾值 k? 便可以得到計(jì)算輸出層神經(jīng)元的輸出公式如下式所示： ???????? ?? ??mjkjjkk ywfo1? ? ?73? 同樣地為了方便起見(jiàn)，令 1, 00 ???? yw kk ? ，則輸出層神經(jīng)元的輸出值公式可表示為： ????????? ??mjjjkk ywfo0 (4) 計(jì)算實(shí)際輸出的值與期望的值之間的這個(gè)差值，判斷其差值是否小于我們預(yù)先進(jìn)行設(shè)定的誤差。利用梯度下降的方法求連接權(quán)值的變化，輸出層的連接權(quán)值修正公式表示為： jkkkjkjk wn e tn e tEwEw ??????????? ?? ? ?10 ??? ? ?83? 其中， ll lkk yw ?? ? ?93? 那么， jjklllkjkk ywywwn e t ?????????????? ? ? ?103? 所以有， jkjk yn etEwE ????? ? ?113? ? ?? ?kkkk don e tfn e tE ???? 39。 ? ?133? ? ? ? ?kkkkk oodon e tE ????? 1 ? ?143? 根據(jù)以上公式可以推導(dǎo)出隱含層到輸出層之間的連接權(quán)值的調(diào)整公式為： ? ? ? ? jkkkkjk yoodow ????? 1? ? ?153? 以及隱含層到輸入層之間的連接權(quán)值的調(diào)整公式為： ? ? ? ? ? ? ijjlkjkkkkkij xyywooodv ??????? ???? ??111? ? ?163? (5) 從樣本集合中順次選取下一個(gè)樣本對(duì)，返回步驟 (2)繼續(xù)進(jìn)行訓(xùn)練，直到所需要訓(xùn)練的樣本都已經(jīng)被訓(xùn)練完畢。 BP 算法訓(xùn)練流程圖如圖 34 所示： 青島大學(xué)本科生畢業(yè)論文（設(shè)計(jì)） 13 圖 34 BP 算法訓(xùn)練流程圖 標(biāo)準(zhǔn) BP 神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn) BP 網(wǎng)絡(luò)是目前世界上應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)之一，主要是由于基于 BP 算法的多層感知器具有以下一些吸引人的能力： (1) 非線(xiàn)性映射能力 BP 網(wǎng)絡(luò)通過(guò)學(xué)習(xí)存儲(chǔ)大量的輸入和輸出模式相對(duì)應(yīng)的映射關(guān)系，而并需要事先用知識(shí)性的數(shù)學(xué)方程來(lái)描述這種映射關(guān)系。這種問(wèn)題具有難以得非常準(zhǔn)確的解、缺乏專(zhuān)家的經(jīng)驗(yàn)、能夠轉(zhuǎn)化成為模式識(shí)別或者非線(xiàn)性映射的問(wèn)題的共同特點(diǎn)。 (2) 泛化能力 在將 BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練之后，其所輸入的樣本數(shù)據(jù)中的這種非線(xiàn)性的映射關(guān)系便被儲(chǔ)青島大學(xué)本科生畢業(yè)論文（設(shè)計(jì)） 14 存在該網(wǎng)絡(luò)的權(quán)值矩陣當(dāng)中，在以后的工作階段中，當(dāng)向該 BP 網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾出現(xiàn)過(guò)的非樣本數(shù) 據(jù)時(shí)，網(wǎng)絡(luò)也能照常完成由 m 維輸入空間到 n 維輸出空間的正確的映射關(guān)系。 (3) 容錯(cuò)能力 BP 網(wǎng)絡(luò)還允許有較大誤差的輸入樣本。 然而隨著 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用范圍的逐步擴(kuò)大，其也逐步顯露出了越來(lái)越多的缺陷和不足之處，例如： (1) BP 算法容易陷入局部極值并且達(dá)不到全面的優(yōu)化 從數(shù)學(xué)的角度來(lái)看， 傳統(tǒng) 的 BP 神經(jīng)網(wǎng)絡(luò)是一種按局部進(jìn)行搜索來(lái)優(yōu)化的一種方法，它所要解決的就是一個(gè)復(fù)雜的非線(xiàn)性化問(wèn)題，沿局部改善的方向逐漸調(diào)整網(wǎng)絡(luò)的權(quán)值，這樣會(huì)使 BP 算法陷入局部極值，權(quán)值收斂于一個(gè)局部極小點(diǎn)，從而使網(wǎng)絡(luò)訓(xùn)練失敗。 (2) BP 神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)時(shí)其收斂的速度比較慢 由于 BP 神經(jīng)網(wǎng)絡(luò)算法在本質(zhì)上來(lái)說(shuō)是一種梯度下降法，而它所要進(jìn)行優(yōu)化的目標(biāo)函數(shù)又是十分復(fù)雜的，因此，必然會(huì)出現(xiàn)“鋸齒形現(xiàn)象”， 這將使得 BP 算法低效；同時(shí)由于所要優(yōu)化的目標(biāo)函數(shù)也很復(fù)雜，它必然會(huì)在 BP 神經(jīng)元輸出接近 0 或 1 的時(shí)候，得到一些較為平坦的區(qū)域，這時(shí)權(quán)值誤差改變的量非常得小，這將使得該網(wǎng)絡(luò)的訓(xùn)練過(guò)程變得十分緩慢；在 BP 神經(jīng)網(wǎng)絡(luò)的模型當(dāng)中，為了使該網(wǎng)絡(luò)可以順利地執(zhí)行 BP 算法，我們就不能使用所謂傳統(tǒng)的一維搜索方法來(lái)求每一次迭代所得的步長(zhǎng)，而必須先把該步長(zhǎng)更新的規(guī)則預(yù)先賦予給該 BP 網(wǎng)絡(luò)，這種方法也會(huì)產(chǎn)生 BP 算法的低效性能。 (3) 網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù) (包括隱層數(shù)、隱層神經(jīng)元數(shù) )和運(yùn)算 參數(shù) (如學(xué)習(xí)速率、非線(xiàn)性函數(shù)等 )的選取一般缺乏理論上的指導(dǎo)，都是在經(jīng)驗(yàn)的基礎(chǔ)上來(lái)確定的，因此，這將導(dǎo)致網(wǎng)絡(luò)往往會(huì)具有很大的冗余性，同時(shí)也增加了網(wǎng)絡(luò)學(xué)習(xí)的時(shí)間。 (1) 增加動(dòng)量項(xiàng) 標(biāo)準(zhǔn)的 BP 算法在進(jìn)行調(diào)整權(quán)值的過(guò)程當(dāng)中，只按照 N 時(shí)刻的誤差梯度下降的方向來(lái)進(jìn)行調(diào)整， 而從不考慮 N 時(shí)刻以前的梯度下降的方向，這往往會(huì)使訓(xùn)練的過(guò)程發(fā)生一些振蕩，收斂的速度也會(huì)變得比較緩慢。 現(xiàn)在就以輸出層作為例子，則其權(quán)值調(diào)整向量表達(dá)式為： ? ? ? ?1???????? NwwENw jkjkjk ?? ? ?173? 從上式我們可以看出，增加一個(gè)動(dòng)量項(xiàng)這種方法就是從前一次的 權(quán)值的調(diào)整量當(dāng)中取 出一些量來(lái)疊加到本次權(quán)值的調(diào)整量中，其中 ? ?1,0?? 被稱(chēng)之為動(dòng)量因子。特別 是當(dāng)誤差的曲面上突然出現(xiàn)變化時(shí)，增加動(dòng)量項(xiàng)這種方法便可以減小網(wǎng)絡(luò)振蕩的趨勢(shì)，提 高我們對(duì)其進(jìn)行訓(xùn)練的速度。從誤差的曲面上我們就可以得到，在比較平滑的一塊區(qū)域內(nèi)如果 ? 非常小就會(huì)增加該網(wǎng)絡(luò)所需訓(xùn)練的次數(shù)，這樣我們便希望可以增大 ? 值；而在誤差變化非常劇烈的區(qū)域內(nèi)， ? 太大則會(huì)由于調(diào)整量太大而跨過(guò)比較窄的“坑凹”處，使訓(xùn)練過(guò)程出現(xiàn)振蕩，這樣就使迭代的次數(shù)增加。自適應(yīng)調(diào)節(jié)學(xué)習(xí)速率的調(diào)整公式為： ??k? ? ? ? ?kEkE ??1 ? ?1?k? = ? ?k? ? ? ? ?kEkE ??? ? ?183? ??k? 其它 其中， ??kE 表示第 k 次神經(jīng)網(wǎng)絡(luò)訓(xùn)練后所得到的誤差平方和， ??k? 表示第 k 次訓(xùn)練神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率，自適應(yīng)的調(diào)節(jié)學(xué)習(xí)速率可以縮短網(wǎng)絡(luò)訓(xùn)練所花費(fèi)的時(shí)間。 BP 網(wǎng)絡(luò)預(yù)測(cè)方法設(shè)計(jì) 設(shè)某一時(shí)間序列為 ? ?iX ，其中該時(shí)間序列的歷史數(shù)據(jù)為 mnnn XXX ?? ??? , 1 ，對(duì)未來(lái)n+m+k (k0)時(shí)刻的該序列的取值進(jìn)行相應(yīng)的預(yù)測(cè)，即預(yù)測(cè) kmnX ?? (k0)的某一種非線(xiàn)性的函數(shù)關(guān)系： ? ?mnnnkmn XXXFX ???? ???? , 1 ? ?14? 我們經(jīng)常使用如下三種預(yù)測(cè)： (1) 單步預(yù)測(cè) ? ?1k? 單步預(yù)測(cè)是指當(dāng)該神經(jīng)網(wǎng)絡(luò)所有輸入的數(shù)據(jù)都是在時(shí)間序列下的實(shí)際值時(shí)所進(jìn)行的預(yù)測(cè)。 ??mnX ，若想要繼續(xù)對(duì)2??mnX 的值進(jìn)行預(yù)測(cè)，則必須使用實(shí)際值 121 , ???? ??? mnnn XXX 來(lái)作為網(wǎng)絡(luò)輸入的數(shù)據(jù)，便可以得到預(yù)測(cè)的值 239。 (2) 多步預(yù)測(cè) ? ?1k? 多部預(yù)測(cè)是指當(dāng) BP 神經(jīng)網(wǎng)絡(luò)開(kāi)始輸入所要求的歷史數(shù)據(jù)的時(shí)候，網(wǎng)絡(luò)輸出的便是kmnmnmn XXX ????? ??? , 1這些預(yù)測(cè)的值 。這可能是由于在網(wǎng)絡(luò)調(diào)整其權(quán)值與閥值的時(shí)候，每一次迭代過(guò)程都要累加前一次 k 個(gè)預(yù)測(cè)的值的誤差，因而便造成此網(wǎng)絡(luò)難以收斂于某個(gè)值，甚至可能導(dǎo)致該網(wǎng)絡(luò)發(fā)生嚴(yán)重振蕩的情況。假若開(kāi)始進(jìn)行預(yù)測(cè)的時(shí)候，其輸 入的數(shù)據(jù)是時(shí)序?qū)嶋H青島大學(xué)本科生畢業(yè)論文（設(shè)計(jì)） 17 的值 mnnn XXX ?? ??? , 1 ，其輸出便是下一個(gè)時(shí)間點(diǎn)的預(yù)測(cè)的值 139。 ??mnX 與 mnnn XXX ??? ??? , 21 一起作為該網(wǎng)絡(luò)輸入的數(shù)據(jù)對(duì) 239。 ??mnX ，再將 239。32 , ???? ??? mnnn XXX 作為該網(wǎng)絡(luò)輸入的數(shù)據(jù)對(duì) 339。如下表 41 所示，便可以預(yù)測(cè)未來(lái) q 個(gè)時(shí)刻的值。 ??mnX 2 139。 ??mnX ... ... ... q 139。 表 41 滾動(dòng)預(yù)測(cè) 可見(jiàn)，當(dāng) q? l 時(shí)，輸入的數(shù)據(jù)一般不只是時(shí)序?qū)嶋H的觀測(cè)值，同時(shí)也包含預(yù)測(cè)的值，特別是當(dāng) q? m 時(shí)，全部輸入的數(shù)據(jù)都是預(yù)測(cè)的值。我們要實(shí)現(xiàn)短時(shí)間的投資預(yù)測(cè)就得使用單步預(yù)測(cè)的方法；而時(shí)間序列比較長(zhǎng)一些的預(yù)測(cè)一般可以采用迭代一步來(lái)進(jìn)行預(yù)測(cè)，即像前面講訴的方法那樣來(lái)用一個(gè)短時(shí)間的預(yù)測(cè)模型來(lái)進(jìn)行逐步的預(yù)測(cè)，將預(yù)測(cè)得到的數(shù)據(jù)反饋給預(yù)測(cè)的模型作為輸入量來(lái)繼續(xù)進(jìn)行預(yù)測(cè)。 預(yù)測(cè)模型參數(shù)的選擇 青島大學(xué)本科生畢業(yè)論文（設(shè)計(jì)） 18 預(yù)測(cè)模型設(shè)計(jì)主要需 要確定輸入輸出層的節(jié)點(diǎn)數(shù)目、所建立網(wǎng)絡(luò)的層數(shù)、所需隱層節(jié)點(diǎn)的數(shù)目、激活函數(shù)的類(lèi)型、訓(xùn)練的終止條件等等。 (2) 網(wǎng)絡(luò)層數(shù)的選取 實(shí)驗(yàn)已經(jīng)證實(shí)，任何一個(gè)三層的 BP 網(wǎng)絡(luò)都可以近似地表示任何一個(gè)連續(xù)可微的非線(xiàn)性函數(shù)。故本文采用三層次的網(wǎng)絡(luò)進(jìn)行股市預(yù)測(cè)。確定最佳的隱節(jié)點(diǎn)數(shù)的一個(gè)非常常用的方法是試湊法，即可以首先設(shè)置比較少的隱節(jié)點(diǎn)來(lái)訓(xùn)練所建立的網(wǎng)絡(luò)，然后再逐漸增加其隱節(jié)點(diǎn)的數(shù)目，利用同一個(gè)樣本來(lái)進(jìn)行訓(xùn)練，從其中來(lái)確定網(wǎng)絡(luò)的誤差達(dá)到最小時(shí)做所對(duì)應(yīng)的隱節(jié)點(diǎn)的數(shù)目。在這篇文章中將采用式 ? ?24? 來(lái)確定網(wǎng)絡(luò)所需隱層節(jié)點(diǎn)的大致數(shù)目，然后再通過(guò)進(jìn)行反復(fù)的試驗(yàn)來(lái)得到具體的節(jié)點(diǎn)數(shù)。其表 達(dá)式如 式（ 35）所示。設(shè)計(jì)時(shí)應(yīng)可根據(jù)用戶(hù)需求來(lái)設(shè)定其值。 BP 網(wǎng)絡(luò)在 MATLAB 中的實(shí)現(xiàn) (1) BP 神經(jīng)網(wǎng)絡(luò)的生成及初始化 一個(gè) BP 神經(jīng)網(wǎng)絡(luò)可以利用 newff 函數(shù)生成。newff 函數(shù)建立了一個(gè)神經(jīng)網(wǎng)絡(luò)并且對(duì)這個(gè)網(wǎng)絡(luò)的權(quán)值與閾值賦予了初值，用戶(hù)可以根據(jù)自己的需要來(lái)重新進(jìn)行定義各層網(wǎng)絡(luò)的初始化函數(shù)。其常用格式為： ? ? ? ?Ai,Pi,T,P,N E Tt r a i nAf,Pf,E,Y,tr,n e t ? 其中， NET 為等待訓(xùn)練的 BP 神經(jīng)網(wǎng)絡(luò)；此時(shí) P 為網(wǎng)絡(luò)的輸入信號(hào)； T 為網(wǎng)絡(luò)的目標(biāo)，一般為 0； Pi 為初始的輸入延遲，一般為 0； Ai 為初始的層次延遲，一般為 0； 為訓(xùn)練后得到的的 BP 神經(jīng)網(wǎng)絡(luò)； tr 為網(wǎng)絡(luò) 在訓(xùn)練過(guò)程中得到的記錄； Y 為該 BP 網(wǎng)絡(luò)的輸出信號(hào)；E 為 BP 網(wǎng)絡(luò)的誤差； Pf 為最終輸入的延遲； Af 為最終層的延遲。 (3) BP 神經(jīng)網(wǎng)絡(luò)的仿真 采用 sim 函數(shù)可以對(duì)我們所建立的 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真。 此外，在 MATLAB 工具箱中提供了 postreg