【正文】 輸出信號傳給其它神經(jīng)元。突觸（儲存信息）：軸突和樹突的結(jié)合點（兩神經(jīng)元之間）。例如，新記憶的形成是通過改變突觸的強度（液狀體）來實現(xiàn)。人工神經(jīng)元人工神經(jīng)元是生物神經(jīng)元的簡單的模仿、簡化和抽象，是一個極其簡單的計算單元（函數(shù)）。 1943年，在神經(jīng)網(wǎng)絡研究的早期，由McCulloch(神經(jīng)解剖學家)和Pitts(數(shù)學家)提出的MP模型是一種簡單的人工神經(jīng)元模型。在該模型中，神經(jīng)元的活動表現(xiàn)為“興奮”和“抑制”兩種狀態(tài)，其基本工作原理與如下的閾值單元模型基本相同。 圖2 人工神經(jīng)元模型上述人工神經(jīng)元實現(xiàn)了的極其簡單的非線性函數(shù)映射處理，即：，其中：—輸入（來自其它神經(jīng)元的信號）；—輸出(軸突上的電信號)；—權(quán)值(突觸的強度)；—閾值、門限；—激活函數(shù)、傳輸函數(shù)。：激活函數(shù)、網(wǎng)絡結(jié)構(gòu)、學習規(guī)則。1. 激活函數(shù)：它用于對求和單元的計算結(jié)果進行函數(shù)運算得到神經(jīng)元的輸出。下面是幾種典型的神經(jīng)元的激活函數(shù)。(1) 線性激活函數(shù)： （用于線性自適應網(wǎng)絡）(2) 硬限幅激活函數(shù)： （用于感知器網(wǎng)絡）(3) 對數(shù)(S形)激活函數(shù)：， 性質(zhì)：2. 網(wǎng)絡結(jié)構(gòu)：在此只介紹最重要的單隱層的前向網(wǎng)絡結(jié)構(gòu)。(a) 網(wǎng)絡結(jié)構(gòu) 圖3 單隱層的前向網(wǎng)絡其中第一層的輸出表示為：，最終輸出為：（的非線性映射）=, （其中：—第k層第i個神經(jīng)元、第j個輸入的權(quán)值。—第k層第i個神經(jīng)元的閾值。）(b) 逼近能力介紹現(xiàn)已證明：如上的單隱層(兩層)前向網(wǎng)絡（但選取第一層為對數(shù)S形激活函數(shù)，蘇楚成取線性激活函數(shù)）可任意精度的逼近中的任意函數(shù)。（此證明較難，在此略去）3. 學習規(guī)則（訓練規(guī)則）：為了使網(wǎng)絡完成給定的任務，利用訓練樣本修正網(wǎng)絡權(quán)值和閾值的方法和過程。對于不同的網(wǎng)絡拓撲結(jié)構(gòu)和算法實現(xiàn)所選擇的學習規(guī)則都各有不同。：有監(jiān)督學習和無監(jiān)督學習。，其訓練樣本具有如下形式：，, …, .其中 —網(wǎng)絡的輸入； —網(wǎng)絡的目標輸出。利用訓練樣本，調(diào)節(jié)網(wǎng)絡的參數(shù)，使網(wǎng)絡對應的輸出逼近，其訓練樣本為：；利用訓練樣本，調(diào)節(jié)網(wǎng)絡的參數(shù)，以表示輸入的某種固有特征(如聚類、某種統(tǒng)計上的分布特征)。 BP神經(jīng)網(wǎng)絡介紹由于BP神經(jīng)網(wǎng)絡已廣泛應用于函數(shù)逼近、模式識別／分類、數(shù)據(jù)壓縮等領域,它也是前饋網(wǎng)絡的核心內(nèi)容,是人工神經(jīng)網(wǎng)絡最精的部分。因此，在此我們只詳細的探討B(tài)P網(wǎng)絡的結(jié)構(gòu)和相關(guān)算法。 BP神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu) 單隱層前向網(wǎng)絡 一般層 (第層結(jié)構(gòu) ()) 其中，激活函數(shù)：Sigmoid激活函數(shù):；對稱的Sigmoid激活函數(shù):；線性激活函數(shù): (輸出層，函數(shù)逼近)如果多層前向網(wǎng)絡的輸出層采用Sigmoid激活函數(shù),其輸出值將會限制在范圍 (0,l) 內(nèi)（通常用于分類問題）；如果多層前向網(wǎng)絡的輸出層采用對稱的Sigmoid激活函數(shù),其輸出值將會限制在范圍 (1,l) 內(nèi)（通常用于分類問題）；如果多層前向網(wǎng)絡的輸出層采用線性激活函數(shù)則可以取任意值（通常用于函數(shù)逼近問題）。 下面給出網(wǎng)絡第層更精確的結(jié)構(gòu)。第層輸出為，稱為第層第個神經(jīng)元的凈輸入。 反向傳播算法 (Backpropagation Algorithm)即 BP算法在確定了網(wǎng)絡的結(jié)構(gòu)后,要通過訓練樣本集對網(wǎng)絡進行訓練,即對網(wǎng)絡的閾值和權(quán)值進行學習和修正,以使網(wǎng)絡實現(xiàn)給定的輸入/輸出映射關(guān)系。下面給出學習網(wǎng)絡的閾值和權(quán)值的BP算法。1. 隨機梯度法 (極小化均方誤差)設，. 記，其中，目標: 求解 梯度法： 由于無法計算，因此采樣下面的隨機梯度法。隨機梯度法 , 2. BP算法推導目標: 給出計算，的快速算法。為了給出計算，的遞推算法，通過引進中間變量并使用鏈式求導法則。(1) 使用鏈式求導法則化簡 引進中間變量：，. , （1）由于，故記，則(1)化簡為,(2) 計算的反向遞推公式 () 下面給出與之間的遞推公式。.由于，所以. (如果，則)因此，有如下反向遞推公式： ，當時（即輸出層），有從而，. BP 算法的實現(xiàn)在區(qū)間內(nèi)隨機選擇網(wǎng)絡的初始權(quán)值和閾值。（假設我們已知了第k步：） , , ,其中 . 從而，通過如下遞推公式可計算出，. , BP網(wǎng)絡逼近能力分析K. Hornik已經(jīng)證明，對于任意緊集，單隱層(兩層)前向網(wǎng)絡：，即, ,可以任意精度的逼近中的任意函數(shù)。與此同時， Leshno也已經(jīng)證明：上述網(wǎng)絡可以任意精度的逼近任意連續(xù)函數(shù)。 神經(jīng)網(wǎng)絡的特點。神經(jīng)網(wǎng)絡預測模型通過學習獲取知識，并不斷更新權(quán)值和閾值來改進自身性能，最終使得預測準確性較好。神經(jīng)網(wǎng)絡存儲信息的方式與傳統(tǒng)計算機的思維方式是不同的，神經(jīng)網(wǎng)絡通過大量神經(jīng)元之間自適應性的連接即閾值以及對各連接權(quán)值的分布來表示特點的預測信息。自適應性是指整個神經(jīng)網(wǎng)絡進行自我調(diào)節(jié)的能力，它包含四個方面的含義；自學習、自組織、泛化及訓練。特別是在股市這樣的環(huán)境非平穩(wěn)的系統(tǒng)中，可以繼續(xù)學習訓練以跟蹤環(huán)境的變化。而所謂的泛化能力是指經(jīng)過訓練后的網(wǎng)絡對新樣本能夠做出正確的反應的能力。在前面的原理分析部分，我們已經(jīng)知道單隱層前向網(wǎng)絡可以任意精度的逼近n維空間中的二次可積函數(shù)。.傳統(tǒng)計算機處理信息的方式為串行處理，計算與存儲是完全獨立的兩部分，這樣存儲器與運算器之間的通道就成了計算機的瓶頸，大大限制了它的運算能力。神經(jīng)網(wǎng)絡的各個層中的神經(jīng)元都可以根據(jù)接收到的不同的信息進行獨立的運算和處理，然后將輸出的結(jié)果傳輸給其他的神經(jīng)元同時進行并行處理。神經(jīng)網(wǎng)絡在訓練過程中，輸入端給出要記憶的模式，通過學習合理地調(diào)整網(wǎng)絡中的權(quán)值和閾值，網(wǎng)絡就能“記住”所有的輸入信息。(容錯性)。由于神經(jīng)網(wǎng)絡采用分布式存儲信息的方式，即使網(wǎng)絡局部受損或外部信息部分丟失也不會影響整個系統(tǒng)的性能，使得它比傳統(tǒng)計算機模型具有較高的魯棒性，而這也完全適合股市預測的需要。 神經(jīng)網(wǎng)絡的在實際預測模型中的問題 在前面的分析了神經(jīng)網(wǎng)絡的相關(guān)基本原理之后，對于我們下面將在具體的股市預測模型中進行的編程存在一些亟需解決的問題，主要是指：網(wǎng)絡的初始化，網(wǎng)絡結(jié)構(gòu)的選擇，學習率的選擇，訓練停止規(guī)則等等。其實在后面的實證分析的過程中我們就是需要通過對相同的數(shù)據(jù)進行多次不同參數(shù)的選取來尋求一種相對最優(yōu)的預測方案。 網(wǎng)絡的初始化即指網(wǎng)絡權(quán)值和閾值的初始化問題，有兩種方案。：如取，中均勻分布的隨機數(shù)。 網(wǎng)絡結(jié)構(gòu)的選擇 神經(jīng)網(wǎng)絡的近似和泛化能力主要依靠：網(wǎng)絡結(jié)構(gòu)、訓練樣本數(shù)等。而網(wǎng)絡結(jié)構(gòu)又包含所選網(wǎng)絡的層數(shù)，各個不同層的神經(jīng)元個數(shù)，不同的層之間的激活函數(shù)選擇以及網(wǎng)絡學習傳遞的方向等。理論已經(jīng)證明單隱層(兩層)前向網(wǎng)絡可以任意精度的逼近n維空間中的二次可積函數(shù)類的任意函數(shù)。因此在一般的數(shù)據(jù)處理中常用二層（單隱層）網(wǎng)絡即可。但由于選取的單隱層網(wǎng)絡神經(jīng)元之間“相互作用”，使得模型缺少冗余性，提高映射在一個點的逼近精度而不惡化其它點的逼近程度是困難的。因此，有時也選擇雙隱層網(wǎng)絡使得，第一隱層學習局部特征，第二隱層抽取整體特征。2. 隱層神經(jīng)元個數(shù)的選擇隱層神經(jīng)元數(shù)的選擇是一個十分復雜的問題?？梢哉f隱層神經(jīng)元的個數(shù)的選擇與輸入層與輸出層神經(jīng)元的數(shù)量、訓練樣本的數(shù)量和需解決的問題的復雜程度等都有直接關(guān)系。事實上，隱層神經(jīng)元太少通常導致欠擬合，而隱層神經(jīng)元太多通常導致過擬合，使網(wǎng)絡缺乏泛化能力。但是目前理論上還沒有一種科學的和普遍的確定方法。一般，確定隱層神經(jīng)元個數(shù)的基本原則：1) 在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即選取盡可能少的隱層神經(jīng)元的個數(shù)。例如，在實際應用中一個常用的方法是：首先試著選擇，網(wǎng)絡參數(shù)個數(shù)訓練樣本個數(shù)，然后，根據(jù)網(wǎng)絡訓練后的情況適當增加或減少隱層神經(jīng)元的個數(shù)。2) 若使用復雜的網(wǎng)絡,那么避免過擬合的另一種辦法是在網(wǎng)絡得到恰當調(diào)整后停止訓練。3）在能夠解決問題的前提下，再加上1到2個神經(jīng)元以加快誤差的下降速度即可。 實際上在處理預測模型過程中為防止過擬合可以采取交叉確認的方法。即可將可利用數(shù)據(jù)的劃分： 輸入輸出神經(jīng)元個數(shù) 輸入輸出神經(jīng)元的個數(shù)由具體預測過程所采取的訓練樣本和目標樣本之間相關(guān)。 學習率的選取 通常選取很小的數(shù)諸如：, , , 。但如果選取太小會導致網(wǎng)絡收斂速度過慢；選取太大又會導致網(wǎng)絡震蕩或不收斂。 網(wǎng)絡訓練的停止準則；，對應所有訓練樣本的平方誤差，停止：；（CrossValidation）原則：訓練誤差曲線與確認誤差曲線相背離，停止。4． 神經(jīng)網(wǎng)絡算法BP神經(jīng)網(wǎng)絡在數(shù)據(jù)預測中的算法流程圖如下： 開始 導入并歸一化數(shù)據(jù) 樣本數(shù)據(jù)分類測試數(shù)據(jù)訓練數(shù)據(jù)NY 結(jié)束 合格 仿真結(jié)果評價 網(wǎng)絡收斂代入測試數(shù)據(jù)初始化網(wǎng)絡給定神經(jīng)元個數(shù) 訓練網(wǎng)絡 輸出輸入變量的選取 每日股票價格變化涉及的變量眾多，有開盤價，收盤價，最高價，最低價，成交量，成交額，還有眾多技術(shù)指標。采用什么作為輸入量，什么作為輸出量是一個必須考慮的問題，好的輸入量配合好的模型和算法，就會給出很好的結(jié)果。 考慮到股票價格中收盤價是最重要的，其是衡量每日股價漲跌的唯一價格，所以這里我們只選擇和股票收盤價的量作為輸出變量，這些量有：每日漲跌（即布爾量漲或跌，可將平盤看作上漲），每日漲跌幅度（10%左右到10%左右），每日收盤價。至于輸出量可選擇前幾日股票的開盤價，收盤價，最高價，最低價，成交量，成交額等量，例如選擇前五日的股票的這些數(shù)據(jù)作為輸入量。但是這樣會有一個問題—輸入變量維數(shù)會很高，會有30個輸入變量。如此多的輸入變量，需要的訓練樣本將會是十分龐大的。機器學習領域已經(jīng)證明需要的訓練樣本是隨輸入變量的維數(shù)成指數(shù)增加的，也就是說輸入變量每增加一維，所需要的訓練樣本的個數(shù)要在原來的基礎上翻幾倍，這也就是所謂的“維數(shù)災難”。所以選取這么多輸入量明顯是不可取的，因為訓練樣本的規(guī)模將無法滿足，得到的結(jié)果必然會是過擬合的，沒有泛化能力，也就沒有實用價值。所以變量的維數(shù)必須減小，可以通過兩個方面減小維數(shù)：第一，減少需要數(shù)據(jù)的天數(shù)，將前五日改為前三日或者前兩日；第二,減小每天的輸入變量，比如去掉最高價，最低價等。我們采用第二種只考慮股票的收盤價和成交量，原因是股票的收盤價最重要，而成交額可以通過成交價和成交量估算出來，所以只用成交量。另外股票一般以五天為一周期即五個工作日，所以采用前五天的每天收盤價和每天的成交量作為輸入量。 數(shù)據(jù)的預處理和后處理是有效訓練神經(jīng)網(wǎng)絡的很重要的步驟，常見的方法是將原始數(shù)據(jù)進行歸一化處理，即通過一定的線性變換將輸入和輸出數(shù)據(jù)統(tǒng)一限制在[0,1]或者[1,1]區(qū)間內(nèi)。歸一化的數(shù)據(jù)消除了輸入量之間的數(shù)量級差別，比如股票價格和成交量之間存在很大的數(shù)量級差別，若不歸一化，在神經(jīng)網(wǎng)絡計算權(quán)值和閾值的時候，可能使成交量相關(guān)的權(quán)值和閾值變得很小，這樣在計算機存在舍入誤差時很有可能被去掉或者改變，影響到訓練后神經(jīng)網(wǎng)絡的性能。 我們