【文章內容簡介】 標準差S的值愈小，說明預測曲線與實際曲線的相關程度愈高，因此，剩余標準離差S是反映擬合精度的一個標志。 簡單分析時，如果某個預測模型的參數(shù)個數(shù)為k，則一般可認為， 。 (6) 離散系數(shù)。以剩余標準差為基礎，定義離散系數(shù)為： (218) 同樣，V越小，表明擬合程度越好。3 基于神經(jīng)網(wǎng)絡的短期負荷預測 人工神經(jīng)網(wǎng)絡 神經(jīng)網(wǎng)絡是由多個神經(jīng)元組成的廣泛互連的神經(jīng)網(wǎng)絡, 能夠模擬生物神經(jīng)系統(tǒng)真實世界及物體之間所做出的交互反應。人工神經(jīng)網(wǎng)絡處理信息是通過信息樣本對神經(jīng)網(wǎng)絡的訓練, 使其具有人的大腦的記憶, 辨識能力, 完成名種信息處理功能[11]。它能從已有數(shù)據(jù)中自動地歸納規(guī)則, 獲得這些數(shù)據(jù)的內在規(guī)律, 具有良好的自學習, 自適應, 聯(lián)想記憶, 并行處理和非線性形轉換的能力, 特別適合于因果關系復雜的非確定性推理, 判斷, 識別和分類等問題。對于任意一組隨機的, 正態(tài)的數(shù)據(jù), 都可以利用人工神經(jīng)網(wǎng)絡算法進行統(tǒng)計分析, 做出擬合和預測?；谡`差反向傳播(Back propagation)算法的多層前饋網(wǎng)絡(Multilayer feedforward network, 簡記為BP網(wǎng)絡), 是目前應用最成功和廣泛的人工神經(jīng)網(wǎng)絡。 人工神經(jīng)網(wǎng)絡的基本特點(1) 結構特點：信息處理的并行性、信息存儲的分布性。人工神經(jīng)網(wǎng)絡是由大量簡單處理元件相互連接構成的高度并行的非線性系統(tǒng)，具有大規(guī)律并行性處理特性。結構上的并行性使神經(jīng)網(wǎng)絡的信息存儲采用分布式方式：即信息不是存儲在網(wǎng)絡的某個局部，而是分布在網(wǎng)絡所有的連接中。(2) 功能特點：高度的非線性、良好的容錯性。神經(jīng)元的廣泛聯(lián)系并行工作使整個網(wǎng)絡呈現(xiàn)出高度的非線性特點，而分布式存儲的結構特點使網(wǎng)絡在兩個方面表現(xiàn)出良好的容錯性。(3) 能力特征：自學習、自組織與自適應性。自適應包含自學習與自組織兩層含義：神經(jīng)網(wǎng)絡的自學習是指外界環(huán)境發(fā)生變化時，經(jīng)過一段時間的訓練和感知，神經(jīng)網(wǎng)絡能通過自動調整網(wǎng)絡結構參數(shù)，使得對于給定輸入能產(chǎn)生期望的輸出；神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調整神經(jīng)元之間的突觸連接，逐漸構建起神經(jīng)網(wǎng)絡。這一構建過程稱為網(wǎng)絡的自組織。 BP網(wǎng)絡的原理、結構 BP（Back Propagation）網(wǎng)絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一。BP網(wǎng)絡能學習和存貯大量的輸入輸出模式映射關系，而無需事前揭示描述這種映射關系的數(shù)學方程。學習過程中由信號的正向傳播與誤差的逆向傳播兩個過程組成。正向傳播時, 模式作用于輸入層, 經(jīng)隱層處理后, 傳入誤差的逆向傳播階段, 將輸出誤差按某種子形式, 通過隱層向輸入層逐層返回, 并“分攤”給各層的所有單元, 從而獲得各層單元的參考誤差或稱誤差信號, 以作為修改各單元權值的依據(jù)。權值不斷修改的過程, 也就是網(wǎng)絡學習過程。此過程一直進行到網(wǎng)絡輸出的誤差準逐漸減少到可接受的程度或達到設定的學習次數(shù)為止。 BP網(wǎng)絡由輸入層, 輸出層以及一個或多個隱層節(jié)點互連而成的一種多層網(wǎng), 這種結構使多層前饋網(wǎng)絡可在輸入和輸出間建立合適的線性或非線性關系, 又不致使網(wǎng)絡輸出限制在1和1之間。 BP神經(jīng)網(wǎng)絡的模型和結構 BP(back propagation)網(wǎng)絡是一種前向網(wǎng)絡，是采用誤差反向傳播算法，對非線性可微分函數(shù)進行權值訓練的網(wǎng)絡。 ： 單隱層BP網(wǎng)絳模型結構 BP網(wǎng)絡的激活函數(shù)必須是處處可微的，所以經(jīng)常使用的是Sigmoid型的對數(shù)或正切激活函數(shù)和線性函數(shù)。在一般情況下，隱含層采用Sigmoid型的對數(shù)激活函數(shù)，在輸出層采用線性激活函數(shù)BP神經(jīng)網(wǎng)絡模型。 BP網(wǎng)絡的學習規(guī)則 BP算法是一種監(jiān)督學習算法。其主要思想是：對于q個輸入學習樣本：，已知與其對應的輸出樣本為：。學習的目的是用網(wǎng)絡的實際輸出與目標矢量之間的誤差來修改其連接權值和偏差，使輸出(l=1,2，?q)與期望盡可能的接近，即是使網(wǎng)絡輸出層的誤差平方和達到最小。它是通過連續(xù)不斷的在相對于誤差函數(shù)斜率下降的方向上計算網(wǎng)絡權值和偏差的變化而逐漸逼近目標的[11]。每一次權值和偏差的變化都與網(wǎng)絡誤差的影響成正比，并以反向傳播的方式傳到每一層的。 BP算法是由兩部分組成的：信息的正向傳遞和誤差的反向傳播。在正向傳遞過程中，輸入信息從輸入經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)[12]。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉入反向傳播，通過網(wǎng)絡將誤差信號沿原來的連接通路反向傳回來，修改各層神經(jīng)元的權值與偏差直至達到期望目標。 BP算法的數(shù)學描述 設輸入為P，輸入神經(jīng)元有r個，隱含層內有是s1個神經(jīng)元，激活函數(shù)為F1，輸出層內有s2個神經(jīng)元，對應的激活函數(shù)為F2，輸出為A，目標矢量為T。 (1) 隱含層中第i個神經(jīng)元的輸出為： （i=1,2,…,s1) (31) (2) 輸出層第k個神經(jīng)元的輸出為： （i=1,2,…,s1) (32) (3) 定義誤差函數(shù)為： (33) 利用梯度下降法求權值變化及誤差的反向傳播 (1) 輸出層的權值變化 對從第i個輸入到第k個輸出權值，有： (34) 其中， (35) (36) 同理可得： (37) (2) 隱含層權值變化 (38) 其中： ， ， ， (39) 同理可得： (310) BP網(wǎng)絡學習具體步驟 (1) 對樣本進行歸一化處理： (2) 初始化：置所有的加權系數(shù)為較小的隨機數(shù)； (3) 提供具有輸入向量和要求的期望輸出的訓練的樣本集；(4) 計算隱含層和輸出層的輸入和輸出；(5) 計算網(wǎng)絡輸出和期望輸出的誤差； (6) 調整輸出層和隱含層的加權系數(shù)； (7) 返回步驟(4)，循環(huán)上述步驟，直到誤差滿足設置的精度為止。 ： 算法流程圖 標準BP神經(jīng)網(wǎng)絡模型的建立 輸入輸出變量 輸入變量：預測日前12天第i小時的負荷值（i=1,2，…,24）。 輸出變量：預測日第i小時的負荷值（i=1,2，…,24）。 網(wǎng)絡結構的確定 本次設計選用三層神經(jīng)網(wǎng)絡模型，包括一個隱含層，其中輸入層和輸出層神經(jīng)元的個數(shù)由輸入變量數(shù)決定。文中對未來每個小時進行負荷預測，故輸出層節(jié)點數(shù)為1，輸入層節(jié)點數(shù)為12。 隱層個數(shù)的確定是非常重要的，會直接影響網(wǎng)絡性能。如果隱含層神經(jīng)元數(shù)目過少，網(wǎng)絡很難識別樣本，難以完成訓練，并且網(wǎng)絡的容錯性也會降低；如果數(shù)目過多，則會增加網(wǎng)絡的迭代次數(shù)，延長網(wǎng)絡的訓練時間，同時也會降低網(wǎng)絡的泛化能力，導致預測能力下降。本文采用經(jīng)驗公式：（110）取常數(shù)，其中H為隱含層節(jié)點數(shù)，n為輸入層節(jié)點數(shù)，m為輸出層節(jié)點數(shù)[13]。 本文采取的做法是：構建多個BP網(wǎng)絡，它們除了隱含層神經(jīng)元個數(shù)不同外，基于人工神經(jīng)網(wǎng)絡的電力短期負荷預測系統(tǒng)研究其它一切條件都相同，通過比較它們訓練的循環(huán)次數(shù)、網(wǎng)絡精度和下降速度。用試湊法確定隱含層神經(jīng)元個數(shù)為7。，具體節(jié)點描述如下表： 日負荷預測模型結構表神經(jīng)網(wǎng)絡單元層節(jié)點描述輸入層預測日前12天第i小時的負荷值（i=1,2，…,24）隱含層利用試湊法來確定隱含層節(jié)點數(shù)為7個輸出層預測日第i小時的負荷值（i=1,2，…,24） 傳輸函數(shù)BP算法要用到各層激活函數(shù)的一階導數(shù)，所以要求其激活函數(shù)處處可微。本次設計隱含層的激活函數(shù)選用對數(shù)S型函數(shù)，函數(shù)表達： (311) 對數(shù)S型函數(shù)連續(xù)光滑，具有嚴格單調的特性，其導數(shù)如下式，關于(0，0．5)中心對稱，能節(jié)約計算時間。 (312) 輸出層的激活函數(shù)采用線性函數(shù)，可使網(wǎng)絡逼近值在實數(shù)內的任意函數(shù)，從而使線性函數(shù)作用的神經(jīng)元不存在飽和狀態(tài)。 下面兩圖分別為S型激活函數(shù)和線性激活函數(shù)的曲線： 對數(shù)S型激活函數(shù) 線性激活函數(shù) 初始權值的選取 由于系統(tǒng)是非線性的，初始值對于學習是否達到局部最小、是否能夠收斂以及網(wǎng)絡的訓練時間的長短關系很大。如果初始值太大，使得加權后的輸入和落在S型激活函數(shù)的飽和區(qū)，從而導致其導數(shù)非常小，而在計算權值修正公式中，因為，當，則有。這使得，從而使得調節(jié)過程幾乎停頓下來[14]。所以總是希望經(jīng)過初始加權后的每個神經(jīng)元的輸入值都接近于零，這樣可以保證每個神經(jīng)元的權值都能在它們的S型激活函數(shù)變化的最大之處進行調節(jié)。 為了保證隨機選取的初始權值足夠小。 學習數(shù)率 大的學習數(shù)率可能導致系統(tǒng)的不穩(wěn)定；但小的學習數(shù)率導致較長的訓練時間，可能收斂較慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以一般情況下，傾向于選擇較小的學習數(shù)率以保證系統(tǒng)的穩(wěn)定性。[15]。 。 預測前、后數(shù)據(jù)的歸一化處理 由于人工神經(jīng)網(wǎng)絡的神經(jīng)元對訓練樣本的數(shù)據(jù)范圍有限制，為了避免神經(jīng)網(wǎng)絡訓練過程中出現(xiàn)飽和現(xiàn)象，以恰當?shù)姆绞綄?shù)據(jù)進行歸一化處理可以加速神經(jīng)網(wǎng)絡的收斂[16]。因此在訓練之前要對訓練樣本進行歸一化的處理。 不同的壓縮方式會對網(wǎng)絡的收斂速度有直接的影響，輸入?yún)?shù)壓縮方式與隱含激活函數(shù)形式有直接的關系，把輸入?yún)?shù)壓縮在激活函數(shù)最有效的工作區(qū)間應該是一個最優(yōu)的選擇[17]。BP網(wǎng)絡中的神經(jīng)元激活函數(shù)一般取Sigmoid函數(shù)，用下面第一個式子將負荷換算到[1,1]之間，在輸出層用第二個式子換回負荷值，公式如下： (313) (314) 標準BP神經(jīng)網(wǎng)絡的MATLAB程序見附錄2。 附加動量的BP神經(jīng)網(wǎng)絡 標準BP算法的限制與不足雖然反向傳播法得到廣泛的應用，但它也存在自身的限制和不足[11]，具體說明如下：(1) 需要較長的訓練時間 對于一些復雜的問題，BP算法需要較長的訓練時間?？刹捎米兓膶W習數(shù)率或自適應的學習數(shù)率來加以改進。 (2) 完全不能訓練 這主要表現(xiàn)在網(wǎng)絡出現(xiàn)的麻痹現(xiàn)象上。在網(wǎng)絡的訓練過程中，如其權值調得過大，可能使得所有的或大部分神經(jīng)元的加權總和n偏大，這使得激活函數(shù)的輸入工作在S型轉移函數(shù)的飽和區(qū)，從而導致其非常小，從而使得對網(wǎng)絡權值的調節(jié)過程幾乎停頓下來[18]。通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權值，二是采用較小的學習數(shù)率，但這又增加了訓練時間。 (3) 局部最小值 BP算法可以使網(wǎng)絡權值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部最小解。這是因為BP算法采用的是梯度下降法，訓練是從某一起始點沿誤差函數(shù)的斜面逐漸達到誤差的最小值。對于復雜的網(wǎng)絡，其誤差函數(shù)為多維空間的曲面，在訓練的過程中可能陷入一個小谷區(qū)，從而這一小谷區(qū)產(chǎn)生的是一個局部極小值，由此點向各方面變化均使誤差增加，一致使訓練無法逃出這一局部極小值。 附加動量法 附加動量法使網(wǎng)絡在修正其權值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上的變化趨勢的影響。在沒有附加動量的作用下，網(wǎng)絡可能陷入淺的局部最小值，利用附加動量的作用則有可能滑過這些最小值。 該方法是在反向傳播法的基礎上，在每一個權值的變化上加上一項正比于前次權值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權值變化[19]。帶有附加動量的權值調節(jié)公式為： (315) (316) 其中，k為訓練次數(shù)；為動量因子。 附加動量法的實質是將最后一次權值變化的影響通過一個動量因子來傳遞。當動量因子取值為零時，取值的變化根據(jù)梯度下降法產(chǎn)生；當動量因子取值為1時，新的權值則設置為最后一次權值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。以此方式，當增加動量項后，促使權值的調節(jié)向著曲線底部的平均方向變化，當網(wǎng)絡權值進入誤差曲面底部的平坦區(qū)時，將變得很小，于是，從而防止了的出現(xiàn)，有助于使網(wǎng)絡從局部極小值中跳出[11]。 根據(jù)附加動量法的設計原則，當修正的權值在誤差中導致太大的增長結果時，新的權值應被取消而不被采用，并使動量作用停止下來，以使網(wǎng)絡不進入較大的誤差曲面；當新的誤差變化率對其舊值超過一個事先設定的最大誤差變化率時，也得取消所計算的權值變化。其最大誤差變化率可以是任何大于或等于1的值。所以在進行動量法的訓練程序設計時，必須加進條件判斷以正確使用其權值修正公式。 訓練程序中采用動量法的判別條件為： (317) 此方法也存在缺點。它對訓練的初始值有要求，必須使其值在誤差曲線上的位置所處誤差下降方向與誤差最小值的運動方向一致。如果初始的誤差點的斜率下降方向與通向最小值的方向背道而馳，則附加動量法失效，訓練結果將同樣落入局部最小值而不能自拔。初始值選得太靠近局部最小值也不行，所以建議多用幾個初始值先粗略訓練幾次以找到合適的初始位置。另外，學習數(shù)率太小也不行，那樣網(wǎng)絡沒有足夠的能量跳出低谷[20]。附加動量法的MATLAB程序見附錄3。4 算例分析 為了說明本文提出的預測模型的有效性和精確性，根據(jù)上面建立的最小二乘法模型和神經(jīng)網(wǎng)絡的模型進行負荷預測，并對兩個模型進行對比。算例分析使用的是連續(xù)14天的負荷數(shù)據(jù)，分別以第13天和第14天作為預測日作為歷史數(shù)據(jù)。 負荷數(shù)據(jù) 14天實際的負荷數(shù)據(jù)給定連續(xù)14天的實際負荷數(shù)據(jù)，。 第