【文章內(nèi)容簡介】 標(biāo)準(zhǔn)差S的值愈小，說明預(yù)測曲線與實際曲線的相關(guān)程度愈高，因此，剩余標(biāo)準(zhǔn)離差S是反映擬合精度的一個標(biāo)志。 簡單分析時，如果某個預(yù)測模型的參數(shù)個數(shù)為k，則一般可認(rèn)為， 。 (6) 離散系數(shù)。以剩余標(biāo)準(zhǔn)差為基礎(chǔ)，定義離散系數(shù)為： (218) 同樣，V越小，表明擬合程度越好。3 基于神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測 人工神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)是由多個神經(jīng)元組成的廣泛互連的神經(jīng)網(wǎng)絡(luò), 能夠模擬生物神經(jīng)系統(tǒng)真實世界及物體之間所做出的交互反應(yīng)。人工神經(jīng)網(wǎng)絡(luò)處理信息是通過信息樣本對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練, 使其具有人的大腦的記憶, 辨識能力, 完成名種信息處理功能[11]。它能從已有數(shù)據(jù)中自動地歸納規(guī)則, 獲得這些數(shù)據(jù)的內(nèi)在規(guī)律, 具有良好的自學(xué)習(xí), 自適應(yīng), 聯(lián)想記憶, 并行處理和非線性形轉(zhuǎn)換的能力, 特別適合于因果關(guān)系復(fù)雜的非確定性推理, 判斷, 識別和分類等問題。對于任意一組隨機的, 正態(tài)的數(shù)據(jù), 都可以利用人工神經(jīng)網(wǎng)絡(luò)算法進(jìn)行統(tǒng)計分析, 做出擬合和預(yù)測?；谡`差反向傳播(Back propagation)算法的多層前饋網(wǎng)絡(luò)(Multilayer feedforward network, 簡記為BP網(wǎng)絡(luò)), 是目前應(yīng)用最成功和廣泛的人工神經(jīng)網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò)的基本特點(1) 結(jié)構(gòu)特點：信息處理的并行性、信息存儲的分布性。人工神經(jīng)網(wǎng)絡(luò)是由大量簡單處理元件相互連接構(gòu)成的高度并行的非線性系統(tǒng)，具有大規(guī)律并行性處理特性。結(jié)構(gòu)上的并行性使神經(jīng)網(wǎng)絡(luò)的信息存儲采用分布式方式：即信息不是存儲在網(wǎng)絡(luò)的某個局部，而是分布在網(wǎng)絡(luò)所有的連接中。(2) 功能特點：高度的非線性、良好的容錯性。神經(jīng)元的廣泛聯(lián)系并行工作使整個網(wǎng)絡(luò)呈現(xiàn)出高度的非線性特點，而分布式存儲的結(jié)構(gòu)特點使網(wǎng)絡(luò)在兩個方面表現(xiàn)出良好的容錯性。(3) 能力特征：自學(xué)習(xí)、自組織與自適應(yīng)性。自適應(yīng)包含自學(xué)習(xí)與自組織兩層含義：神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)是指外界環(huán)境發(fā)生變化時，經(jīng)過一段時間的訓(xùn)練和感知，神經(jīng)網(wǎng)絡(luò)能通過自動調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對于給定輸入能產(chǎn)生期望的輸出；神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)。這一構(gòu)建過程稱為網(wǎng)絡(luò)的自組織。 BP網(wǎng)絡(luò)的原理、結(jié)構(gòu) BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。學(xué)習(xí)過程中由信號的正向傳播與誤差的逆向傳播兩個過程組成。正向傳播時, 模式作用于輸入層, 經(jīng)隱層處理后, 傳入誤差的逆向傳播階段, 將輸出誤差按某種子形式, 通過隱層向輸入層逐層返回, 并“分?jǐn)偂苯o各層的所有單元, 從而獲得各層單元的參考誤差或稱誤差信號, 以作為修改各單元權(quán)值的依據(jù)。權(quán)值不斷修改的過程, 也就是網(wǎng)絡(luò)學(xué)習(xí)過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差準(zhǔn)逐漸減少到可接受的程度或達(dá)到設(shè)定的學(xué)習(xí)次數(shù)為止。 BP網(wǎng)絡(luò)由輸入層, 輸出層以及一個或多個隱層節(jié)點互連而成的一種多層網(wǎng), 這種結(jié)構(gòu)使多層前饋網(wǎng)絡(luò)可在輸入和輸出間建立合適的線性或非線性關(guān)系, 又不致使網(wǎng)絡(luò)輸出限制在1和1之間。 BP神經(jīng)網(wǎng)絡(luò)的模型和結(jié)構(gòu) BP(back propagation)網(wǎng)絡(luò)是一種前向網(wǎng)絡(luò)，是采用誤差反向傳播算法，對非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的網(wǎng)絡(luò)。 ： 單隱層BP網(wǎng)絳模型結(jié)構(gòu) BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以經(jīng)常使用的是Sigmoid型的對數(shù)或正切激活函數(shù)和線性函數(shù)。在一般情況下，隱含層采用Sigmoid型的對數(shù)激活函數(shù)，在輸出層采用線性激活函數(shù)BP神經(jīng)網(wǎng)絡(luò)模型。 BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 BP算法是一種監(jiān)督學(xué)習(xí)算法。其主要思想是：對于q個輸入學(xué)習(xí)樣本：，已知與其對應(yīng)的輸出樣本為：。學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實際輸出與目標(biāo)矢量之間的誤差來修改其連接權(quán)值和偏差，使輸出(l=1,2，?q)與期望盡可能的接近，即是使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。它是通過連續(xù)不斷的在相對于誤差函數(shù)斜率下降的方向上計算網(wǎng)絡(luò)權(quán)值和偏差的變化而逐漸逼近目標(biāo)的[11]。每一次權(quán)值和偏差的變化都與網(wǎng)絡(luò)誤差的影響成正比，并以反向傳播的方式傳到每一層的。 BP算法是由兩部分組成的：信息的正向傳遞和誤差的反向傳播。在正向傳遞過程中，輸入信息從輸入經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)[12]。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)入反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反向傳回來，修改各層神經(jīng)元的權(quán)值與偏差直至達(dá)到期望目標(biāo)。 BP算法的數(shù)學(xué)描述 設(shè)輸入為P，輸入神經(jīng)元有r個，隱含層內(nèi)有是s1個神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個神經(jīng)元，對應(yīng)的激活函數(shù)為F2，輸出為A，目標(biāo)矢量為T。 (1) 隱含層中第i個神經(jīng)元的輸出為： （i=1,2,…,s1) (31) (2) 輸出層第k個神經(jīng)元的輸出為： （i=1,2,…,s1) (32) (3) 定義誤差函數(shù)為： (33) 利用梯度下降法求權(quán)值變化及誤差的反向傳播 (1) 輸出層的權(quán)值變化 對從第i個輸入到第k個輸出權(quán)值，有： (34) 其中， (35) (36) 同理可得： (37) (2) 隱含層權(quán)值變化 (38) 其中： ， ， ， (39) 同理可得： (310) BP網(wǎng)絡(luò)學(xué)習(xí)具體步驟 (1) 對樣本進(jìn)行歸一化處理： (2) 初始化：置所有的加權(quán)系數(shù)為較小的隨機數(shù)； (3) 提供具有輸入向量和要求的期望輸出的訓(xùn)練的樣本集；(4) 計算隱含層和輸出層的輸入和輸出；(5) 計算網(wǎng)絡(luò)輸出和期望輸出的誤差； (6) 調(diào)整輸出層和隱含層的加權(quán)系數(shù)； (7) 返回步驟(4)，循環(huán)上述步驟，直到誤差滿足設(shè)置的精度為止。 ： 算法流程圖 標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)模型的建立 輸入輸出變量 輸入變量：預(yù)測日前12天第i小時的負(fù)荷值（i=1,2，…,24）。 輸出變量：預(yù)測日第i小時的負(fù)荷值（i=1,2，…,24）。 網(wǎng)絡(luò)結(jié)構(gòu)的確定 本次設(shè)計選用三層神經(jīng)網(wǎng)絡(luò)模型，包括一個隱含層，其中輸入層和輸出層神經(jīng)元的個數(shù)由輸入變量數(shù)決定。文中對未來每個小時進(jìn)行負(fù)荷預(yù)測，故輸出層節(jié)點數(shù)為1，輸入層節(jié)點數(shù)為12。 隱層個數(shù)的確定是非常重要的，會直接影響網(wǎng)絡(luò)性能。如果隱含層神經(jīng)元數(shù)目過少，網(wǎng)絡(luò)很難識別樣本，難以完成訓(xùn)練，并且網(wǎng)絡(luò)的容錯性也會降低；如果數(shù)目過多，則會增加網(wǎng)絡(luò)的迭代次數(shù)，延長網(wǎng)絡(luò)的訓(xùn)練時間，同時也會降低網(wǎng)絡(luò)的泛化能力，導(dǎo)致預(yù)測能力下降。本文采用經(jīng)驗公式：（110）取常數(shù)，其中H為隱含層節(jié)點數(shù)，n為輸入層節(jié)點數(shù)，m為輸出層節(jié)點數(shù)[13]。 本文采取的做法是：構(gòu)建多個BP網(wǎng)絡(luò)，它們除了隱含層神經(jīng)元個數(shù)不同外，基于人工神經(jīng)網(wǎng)絡(luò)的電力短期負(fù)荷預(yù)測系統(tǒng)研究其它一切條件都相同，通過比較它們訓(xùn)練的循環(huán)次數(shù)、網(wǎng)絡(luò)精度和下降速度。用試湊法確定隱含層神經(jīng)元個數(shù)為7。，具體節(jié)點描述如下表： 日負(fù)荷預(yù)測模型結(jié)構(gòu)表神經(jīng)網(wǎng)絡(luò)單元層節(jié)點描述輸入層預(yù)測日前12天第i小時的負(fù)荷值（i=1,2，…,24）隱含層利用試湊法來確定隱含層節(jié)點數(shù)為7個輸出層預(yù)測日第i小時的負(fù)荷值（i=1,2，…,24） 傳輸函數(shù)BP算法要用到各層激活函數(shù)的一階導(dǎo)數(shù)，所以要求其激活函數(shù)處處可微。本次設(shè)計隱含層的激活函數(shù)選用對數(shù)S型函數(shù)，函數(shù)表達(dá)： (311) 對數(shù)S型函數(shù)連續(xù)光滑，具有嚴(yán)格單調(diào)的特性，其導(dǎo)數(shù)如下式，關(guān)于(0，0．5)中心對稱，能節(jié)約計算時間。 (312) 輸出層的激活函數(shù)采用線性函數(shù)，可使網(wǎng)絡(luò)逼近值在實數(shù)內(nèi)的任意函數(shù)，從而使線性函數(shù)作用的神經(jīng)元不存在飽和狀態(tài)。 下面兩圖分別為S型激活函數(shù)和線性激活函數(shù)的曲線： 對數(shù)S型激活函數(shù) 線性激活函數(shù) 初始權(quán)值的選取 由于系統(tǒng)是非線性的，初始值對于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及網(wǎng)絡(luò)的訓(xùn)練時間的長短關(guān)系很大。如果初始值太大，使得加權(quán)后的輸入和落在S型激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計算權(quán)值修正公式中，因為，當(dāng)，則有。這使得，從而使得調(diào)節(jié)過程幾乎停頓下來[14]。所以總是希望經(jīng)過初始加權(quán)后的每個神經(jīng)元的輸入值都接近于零，這樣可以保證每個神經(jīng)元的權(quán)值都能在它們的S型激活函數(shù)變化的最大之處進(jìn)行調(diào)節(jié)。 為了保證隨機選取的初始權(quán)值足夠小。 學(xué)習(xí)數(shù)率 大的學(xué)習(xí)數(shù)率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)數(shù)率導(dǎo)致較長的訓(xùn)練時間，可能收斂較慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以一般情況下，傾向于選擇較小的學(xué)習(xí)數(shù)率以保證系統(tǒng)的穩(wěn)定性。[15]。 。 預(yù)測前、后數(shù)據(jù)的歸一化處理 由于人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元對訓(xùn)練樣本的數(shù)據(jù)范圍有限制，為了避免神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)飽和現(xiàn)象，以恰當(dāng)?shù)姆绞綄?shù)據(jù)進(jìn)行歸一化處理可以加速神經(jīng)網(wǎng)絡(luò)的收斂[16]。因此在訓(xùn)練之前要對訓(xùn)練樣本進(jìn)行歸一化的處理。 不同的壓縮方式會對網(wǎng)絡(luò)的收斂速度有直接的影響，輸入?yún)?shù)壓縮方式與隱含激活函數(shù)形式有直接的關(guān)系，把輸入?yún)?shù)壓縮在激活函數(shù)最有效的工作區(qū)間應(yīng)該是一個最優(yōu)的選擇[17]。BP網(wǎng)絡(luò)中的神經(jīng)元激活函數(shù)一般取Sigmoid函數(shù)，用下面第一個式子將負(fù)荷換算到[1,1]之間，在輸出層用第二個式子換回負(fù)荷值，公式如下： (313) (314) 標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)的MATLAB程序見附錄2。 附加動量的BP神經(jīng)網(wǎng)絡(luò) 標(biāo)準(zhǔn)BP算法的限制與不足雖然反向傳播法得到廣泛的應(yīng)用，但它也存在自身的限制和不足[11]，具體說明如下：(1) 需要較長的訓(xùn)練時間 對于一些復(fù)雜的問題，BP算法需要較長的訓(xùn)練時間?？刹捎米兓膶W(xué)習(xí)數(shù)率或自適應(yīng)的學(xué)習(xí)數(shù)率來加以改進(jìn)。 (2) 完全不能訓(xùn)練 這主要表現(xiàn)在網(wǎng)絡(luò)出現(xiàn)的麻痹現(xiàn)象上。在網(wǎng)絡(luò)的訓(xùn)練過程中，如其權(quán)值調(diào)得過大，可能使得所有的或大部分神經(jīng)元的加權(quán)總和n偏大，這使得激活函數(shù)的輸入工作在S型轉(zhuǎn)移函數(shù)的飽和區(qū)，從而導(dǎo)致其非常小，從而使得對網(wǎng)絡(luò)權(quán)值的調(diào)節(jié)過程幾乎停頓下來[18]。通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)數(shù)率，但這又增加了訓(xùn)練時間。 (3) 局部最小值 BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部最小解。這是因為BP算法采用的是梯度下降法，訓(xùn)練是從某一起始點沿誤差函數(shù)的斜面逐漸達(dá)到誤差的最小值。對于復(fù)雜的網(wǎng)絡(luò)，其誤差函數(shù)為多維空間的曲面，在訓(xùn)練的過程中可能陷入一個小谷區(qū)，從而這一小谷區(qū)產(chǎn)生的是一個局部極小值，由此點向各方面變化均使誤差增加，一致使訓(xùn)練無法逃出這一局部極小值。 附加動量法 附加動量法使網(wǎng)絡(luò)在修正其權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上的變化趨勢的影響。在沒有附加動量的作用下，網(wǎng)絡(luò)可能陷入淺的局部最小值，利用附加動量的作用則有可能滑過這些最小值。 該方法是在反向傳播法的基礎(chǔ)上，在每一個權(quán)值的變化上加上一項正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化[19]。帶有附加動量的權(quán)值調(diào)節(jié)公式為： (315) (316) 其中，k為訓(xùn)練次數(shù)；為動量因子。 附加動量法的實質(zhì)是將最后一次權(quán)值變化的影響通過一個動量因子來傳遞。當(dāng)動量因子取值為零時，取值的變化根據(jù)梯度下降法產(chǎn)生；當(dāng)動量因子取值為1時，新的權(quán)值則設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。以此方式，當(dāng)增加動量項后，促使權(quán)值的調(diào)節(jié)向著曲線底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時，將變得很小，于是，從而防止了的出現(xiàn)，有助于使網(wǎng)絡(luò)從局部極小值中跳出[11]。 根據(jù)附加動量法的設(shè)計原則，當(dāng)修正的權(quán)值在誤差中導(dǎo)致太大的增長結(jié)果時，新的權(quán)值應(yīng)被取消而不被采用，并使動量作用停止下來，以使網(wǎng)絡(luò)不進(jìn)入較大的誤差曲面；當(dāng)新的誤差變化率對其舊值超過一個事先設(shè)定的最大誤差變化率時，也得取消所計算的權(quán)值變化。其最大誤差變化率可以是任何大于或等于1的值。所以在進(jìn)行動量法的訓(xùn)練程序設(shè)計時，必須加進(jìn)條件判斷以正確使用其權(quán)值修正公式。 訓(xùn)練程序中采用動量法的判別條件為： (317) 此方法也存在缺點。它對訓(xùn)練的初始值有要求，必須使其值在誤差曲線上的位置所處誤差下降方向與誤差最小值的運動方向一致。如果初始的誤差點的斜率下降方向與通向最小值的方向背道而馳，則附加動量法失效，訓(xùn)練結(jié)果將同樣落入局部最小值而不能自拔。初始值選得太靠近局部最小值也不行，所以建議多用幾個初始值先粗略訓(xùn)練幾次以找到合適的初始位置。另外，學(xué)習(xí)數(shù)率太小也不行，那樣網(wǎng)絡(luò)沒有足夠的能量跳出低谷[20]。附加動量法的MATLAB程序見附錄3。4 算例分析 為了說明本文提出的預(yù)測模型的有效性和精確性，根據(jù)上面建立的最小二乘法模型和神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行負(fù)荷預(yù)測，并對兩個模型進(jìn)行對比。算例分析使用的是連續(xù)14天的負(fù)荷數(shù)據(jù)，分別以第13天和第14天作為預(yù)測日作為歷史數(shù)據(jù)。 負(fù)荷數(shù)據(jù) 14天實際的負(fù)荷數(shù)據(jù)給定連續(xù)14天的實際負(fù)荷數(shù)據(jù)，。 第