【正文】 %2012%%2112%%2212 %%2313 %%2415 %% ，且誤差對(duì)于不同天數(shù)不同時(shí)刻數(shù)其絕對(duì)誤差值相差很小，誤差值總體很平穩(wěn)，不隨負(fù)荷值波動(dòng)幅度的大小而波動(dòng)。 第1天到第7天歸一化后的負(fù)荷數(shù)據(jù)小時(shí)天數(shù)第1天第2天第3天第4天第5天第6天第7天1 2 3 0 0 4 5 6 7 8 9 10 0 11 12 013 14 15 16 0 17 0 180 19 20 1 1 21 22 1 23 24 第8天到第14天歸一化后的負(fù)荷數(shù)據(jù)小時(shí)天數(shù)第8天第9天第10天第11天第12天第13天第14天1 2 3 0 0 04 5 6 7 1 8 90 10 11 012 13 14 1 15 016 17 18 019 20 212223 24 兩個(gè)模型仿真后的結(jié)果分析 為了驗(yàn)證BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果，采用標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)模型和最小二乘法模型進(jìn)行對(duì)比分別對(duì)第13天和第14的負(fù)荷進(jìn)行預(yù)測(cè)，并根據(jù)歸一化公式(314)轉(zhuǎn)換為實(shí)際負(fù)荷值。 負(fù)荷數(shù)據(jù) 14天實(shí)際的負(fù)荷數(shù)據(jù)給定連續(xù)14天的實(shí)際負(fù)荷數(shù)據(jù)。4 算例分析 為了說(shuō)明本文提出的預(yù)測(cè)模型的有效性和精確性，根據(jù)上面建立的最小二乘法模型和神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行負(fù)荷預(yù)測(cè)，并對(duì)兩個(gè)模型進(jìn)行對(duì)比。另外，學(xué)習(xí)數(shù)率太小也不行，那樣網(wǎng)絡(luò)沒(méi)有足夠的能量跳出低谷[20]。如果初始的誤差點(diǎn)的斜率下降方向與通向最小值的方向背道而馳，則附加動(dòng)量法失效，訓(xùn)練結(jié)果將同樣落入局部最小值而不能自拔。 訓(xùn)練程序中采用動(dòng)量法的判別條件為： (317) 此方法也存在缺點(diǎn)。其最大誤差變化率可以是任何大于或等于1的值。以此方式，當(dāng)增加動(dòng)量項(xiàng)后，促使權(quán)值的調(diào)節(jié)向著曲線底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時(shí)，將變得很小，于是，從而防止了的出現(xiàn)，有助于使網(wǎng)絡(luò)從局部極小值中跳出[11]。 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響通過(guò)一個(gè)動(dòng)量因子來(lái)傳遞。 該方法是在反向傳播法的基礎(chǔ)上，在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化[19]。 附加動(dòng)量法 附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上的變化趨勢(shì)的影響。這是因?yàn)锽P算法采用的是梯度下降法，訓(xùn)練是從某一起始點(diǎn)沿誤差函數(shù)的斜面逐漸達(dá)到誤差的最小值。通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)數(shù)率，但這又增加了訓(xùn)練時(shí)間。 (2) 完全不能訓(xùn)練 這主要表現(xiàn)在網(wǎng)絡(luò)出現(xiàn)的麻痹現(xiàn)象上。 附加動(dòng)量的BP神經(jīng)網(wǎng)絡(luò) 標(biāo)準(zhǔn)BP算法的限制與不足雖然反向傳播法得到廣泛的應(yīng)用，但它也存在自身的限制和不足[11]，具體說(shuō)明如下：(1) 需要較長(zhǎng)的訓(xùn)練時(shí)間 對(duì)于一些復(fù)雜的問(wèn)題，BP算法需要較長(zhǎng)的訓(xùn)練時(shí)間。 不同的壓縮方式會(huì)對(duì)網(wǎng)絡(luò)的收斂速度有直接的影響，輸入?yún)?shù)壓縮方式與隱含激活函數(shù)形式有直接的關(guān)系，把輸入?yún)?shù)壓縮在激活函數(shù)最有效的工作區(qū)間應(yīng)該是一個(gè)最優(yōu)的選擇[17]。 預(yù)測(cè)前、后數(shù)據(jù)的歸一化處理 由于人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元對(duì)訓(xùn)練樣本的數(shù)據(jù)范圍有限制，為了避免神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)飽和現(xiàn)象，以恰當(dāng)?shù)姆绞綄?duì)數(shù)據(jù)進(jìn)行歸一化處理可以加速神經(jīng)網(wǎng)絡(luò)的收斂[16]。[15]。 學(xué)習(xí)數(shù)率 大的學(xué)習(xí)數(shù)率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)數(shù)率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂較慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以總是希望經(jīng)過(guò)初始加權(quán)后的每個(gè)神經(jīng)元的輸入值都接近于零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能在它們的S型激活函數(shù)變化的最大之處進(jìn)行調(diào)節(jié)。如果初始值太大，使得加權(quán)后的輸入和落在S型激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計(jì)算權(quán)值修正公式中，因?yàn)椋?dāng)，則有。 (312) 輸出層的激活函數(shù)采用線性函數(shù)，可使網(wǎng)絡(luò)逼近值在實(shí)數(shù)內(nèi)的任意函數(shù)，從而使線性函數(shù)作用的神經(jīng)元不存在飽和狀態(tài)。具體節(jié)點(diǎn)描述如下表： 日負(fù)荷預(yù)測(cè)模型結(jié)構(gòu)表神經(jīng)網(wǎng)絡(luò)單元層節(jié)點(diǎn)描述輸入層預(yù)測(cè)日前12天第i小時(shí)的負(fù)荷值（i=1,2，…,24）隱含層利用試湊法來(lái)確定隱含層節(jié)點(diǎn)數(shù)為7個(gè)輸出層預(yù)測(cè)日第i小時(shí)的負(fù)荷值（i=1,2，…,24） 傳輸函數(shù)BP算法要用到各層激活函數(shù)的一階導(dǎo)數(shù)，所以要求其激活函數(shù)處處可微。 本文采取的做法是：構(gòu)建多個(gè)BP網(wǎng)絡(luò)，它們除了隱含層神經(jīng)元個(gè)數(shù)不同外，基于人工神經(jīng)網(wǎng)絡(luò)的電力短期負(fù)荷預(yù)測(cè)系統(tǒng)研究其它一切條件都相同，通過(guò)比較它們訓(xùn)練的循環(huán)次數(shù)、網(wǎng)絡(luò)精度和下降速度。如果隱含層神經(jīng)元數(shù)目過(guò)少，網(wǎng)絡(luò)很難識(shí)別樣本，難以完成訓(xùn)練，并且網(wǎng)絡(luò)的容錯(cuò)性也會(huì)降低；如果數(shù)目過(guò)多，則會(huì)增加網(wǎng)絡(luò)的迭代次數(shù)，延長(zhǎng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間，同時(shí)也會(huì)降低網(wǎng)絡(luò)的泛化能力，導(dǎo)致預(yù)測(cè)能力下降。文中對(duì)未來(lái)每個(gè)小時(shí)進(jìn)行負(fù)荷預(yù)測(cè)，故輸出層節(jié)點(diǎn)數(shù)為1，輸入層節(jié)點(diǎn)數(shù)為12。 輸出變量：預(yù)測(cè)日第i小時(shí)的負(fù)荷值（i=1,2，…,24）。 (1) 隱含層中第i個(gè)神經(jīng)元的輸出為： （i=1,2,…,s1) (31) (2) 輸出層第k個(gè)神經(jīng)元的輸出為： （i=1,2,…,s1) (32) (3) 定義誤差函數(shù)為： (33) 利用梯度下降法求權(quán)值變化及誤差的反向傳播 (1) 輸出層的權(quán)值變化 對(duì)從第i個(gè)輸入到第k個(gè)輸出權(quán)值，有： (34) 其中， (35) (36) 同理可得： (37) (2) 隱含層權(quán)值變化 (38) 其中： ， ， ， (39) 同理可得： (310) BP網(wǎng)絡(luò)學(xué)習(xí)具體步驟 (1) 對(duì)樣本進(jìn)行歸一化處理： (2) 初始化：置所有的加權(quán)系數(shù)為較小的隨機(jī)數(shù)； (3) 提供具有輸入向量和要求的期望輸出的訓(xùn)練的樣本集；(4) 計(jì)算隱含層和輸出層的輸入和輸出；(5) 計(jì)算網(wǎng)絡(luò)輸出和期望輸出的誤差； (6) 調(diào)整輸出層和隱含層的加權(quán)系數(shù)； (7) 返回步驟(4)，循環(huán)上述步驟，直到誤差滿足設(shè)置的精度為止。如果在輸出層沒(méi)有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)入反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反向傳回來(lái)，修改各層神經(jīng)元的權(quán)值與偏差直至達(dá)到期望目標(biāo)。 BP算法是由兩部分組成的：信息的正向傳遞和誤差的反向傳播。它是通過(guò)連續(xù)不斷的在相對(duì)于誤差函數(shù)斜率下降的方向上計(jì)算網(wǎng)絡(luò)權(quán)值和偏差的變化而逐漸逼近目標(biāo)的[11]。其主要思想是：對(duì)于q個(gè)輸入學(xué)習(xí)樣本：，已知與其對(duì)應(yīng)的輸出樣本為：。在一般情況下，隱含層采用Sigmoid型的對(duì)數(shù)激活函數(shù)，在輸出層采用線性激活函數(shù)BP神經(jīng)網(wǎng)絡(luò)模型。 BP神經(jīng)網(wǎng)絡(luò)的模型和結(jié)構(gòu) BP(back propagation)網(wǎng)絡(luò)是一種前向網(wǎng)絡(luò)，是采用誤差反向傳播算法，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的網(wǎng)絡(luò)。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差準(zhǔn)逐漸減少到可接受的程度或達(dá)到設(shè)定的學(xué)習(xí)次數(shù)為止。正向傳播時(shí), 模式作用于輸入層, 經(jīng)隱層處理后, 傳入誤差的逆向傳播階段, 將輸出誤差按某種子形式, 通過(guò)隱層向輸入層逐層返回, 并“分?jǐn)偂苯o各層的所有單元, 從而獲得各層單元的參考誤差或稱誤差信號(hào), 以作為修改各單元權(quán)值的依據(jù)。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。這一構(gòu)建過(guò)程稱為網(wǎng)絡(luò)的自組織。(3) 能力特征：自學(xué)習(xí)、自組織與自適應(yīng)性。(2) 功能特點(diǎn)：高度的非線性、良好的容錯(cuò)性。人工神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單處理元件相互連接構(gòu)成的高度并行的非線性系統(tǒng)，具有大規(guī)律并行性處理特性?；谡`差反向傳播(Back propagation)算法的多層前饋網(wǎng)絡(luò)(Multilayer feedforward network, 簡(jiǎn)記為BP網(wǎng)絡(luò)), 是目前應(yīng)用最成功和廣泛的人工神經(jīng)網(wǎng)絡(luò)。它能從已有數(shù)據(jù)中自動(dòng)地歸納規(guī)則, 獲得這些數(shù)據(jù)的內(nèi)在規(guī)律, 具有良好的自學(xué)習(xí), 自適應(yīng), 聯(lián)想記憶, 并行處理和非線性形轉(zhuǎn)換的能力, 特別適合于因果關(guān)系復(fù)雜的非確定性推理, 判斷, 識(shí)別和分類等問(wèn)題。3 基于神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè) 人工神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)是由多個(gè)神經(jīng)元組成的廣泛互連的神經(jīng)網(wǎng)絡(luò), 能夠模擬生物神經(jīng)系統(tǒng)真實(shí)世界及物體之間所做出的交互反應(yīng)。 (6) 離散系數(shù)。于是，可計(jì)算剩余標(biāo)準(zhǔn)差： (217) 剩余標(biāo)準(zhǔn)差S的值愈小，說(shuō)明預(yù)測(cè)曲線與實(shí)際曲線的相關(guān)程度愈高，因此，剩余標(biāo)準(zhǔn)離差S是反映擬合精度的一個(gè)標(biāo)志。 (5) 剩余標(biāo)準(zhǔn)差。 (1) 剩余平方和： (213) (2) 回歸平方和： (214) (3) 總離（偏）差平方和： (215) (4) 相關(guān)指數(shù)。 首先需要計(jì)算三個(gè)平方和指標(biāo)：（），是指殘差分析平方和，一般的最小二乘回歸就是追求剩余平方和盡可能??；（），是指回歸差的平方和，即擬合值和實(shí)際平均值之差的平方和；（偏）差平方和（），是指實(shí)際值與實(shí)際平均值之差的平方和。平均相對(duì)誤差常用MRE表示為： (212) 本文采用了絕對(duì)誤差、相對(duì)誤差、平均相對(duì)誤差等來(lái)進(jìn)行預(yù)測(cè)結(jié)果的誤差分析[10]。設(shè)原始序列為，原始序列的均值為：。 誤差表示和分析方法 在了解預(yù)測(cè)誤差產(chǎn)生原因后，可以對(duì)預(yù)測(cè)模型或預(yù)測(cè)技術(shù)加以改進(jìn)。進(jìn)行負(fù)荷預(yù)測(cè)要用到大量的數(shù)據(jù)資料，而各項(xiàng)資料并不能保證完全準(zhǔn)確可靠，這也會(huì)帶來(lái)預(yù)測(cè)誤差。如果選擇不當(dāng)?shù)脑?，也就隨之產(chǎn)生誤差。不同結(jié)構(gòu)的模型預(yù)測(cè)時(shí)，預(yù)測(cè)結(jié)果會(huì)存在差異，就必然會(huì)帶來(lái)誤差。預(yù)測(cè)誤差對(duì)利用預(yù)測(cè)資料做決策時(shí)也具有重要的參考價(jià)值。 電力系統(tǒng)短期負(fù)荷預(yù)測(cè)誤差 由于負(fù)荷預(yù)測(cè)是一種對(duì)未來(lái)負(fù)荷的估算，不可避免會(huì)產(chǎn)生誤差。用預(yù)測(cè)日的天數(shù)即13作為x帶入求得的多項(xiàng)式y(tǒng)中,所求得的數(shù)據(jù)即為預(yù)測(cè)的數(shù)據(jù)。本文經(jīng)過(guò)比較可知三次多項(xiàng)式擬合度最好，即。我們把稱為最小二乘擬合多項(xiàng)式的平方誤差，記作 (28) 即 (29)一般方法可歸納為以下幾步：(1) 由已知數(shù)據(jù)畫(huà)出函數(shù)粗略的圖形散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n； (2) 列表計(jì)算 和； (3) 寫出正規(guī)方程組，求出；(4) 寫出擬合多項(xiàng)式?？梢宰C明，方程組(26)的系數(shù)矩陣是一個(gè)對(duì)稱正定矩陣,故存在唯一解。 顯然 (23) 式(23)為的多元函數(shù)，因此上述問(wèn)題即為求的極值問(wèn)題。 多項(xiàng)式擬合具體算法 假設(shè)給定數(shù)據(jù)點(diǎn)(i=0,1,…,m)，為有次數(shù)不超過(guò)的多項(xiàng)式構(gòu)成的函數(shù)類，現(xiàn)求 使得 （22) 當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式(22)的稱為最小二乘擬合多項(xiàng)式。(i=0,1