【文章內(nèi)容簡(jiǎn)介】 標(biāo)準(zhǔn)差S的值愈小，說(shuō)明預(yù)測(cè)曲線與實(shí)際曲線的相關(guān)程度愈高，因此，剩余標(biāo)準(zhǔn)離差S是反映擬合精度的一個(gè)標(biāo)志。 簡(jiǎn)單分析時(shí)，如果某個(gè)預(yù)測(cè)模型的參數(shù)個(gè)數(shù)為k，則一般可認(rèn)為， 。 (6) 離散系數(shù)。以剩余標(biāo)準(zhǔn)差為基礎(chǔ)，定義離散系數(shù)為： (218) 同樣，V越小，表明擬合程度越好。3 基于神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè) 人工神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)是由多個(gè)神經(jīng)元組成的廣泛互連的神經(jīng)網(wǎng)絡(luò), 能夠模擬生物神經(jīng)系統(tǒng)真實(shí)世界及物體之間所做出的交互反應(yīng)。人工神經(jīng)網(wǎng)絡(luò)處理信息是通過(guò)信息樣本對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練, 使其具有人的大腦的記憶, 辨識(shí)能力, 完成名種信息處理功能[11]。它能從已有數(shù)據(jù)中自動(dòng)地歸納規(guī)則, 獲得這些數(shù)據(jù)的內(nèi)在規(guī)律, 具有良好的自學(xué)習(xí), 自適應(yīng), 聯(lián)想記憶, 并行處理和非線性形轉(zhuǎn)換的能力, 特別適合于因果關(guān)系復(fù)雜的非確定性推理, 判斷, 識(shí)別和分類等問(wèn)題。對(duì)于任意一組隨機(jī)的, 正態(tài)的數(shù)據(jù), 都可以利用人工神經(jīng)網(wǎng)絡(luò)算法進(jìn)行統(tǒng)計(jì)分析, 做出擬合和預(yù)測(cè)?；谡`差反向傳播(Back propagation)算法的多層前饋網(wǎng)絡(luò)(Multilayer feedforward network, 簡(jiǎn)記為BP網(wǎng)絡(luò)), 是目前應(yīng)用最成功和廣泛的人工神經(jīng)網(wǎng)絡(luò)。 人工神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)(1) 結(jié)構(gòu)特點(diǎn)：信息處理的并行性、信息存儲(chǔ)的分布性。人工神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單處理元件相互連接構(gòu)成的高度并行的非線性系統(tǒng)，具有大規(guī)律并行性處理特性。結(jié)構(gòu)上的并行性使神經(jīng)網(wǎng)絡(luò)的信息存儲(chǔ)采用分布式方式：即信息不是存儲(chǔ)在網(wǎng)絡(luò)的某個(gè)局部，而是分布在網(wǎng)絡(luò)所有的連接中。(2) 功能特點(diǎn)：高度的非線性、良好的容錯(cuò)性。神經(jīng)元的廣泛聯(lián)系并行工作使整個(gè)網(wǎng)絡(luò)呈現(xiàn)出高度的非線性特點(diǎn)，而分布式存儲(chǔ)的結(jié)構(gòu)特點(diǎn)使網(wǎng)絡(luò)在兩個(gè)方面表現(xiàn)出良好的容錯(cuò)性。(3) 能力特征：自學(xué)習(xí)、自組織與自適應(yīng)性。自適應(yīng)包含自學(xué)習(xí)與自組織兩層含義：神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)是指外界環(huán)境發(fā)生變化時(shí)，經(jīng)過(guò)一段時(shí)間的訓(xùn)練和感知，神經(jīng)網(wǎng)絡(luò)能通過(guò)自動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使得對(duì)于給定輸入能產(chǎn)生期望的輸出；神經(jīng)系統(tǒng)能在外部刺激下按一定規(guī)則調(diào)整神經(jīng)元之間的突觸連接，逐漸構(gòu)建起神經(jīng)網(wǎng)絡(luò)。這一構(gòu)建過(guò)程稱為網(wǎng)絡(luò)的自組織。 BP網(wǎng)絡(luò)的原理、結(jié)構(gòu) BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。學(xué)習(xí)過(guò)程中由信號(hào)的正向傳播與誤差的逆向傳播兩個(gè)過(guò)程組成。正向傳播時(shí), 模式作用于輸入層, 經(jīng)隱層處理后, 傳入誤差的逆向傳播階段, 將輸出誤差按某種子形式, 通過(guò)隱層向輸入層逐層返回, 并“分?jǐn)偂苯o各層的所有單元, 從而獲得各層單元的參考誤差或稱誤差信號(hào), 以作為修改各單元權(quán)值的依據(jù)。權(quán)值不斷修改的過(guò)程, 也就是網(wǎng)絡(luò)學(xué)習(xí)過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差準(zhǔn)逐漸減少到可接受的程度或達(dá)到設(shè)定的學(xué)習(xí)次數(shù)為止。 BP網(wǎng)絡(luò)由輸入層, 輸出層以及一個(gè)或多個(gè)隱層節(jié)點(diǎn)互連而成的一種多層網(wǎng), 這種結(jié)構(gòu)使多層前饋網(wǎng)絡(luò)可在輸入和輸出間建立合適的線性或非線性關(guān)系, 又不致使網(wǎng)絡(luò)輸出限制在1和1之間。 BP神經(jīng)網(wǎng)絡(luò)的模型和結(jié)構(gòu) BP(back propagation)網(wǎng)絡(luò)是一種前向網(wǎng)絡(luò)，是采用誤差反向傳播算法，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的網(wǎng)絡(luò)。 ： 單隱層BP網(wǎng)絳模型結(jié)構(gòu) BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，所以經(jīng)常使用的是Sigmoid型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)。在一般情況下，隱含層采用Sigmoid型的對(duì)數(shù)激活函數(shù)，在輸出層采用線性激活函數(shù)BP神經(jīng)網(wǎng)絡(luò)模型。 BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 BP算法是一種監(jiān)督學(xué)習(xí)算法。其主要思想是：對(duì)于q個(gè)輸入學(xué)習(xí)樣本：，已知與其對(duì)應(yīng)的輸出樣本為：。學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實(shí)際輸出與目標(biāo)矢量之間的誤差來(lái)修改其連接權(quán)值和偏差，使輸出(l=1,2，?q)與期望盡可能的接近，即是使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。它是通過(guò)連續(xù)不斷的在相對(duì)于誤差函數(shù)斜率下降的方向上計(jì)算網(wǎng)絡(luò)權(quán)值和偏差的變化而逐漸逼近目標(biāo)的[11]。每一次權(quán)值和偏差的變化都與網(wǎng)絡(luò)誤差的影響成正比，并以反向傳播的方式傳到每一層的。 BP算法是由兩部分組成的：信息的正向傳遞和誤差的反向傳播。在正向傳遞過(guò)程中，輸入信息從輸入經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)[12]。如果在輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)入反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反向傳回來(lái)，修改各層神經(jīng)元的權(quán)值與偏差直至達(dá)到期望目標(biāo)。 BP算法的數(shù)學(xué)描述 設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有是s1個(gè)神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個(gè)神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為F2，輸出為A，目標(biāo)矢量為T。 (1) 隱含層中第i個(gè)神經(jīng)元的輸出為： （i=1,2,…,s1) (31) (2) 輸出層第k個(gè)神經(jīng)元的輸出為： （i=1,2,…,s1) (32) (3) 定義誤差函數(shù)為： (33) 利用梯度下降法求權(quán)值變化及誤差的反向傳播 (1) 輸出層的權(quán)值變化 對(duì)從第i個(gè)輸入到第k個(gè)輸出權(quán)值，有： (34) 其中， (35) (36) 同理可得： (37) (2) 隱含層權(quán)值變化 (38) 其中： ， ， ， (39) 同理可得： (310) BP網(wǎng)絡(luò)學(xué)習(xí)具體步驟 (1) 對(duì)樣本進(jìn)行歸一化處理： (2) 初始化：置所有的加權(quán)系數(shù)為較小的隨機(jī)數(shù)； (3) 提供具有輸入向量和要求的期望輸出的訓(xùn)練的樣本集；(4) 計(jì)算隱含層和輸出層的輸入和輸出；(5) 計(jì)算網(wǎng)絡(luò)輸出和期望輸出的誤差； (6) 調(diào)整輸出層和隱含層的加權(quán)系數(shù)； (7) 返回步驟(4)，循環(huán)上述步驟，直到誤差滿足設(shè)置的精度為止。 ： 算法流程圖 標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)模型的建立 輸入輸出變量 輸入變量：預(yù)測(cè)日前12天第i小時(shí)的負(fù)荷值（i=1,2，…,24）。 輸出變量：預(yù)測(cè)日第i小時(shí)的負(fù)荷值（i=1,2，…,24）。 網(wǎng)絡(luò)結(jié)構(gòu)的確定 本次設(shè)計(jì)選用三層神經(jīng)網(wǎng)絡(luò)模型，包括一個(gè)隱含層，其中輸入層和輸出層神經(jīng)元的個(gè)數(shù)由輸入變量數(shù)決定。文中對(duì)未來(lái)每個(gè)小時(shí)進(jìn)行負(fù)荷預(yù)測(cè)，故輸出層節(jié)點(diǎn)數(shù)為1，輸入層節(jié)點(diǎn)數(shù)為12。 隱層個(gè)數(shù)的確定是非常重要的，會(huì)直接影響網(wǎng)絡(luò)性能。如果隱含層神經(jīng)元數(shù)目過(guò)少，網(wǎng)絡(luò)很難識(shí)別樣本，難以完成訓(xùn)練，并且網(wǎng)絡(luò)的容錯(cuò)性也會(huì)降低；如果數(shù)目過(guò)多，則會(huì)增加網(wǎng)絡(luò)的迭代次數(shù)，延長(zhǎng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間，同時(shí)也會(huì)降低網(wǎng)絡(luò)的泛化能力，導(dǎo)致預(yù)測(cè)能力下降。本文采用經(jīng)驗(yàn)公式：（110）取常數(shù)，其中H為隱含層節(jié)點(diǎn)數(shù)，n為輸入層節(jié)點(diǎn)數(shù)，m為輸出層節(jié)點(diǎn)數(shù)[13]。 本文采取的做法是：構(gòu)建多個(gè)BP網(wǎng)絡(luò)，它們除了隱含層神經(jīng)元個(gè)數(shù)不同外，基于人工神經(jīng)網(wǎng)絡(luò)的電力短期負(fù)荷預(yù)測(cè)系統(tǒng)研究其它一切條件都相同，通過(guò)比較它們訓(xùn)練的循環(huán)次數(shù)、網(wǎng)絡(luò)精度和下降速度。用試湊法確定隱含層神經(jīng)元個(gè)數(shù)為7。，具體節(jié)點(diǎn)描述如下表： 日負(fù)荷預(yù)測(cè)模型結(jié)構(gòu)表神經(jīng)網(wǎng)絡(luò)單元層節(jié)點(diǎn)描述輸入層預(yù)測(cè)日前12天第i小時(shí)的負(fù)荷值（i=1,2，…,24）隱含層利用試湊法來(lái)確定隱含層節(jié)點(diǎn)數(shù)為7個(gè)輸出層預(yù)測(cè)日第i小時(shí)的負(fù)荷值（i=1,2，…,24） 傳輸函數(shù)BP算法要用到各層激活函數(shù)的一階導(dǎo)數(shù)，所以要求其激活函數(shù)處處可微。本次設(shè)計(jì)隱含層的激活函數(shù)選用對(duì)數(shù)S型函數(shù)，函數(shù)表達(dá)： (311) 對(duì)數(shù)S型函數(shù)連續(xù)光滑，具有嚴(yán)格單調(diào)的特性，其導(dǎo)數(shù)如下式，關(guān)于(0，0．5)中心對(duì)稱，能節(jié)約計(jì)算時(shí)間。 (312) 輸出層的激活函數(shù)采用線性函數(shù)，可使網(wǎng)絡(luò)逼近值在實(shí)數(shù)內(nèi)的任意函數(shù)，從而使線性函數(shù)作用的神經(jīng)元不存在飽和狀態(tài)。 下面兩圖分別為S型激活函數(shù)和線性激活函數(shù)的曲線： 對(duì)數(shù)S型激活函數(shù) 線性激活函數(shù) 初始權(quán)值的選取 由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及網(wǎng)絡(luò)的訓(xùn)練時(shí)間的長(zhǎng)短關(guān)系很大。如果初始值太大，使得加權(quán)后的輸入和落在S型激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計(jì)算權(quán)值修正公式中，因?yàn)?，?dāng)，則有。這使得，從而使得調(diào)節(jié)過(guò)程幾乎停頓下來(lái)[14]。所以總是希望經(jīng)過(guò)初始加權(quán)后的每個(gè)神經(jīng)元的輸入值都接近于零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能在它們的S型激活函數(shù)變化的最大之處進(jìn)行調(diào)節(jié)。 為了保證隨機(jī)選取的初始權(quán)值足夠小。 學(xué)習(xí)數(shù)率 大的學(xué)習(xí)數(shù)率可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但小的學(xué)習(xí)數(shù)率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂較慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以一般情況下，傾向于選擇較小的學(xué)習(xí)數(shù)率以保證系統(tǒng)的穩(wěn)定性。[15]。 。 預(yù)測(cè)前、后數(shù)據(jù)的歸一化處理 由于人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元對(duì)訓(xùn)練樣本的數(shù)據(jù)范圍有限制，為了避免神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)飽和現(xiàn)象，以恰當(dāng)?shù)姆绞綄?duì)數(shù)據(jù)進(jìn)行歸一化處理可以加速神經(jīng)網(wǎng)絡(luò)的收斂[16]。因此在訓(xùn)練之前要對(duì)訓(xùn)練樣本進(jìn)行歸一化的處理。 不同的壓縮方式會(huì)對(duì)網(wǎng)絡(luò)的收斂速度有直接的影響，輸入?yún)?shù)壓縮方式與隱含激活函數(shù)形式有直接的關(guān)系，把輸入?yún)?shù)壓縮在激活函數(shù)最有效的工作區(qū)間應(yīng)該是一個(gè)最優(yōu)的選擇[17]。BP網(wǎng)絡(luò)中的神經(jīng)元激活函數(shù)一般取Sigmoid函數(shù)，用下面第一個(gè)式子將負(fù)荷換算到[1,1]之間，在輸出層用第二個(gè)式子換回負(fù)荷值，公式如下： (313) (314) 標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)的MATLAB程序見附錄2。 附加動(dòng)量的BP神經(jīng)網(wǎng)絡(luò) 標(biāo)準(zhǔn)BP算法的限制與不足雖然反向傳播法得到廣泛的應(yīng)用，但它也存在自身的限制和不足[11]，具體說(shuō)明如下：(1) 需要較長(zhǎng)的訓(xùn)練時(shí)間 對(duì)于一些復(fù)雜的問(wèn)題，BP算法需要較長(zhǎng)的訓(xùn)練時(shí)間?？刹捎米兓膶W(xué)習(xí)數(shù)率或自適應(yīng)的學(xué)習(xí)數(shù)率來(lái)加以改進(jìn)。 (2) 完全不能訓(xùn)練 這主要表現(xiàn)在網(wǎng)絡(luò)出現(xiàn)的麻痹現(xiàn)象上。在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，如其權(quán)值調(diào)得過(guò)大，可能使得所有的或大部分神經(jīng)元的加權(quán)總和n偏大，這使得激活函數(shù)的輸入工作在S型轉(zhuǎn)移函數(shù)的飽和區(qū)，從而導(dǎo)致其非常小，從而使得對(duì)網(wǎng)絡(luò)權(quán)值的調(diào)節(jié)過(guò)程幾乎停頓下來(lái)[18]。通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)數(shù)率，但這又增加了訓(xùn)練時(shí)間。 (3) 局部最小值 BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部最小解。這是因?yàn)锽P算法采用的是梯度下降法，訓(xùn)練是從某一起始點(diǎn)沿誤差函數(shù)的斜面逐漸達(dá)到誤差的最小值。對(duì)于復(fù)雜的網(wǎng)絡(luò)，其誤差函數(shù)為多維空間的曲面，在訓(xùn)練的過(guò)程中可能陷入一個(gè)小谷區(qū)，從而這一小谷區(qū)產(chǎn)生的是一個(gè)局部極小值，由此點(diǎn)向各方面變化均使誤差增加，一致使訓(xùn)練無(wú)法逃出這一局部極小值。 附加動(dòng)量法 附加動(dòng)量法使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上的變化趨勢(shì)的影響。在沒有附加動(dòng)量的作用下，網(wǎng)絡(luò)可能陷入淺的局部最小值，利用附加動(dòng)量的作用則有可能滑過(guò)這些最小值。 該方法是在反向傳播法的基礎(chǔ)上，在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化[19]。帶有附加動(dòng)量的權(quán)值調(diào)節(jié)公式為： (315) (316) 其中，k為訓(xùn)練次數(shù)；為動(dòng)量因子。 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響通過(guò)一個(gè)動(dòng)量因子來(lái)傳遞。當(dāng)動(dòng)量因子取值為零時(shí)，取值的變化根據(jù)梯度下降法產(chǎn)生；當(dāng)動(dòng)量因子取值為1時(shí)，新的權(quán)值則設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了。以此方式，當(dāng)增加動(dòng)量項(xiàng)后，促使權(quán)值的調(diào)節(jié)向著曲線底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時(shí)，將變得很小，于是，從而防止了的出現(xiàn)，有助于使網(wǎng)絡(luò)從局部極小值中跳出[11]。 根據(jù)附加動(dòng)量法的設(shè)計(jì)原則，當(dāng)修正的權(quán)值在誤差中導(dǎo)致太大的增長(zhǎng)結(jié)果時(shí)，新的權(quán)值應(yīng)被取消而不被采用，并使動(dòng)量作用停止下來(lái)，以使網(wǎng)絡(luò)不進(jìn)入較大的誤差曲面；當(dāng)新的誤差變化率對(duì)其舊值超過(guò)一個(gè)事先設(shè)定的最大誤差變化率時(shí)，也得取消所計(jì)算的權(quán)值變化。其最大誤差變化率可以是任何大于或等于1的值。所以在進(jìn)行動(dòng)量法的訓(xùn)練程序設(shè)計(jì)時(shí)，必須加進(jìn)條件判斷以正確使用其權(quán)值修正公式。 訓(xùn)練程序中采用動(dòng)量法的判別條件為： (317) 此方法也存在缺點(diǎn)。它對(duì)訓(xùn)練的初始值有要求，必須使其值在誤差曲線上的位置所處誤差下降方向與誤差最小值的運(yùn)動(dòng)方向一致。如果初始的誤差點(diǎn)的斜率下降方向與通向最小值的方向背道而馳，則附加動(dòng)量法失效，訓(xùn)練結(jié)果將同樣落入局部最小值而不能自拔。初始值選得太靠近局部最小值也不行，所以建議多用幾個(gè)初始值先粗略訓(xùn)練幾次以找到合適的初始位置。另外，學(xué)習(xí)數(shù)率太小也不行，那樣網(wǎng)絡(luò)沒有足夠的能量跳出低谷[20]。附加動(dòng)量法的MATLAB程序見附錄3。4 算例分析 為了說(shuō)明本文提出的預(yù)測(cè)模型的有效性和精確性，根據(jù)上面建立的最小二乘法模型和神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行負(fù)荷預(yù)測(cè)，并對(duì)兩個(gè)模型進(jìn)行對(duì)比。算例分析使用的是連續(xù)14天的負(fù)荷數(shù)據(jù)，分別以第13天和第14天作為預(yù)測(cè)日作為歷史數(shù)據(jù)。 負(fù)荷數(shù)據(jù) 14天實(shí)際的負(fù)荷數(shù)據(jù)給定連續(xù)14天的實(shí)際負(fù)荷數(shù)據(jù)，。 第