【文章內(nèi)容簡介】 { 其中(=1，2,...,n)是從其他細(xì)胞傳來的輸入信號，為閾值，權(quán)系數(shù)表示連接強(qiáng)度，說明突觸的負(fù)載，稱為激發(fā)函數(shù)或作用函數(shù)，其非線特性可用閾值型、分段線性型和連續(xù)型激發(fā)函數(shù)近似[14]。 神經(jīng)網(wǎng)絡(luò)BP算法BP算法基本思想是最小二乘學(xué)習(xí)算法，它的算法過程是沿著梯度下降方向不斷修改權(quán)值閾值 ，直到達(dá)到設(shè)定的誤差的最小值。網(wǎng)絡(luò)學(xué)習(xí)過程是誤差反向傳播回上一層修改其權(quán)值，直到其達(dá)到收斂之后。 BP網(wǎng)絡(luò)結(jié)構(gòu)BP網(wǎng)絡(luò)是典型的無反饋前向網(wǎng)絡(luò)，三層的BP網(wǎng)絡(luò)可以達(dá)到一般非線性函數(shù)逼近的問題。三層分別是輸入層、輸出層、隱含層，隱藏層可以是一層或者多層，在負(fù)荷預(yù)測中，隱含層用一層比較好。激發(fā)函數(shù)一般選擇Sigmoid函數(shù)或雙曲函數(shù)。設(shè)三層BP網(wǎng)絡(luò)，輸入層M個節(jié)點(diǎn)，輸出層L個節(jié)點(diǎn)，隱層有N個節(jié)點(diǎn)。則NML。輸入為，期望輸出為。結(jié)構(gòu)圖如圖31所示 ..... .... .... 圖31 三層BP網(wǎng)絡(luò)結(jié)構(gòu)圖 BP網(wǎng)絡(luò)的算法 設(shè)網(wǎng)絡(luò)有三層，第三層盡含輸出接點(diǎn)，網(wǎng)絡(luò)輸出為，有N個輸入（=1,2,3，...,N），網(wǎng)絡(luò)輸出亦然。設(shè)第二層神經(jīng)元個數(shù)為N1，第二層第個神經(jīng)元輸出變量用來表示，由第二層第到第三層第個神經(jīng)元的權(quán)系數(shù)用來表示，第2層第個神經(jīng)元的輸出變量用來表示。則有 （31）為網(wǎng)絡(luò)的實(shí)際輸出值。 令 （32） 其中： （33） 通過改進(jìn)的BP算法收斂精度更高，網(wǎng)絡(luò)容錯能力更強(qiáng)，算法也更加完備。具體算法步驟如下：（1） 對數(shù)據(jù)進(jìn)行歸一化處理，并隨機(jī)賦給所有的權(quán)值和神經(jīng)元的閾值較小值。（2） 給定輸入和，并正向迭代計(jì)算。（3） 通過迭代，計(jì)算出實(shí)際輸出。（4） 反向修正權(quán)值。改進(jìn)后的修正量為 （34）（5） 是增益項(xiàng)，是矩參數(shù)，當(dāng)訓(xùn)練結(jié)果達(dá)到誤差精度的要求后，停止訓(xùn)練，如果達(dá)不到，回到（2）。 BP網(wǎng)絡(luò)的缺點(diǎn)和改進(jìn)方法BP網(wǎng)絡(luò)逼近非線性函數(shù)效果很好，還有自適應(yīng)和學(xué)習(xí)能力，使我們在處理數(shù)據(jù)的時候方便了好多。但BP網(wǎng)絡(luò)畢竟不是完美的，它還有幾個缺點(diǎn)。第一個缺點(diǎn)就是收斂速度慢。對于處理大量數(shù)據(jù)的時候，矩陣也會比較龐大，用BP算法需要學(xué)習(xí)循環(huán)幾千次甚至上萬次才會收斂，這是它本身固有的一個缺點(diǎn)，因?yàn)樗挥芯植克阉髂芰Γ菀茁淙刖植繕O小點(diǎn)。第二個缺點(diǎn)是網(wǎng)絡(luò)容錯能力不夠。再追求誤差到最小的同時沒有考慮網(wǎng)絡(luò)其他因素，受到干擾便會產(chǎn)生震蕩。在改進(jìn)收斂速度慢有許多種方法，這里介紹兩個最常用的方法。第一個是附加沖量法，這種方法是在每個加權(quán)調(diào)節(jié)量上加上一項(xiàng)正比于前次加權(quán)變化量的值，可以明顯加快收斂速度。第二個是采用動態(tài)步長。就是改變學(xué)習(xí)速率，開始時學(xué)習(xí)速率取大值，收斂會變快，但這個值不應(yīng)該比引起系統(tǒng)震蕩的最大學(xué)習(xí)速率大，如果發(fā)現(xiàn)系統(tǒng)震蕩，再減小。 本章小結(jié)基于BP理論基礎(chǔ)，將本章的知識實(shí)踐的應(yīng)用于負(fù)荷預(yù)測，清楚地了解到BP算法的原理以及其優(yōu)缺點(diǎn)，在進(jìn)行負(fù)荷預(yù)測的時候揚(yáng)長避短，遇到問題的時候懂得是那一方面出了問題。第4章 整點(diǎn)負(fù)荷預(yù)測設(shè)計(jì)及其實(shí)現(xiàn) 模型的設(shè)計(jì)及參數(shù)設(shè)定 模型的設(shè)計(jì) 首先建立一個三層的BP網(wǎng)絡(luò)，隱含層只有一層。因?yàn)槎嚯[含層會延長訓(xùn)練的時間，隱層的激發(fā)函數(shù)選取正切雙曲函數(shù)，輸出層的激發(fā)函數(shù)采用純線性函數(shù)。隱層節(jié)點(diǎn)數(shù)目不能太少，如果太少，會影響訓(xùn)練的的精度，也不能太多，太多會延長訓(xùn)練時間。隱層節(jié)點(diǎn)的確定一般按照下面三個公式的要求來確定： （41） （42） （43）為隱層節(jié)點(diǎn)數(shù)目，為輸出層節(jié)點(diǎn)數(shù)目，是輸入層節(jié)點(diǎn)數(shù)目，是1到10的整數(shù)。實(shí)際訓(xùn)練的時候，按照從小到大的順序逐個代入程序進(jìn)行試驗(yàn)，選出最合適的值。 輸入節(jié)點(diǎn)的個數(shù)就是輸入神經(jīng)元訓(xùn)練網(wǎng)絡(luò)的個數(shù)，盡可能多的考慮其他影響因素作為輸入量，由于本文沒有考慮氣候等其他原因，所以輸入變量只有歷史的整點(diǎn)負(fù)荷數(shù)據(jù)。 輸出節(jié)點(diǎn)就是經(jīng)過訓(xùn)練后期望的輸出，就是要預(yù)測的那幾天的整點(diǎn)負(fù)荷數(shù)據(jù)，是一個多輸出變量。 建立網(wǎng)絡(luò)通過newff來實(shí)現(xiàn)，這個函數(shù)將建立起已經(jīng)設(shè)定好參數(shù)的滿足要求的網(wǎng)絡(luò)結(jié)構(gòu)。初始化由函數(shù)init來確定，在確定網(wǎng)絡(luò)結(jié)構(gòu)的同時，這個函數(shù)會將連接網(wǎng)絡(luò)的權(quán)值閾值隨機(jī)賦值，所以每次訓(xùn)練網(wǎng)絡(luò)的輸出值都不一樣。訓(xùn)練網(wǎng)絡(luò)由train函數(shù)來確定，它會對輸入矩陣和期望輸出矩陣和設(shè)定好的參數(shù)比如訓(xùn)練次數(shù)、學(xué)習(xí)速率、最小誤差精度等來進(jìn)行訓(xùn)練，直到達(dá)到精度為止。仿真輸出由函數(shù)sim來執(zhí)行，他將根據(jù)上述訓(xùn)練的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)處理及計(jì)算。 由于BP算法只能處理歸一化的數(shù)據(jù)，所以在進(jìn)行負(fù)荷預(yù)測的時候，要將歷史負(fù)荷數(shù)據(jù)進(jìn)行歸一化處理，去掉那些非法的數(shù)據(jù)，這些數(shù)據(jù)有明顯的誤差，不符合實(shí)際情況，會影響到網(wǎng)絡(luò)的訓(xùn)練精度和數(shù)據(jù)處理。得到輸出預(yù)測結(jié)果之后，再將輸出結(jié)果進(jìn)行反歸一化處理，得到確切的預(yù)測負(fù)荷數(shù)值。 參數(shù)的設(shè)定 學(xué)習(xí)速率影響著網(wǎng)絡(luò)收斂程度的大小和速度，它影響著每一次訓(xùn)練權(quán)值的變化，學(xué)習(xí)速率越大，修正值越大，可能導(dǎo)致系統(tǒng)震蕩，網(wǎng)絡(luò)不收斂，而學(xué)習(xí)速率小的時候，系統(tǒng)收斂變慢，訓(xùn)練次數(shù)增加，很容易陷入局部極小。所以學(xué)習(xí)速率要從大往按照經(jīng)驗(yàn)小逐個實(shí)驗(yàn)，發(fā)現(xiàn)系統(tǒng)震蕩就往小取，發(fā)現(xiàn)收斂速度變慢就往大取。 訓(xùn)練次數(shù)的選取要看網(wǎng)絡(luò)樣本的大小，樣本越大，需要的次數(shù)就越多，樣本越小，次數(shù)就越少。但如果把訓(xùn)練次數(shù)設(shè)定的很大，收斂會變慢，有時候會達(dá)到設(shè)定的最大次數(shù)才會收斂。如果訓(xùn)練次數(shù)少，很可能因?yàn)橛?xùn)練次數(shù)不夠而達(dá)不到收斂。 期望的誤差精度選取要根據(jù)系統(tǒng)的要求來選取，取決于負(fù)荷預(yù)測誤差的要求范圍之內(nèi)就可以，誤差精度不可以取得太小，太小會導(dǎo)致收斂變慢，訓(xùn)練次數(shù)增多，很難達(dá)到所設(shè)定值。 整點(diǎn)負(fù)荷預(yù)測數(shù)據(jù) 本文以某地區(qū)5到20日的整點(diǎn)負(fù)荷作為訓(xùn)練樣本，預(yù)測2223日的整點(diǎn)負(fù)荷。輸入變量就是訓(xùn)練樣本，由于是24小時整點(diǎn)的數(shù)據(jù)，所以輸入是一個24維的向量，也是一個2416的矩陣。由此可知，輸出也是一個24維的向量，也是一個243的矩陣。不能直接把歷史負(fù)荷數(shù)據(jù)作為輸入，這樣會導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)不穩(wěn)定，結(jié)果收斂不到，所以要對數(shù)據(jù)進(jìn)行歸一化處理，歸一化就是把數(shù)據(jù)歸一到0到1之間。本例不會因?yàn)闃颖具^小而導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)不穩(wěn)定、表達(dá)不充分而陷入局部極小，反而本例樣本很大，這樣增大了網(wǎng)絡(luò)訓(xùn)練次數(shù)，增長了收斂時間，數(shù)據(jù)過剩導(dǎo)致網(wǎng)絡(luò)訓(xùn)練慢。 某地區(qū)5到20日負(fù)荷數(shù)據(jù) 單位：（kw） 時間5日6日7日8日9日10日11日12日 0:001702 1692 1764 1789 1684 1751 1726 1794 1:001560 1602 1662 1642 1609 1643 1648 1693 2:001522 1558 1582 1595 1532 1581 1574 1626 3:001504 1501 1535 1568 1509 1546 1528 1607 4:001509 1474 1521 1543 1488 1518 1541 1584 時間5日6日7日8日9日10日11日12日5:001515 1516 1568 1579 1531 1555 1589 1622 6:001696 1721 1748 1661 1790 1779 1807 1886 7:001828 1874 1861 1811 1902 1851 1897 1947 8:0019702013 2023 1910 2030 2050 2066 2098 9:002114 2120 2120 2012 2143 2143 2184 2213 10:002190 2196 2188 2063 2220 2234 2236 2307 11:002322 2309 2345 2194 2341 2348 2378 2392 12:002065 2061 2038 1930 2014 2031 2055 2064 13:002016 2024 1995 1887 2013 2022 2051 2054 14:002039 2050 2031 1913 2064 2063 2107 2140 15:002041 2075 2020 1898 2053 2043 2137 2125 16:002125 2176 2121 1972 2149 2157 2191 2207 17:002275 2313 2261 2112 2247 2263 2315 2328 18:002308 2354 2295 2154 2292 2298 2337 2328 19:002355 2434 2383 2285 2412 2439 2482 2511 20:002294 2331 2323 2233 2338 2331 2396 2428 21:002203 2215 2199 2155 2234 2276 2289 2324 22:002091 2174 2120 2054 2140 2136 2197 2235 23:001863 1941 1948 1864 1931 1908 2014 2005 時間13日14日1