【正文】 圖 43 GRNN 神經(jīng)網(wǎng)絡(luò)的函數(shù)運(yùn)算過程 0 500 1000 1500 2021 2500 3000 1 . 21 0 . 8 0 . 6 0 . 4 0 . 200 . 20 . 40 . 60 . 8歸一化后的樣本數(shù)據(jù)時(shí)點(diǎn)歸一化后功率值a2=purelin( ) a1=radbas( ) 。 GRNN 神經(jīng)網(wǎng)絡(luò)的相關(guān)函數(shù)，其函數(shù)名稱為 newgrnn()。 歸一化后的樣本數(shù)據(jù)如圖 42 所示。本文利用 GRNN 神經(jīng)網(wǎng)絡(luò)對(duì)該風(fēng)電場(chǎng)的機(jī)組輸出功率進(jìn)行預(yù)測(cè)。 圖 41 風(fēng)電機(jī)組總輸出功率隨時(shí)間推遲的時(shí)點(diǎn)數(shù)值分布 由圖可見， 該 風(fēng)電場(chǎng)風(fēng)功率數(shù)值的分布不具有一般統(tǒng)計(jì)特性，且風(fēng)電場(chǎng)的風(fēng)速是一個(gè)隨許多因素變化的非線性函數(shù)，但風(fēng)速卻對(duì)風(fēng)電場(chǎng)機(jī)組功率影響最大，使得風(fēng)功率的分布也稱非線性分布。 其中前 1792 個(gè)歷史時(shí)點(diǎn)數(shù)據(jù)（總數(shù)據(jù)量的 2/3）作為網(wǎng)絡(luò)的訓(xùn)練樣本 ,后 896 個(gè)歷史時(shí)點(diǎn)數(shù)據(jù)（總數(shù)據(jù)練的 1/3）作為網(wǎng)絡(luò)的測(cè)試數(shù)據(jù)，建立 GRNN 神經(jīng)網(wǎng)絡(luò)對(duì)風(fēng)電場(chǎng)風(fēng)功率進(jìn)行預(yù)測(cè) [23]。 24 5 基于 GRNN 神經(jīng)網(wǎng)絡(luò)的風(fēng)功率預(yù)測(cè) 仿真應(yīng)用 仿真背 景 樣本準(zhǔn)備：某風(fēng)電場(chǎng)全場(chǎng) 58 臺(tái)風(fēng)電機(jī)組的總輸出功率數(shù)據(jù)，每臺(tái)機(jī)組的額定輸出功率為 850kW。 擴(kuò)展系數(shù)的選擇以獲得最小泛化誤差為標(biāo)準(zhǔn)，最終 得到最佳 SPREAD 值 [19]。本例中， 擴(kuò)展系數(shù)在 ~ 之間時(shí)對(duì)數(shù)據(jù)結(jié)果影響較大，通過 試驗(yàn)法 選取最優(yōu) SPREAD，以 為步長 對(duì)擴(kuò)展系數(shù)進(jìn)行 重復(fù)試驗(yàn) ，檢驗(yàn)其是否符合預(yù)測(cè)精度要求，若不符合，僅對(duì) SPREAD 值賦值 + 循環(huán)；若符合，先將此次試驗(yàn)誤差作為誤差最大值，之后再將 SPREAD 值賦值 + 循環(huán)。文中采用了常見的考核指標(biāo)：各個(gè)時(shí)刻的絕對(duì)誤差和標(biāo)準(zhǔn)誤差 Sr 來進(jìn)行誤差的分析。不同的擴(kuò)展系數(shù)會(huì)得出不同的標(biāo) 準(zhǔn)誤差，使得標(biāo)準(zhǔn)誤差的最小的擴(kuò)展系數(shù)，即使得泛化誤差最小，則該值為尋得的最優(yōu)擴(kuò)展系數(shù)值。 圖 42 GRNN 網(wǎng)絡(luò)訓(xùn)練流程 訓(xùn)練參數(shù)的選擇 誤差 公式 的選擇： 在偏差和方差的 權(quán)衡 中，使得泛化誤差最小是網(wǎng)絡(luò)設(shè)計(jì)的關(guān)鍵所在。 本文設(shè)計(jì)的 GRNN 網(wǎng)絡(luò) 22 中， 輸入層節(jié)點(diǎn)數(shù)為 3，訓(xùn)練樣本輸入數(shù)據(jù)對(duì)應(yīng)功率數(shù)據(jù) 3 個(gè)時(shí)點(diǎn)變量；輸出層節(jié)點(diǎn)數(shù)為1，訓(xùn)練目標(biāo)數(shù)據(jù)對(duì)應(yīng)功率數(shù)據(jù) 1 個(gè)時(shí)點(diǎn)數(shù)值。 采用數(shù)據(jù)轉(zhuǎn)換程序?qū)r(shí)間序列按照輸入數(shù)據(jù)的個(gè)數(shù)和輸出數(shù)據(jù)的個(gè)數(shù)轉(zhuǎn)換成訓(xùn)練要求的矩陣。實(shí)現(xiàn)對(duì) GRNN 神經(jīng)網(wǎng)絡(luò)的性能評(píng)估及對(duì)預(yù)測(cè)精度的定量分析。在進(jìn)行重復(fù)采樣之前，使用截?cái)嗵幚?，將?shù)據(jù)按照 3 輸入 1 輸出的形式轉(zhuǎn)換為以 4 個(gè)數(shù)據(jù)為一組的截?cái)鄦卧笤龠M(jìn)行重新采樣。 5 次 交叉驗(yàn)證： 將數(shù)據(jù)分成容量大致相等的 5 份，將網(wǎng)絡(luò)訓(xùn)練 5 次，即建立 5 個(gè)模型，每一次留出一份作為驗(yàn)證集，其他 51 份作為訓(xùn)練集；最終將 5 次驗(yàn)證集上的誤差進(jìn)行平均得到神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差的交叉驗(yàn)證估計(jì)， 選出已定模型的最小泛化誤差。 21 （ 4）單元數(shù)據(jù)重新采樣：為方便網(wǎng)絡(luò)進(jìn)行重復(fù)采樣，將相鄰的 4 個(gè)數(shù)據(jù)作為一個(gè)截?cái)鄦卧?，用其前三個(gè)數(shù)據(jù)預(yù)測(cè)第四個(gè)數(shù)據(jù)，這樣在重復(fù)采樣時(shí)以 4 個(gè)數(shù)據(jù)為一個(gè)單元的采樣點(diǎn)進(jìn)行重新采樣。 （ 3）轉(zhuǎn)化矩陣形式： 對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行截?cái)嗵幚?，使得時(shí)間序列 數(shù)據(jù) 按照 3 輸入1 輸出 的要求轉(zhuǎn)換成 網(wǎng)絡(luò) 訓(xùn)練所需的矩陣形式。 （ 2）數(shù)據(jù)標(biāo)準(zhǔn)化： 在保證數(shù)據(jù)信息損失小的前提下，為減少網(wǎng)絡(luò)的訓(xùn)練時(shí)間，利用“ 最大 最小標(biāo)準(zhǔn)化 ” 為數(shù)據(jù)進(jìn)行歸一化，并對(duì)數(shù)值保留小數(shù)點(diǎn)后四位。 數(shù)據(jù)預(yù)處理 （ 1）合理性檢驗(yàn)： 風(fēng)電場(chǎng)輸出功率值應(yīng)均為正值，且不能大于總機(jī)組安裝容量，故數(shù)值范圍為 [0,49300]，單位為 kW。 其中超短期預(yù)測(cè)是提前幾個(gè)小時(shí)或幾十分鐘預(yù)測(cè)。實(shí)時(shí)預(yù)測(cè)是滾動(dòng)地預(yù)測(cè)每個(gè)時(shí)點(diǎn)未來 4 小時(shí)內(nèi)的 16 個(gè)時(shí)點(diǎn)（每 15 分鐘一個(gè)時(shí) 點(diǎn)）的風(fēng) 功率數(shù)值。 根據(jù)電力調(diào)度部門安排運(yùn)行方式的不同需求，風(fēng)電功率預(yù)測(cè)分為日前預(yù)測(cè)和實(shí)時(shí)預(yù)測(cè)。 圖 32 遺傳算法的運(yùn)算流程 20 4 基于 GRNN 神經(jīng)網(wǎng)絡(luò)的風(fēng)功率預(yù)測(cè) 建模方法 問題描述 我國的風(fēng)電開發(fā)已具有相當(dāng)規(guī)模，為保證風(fēng)電并網(wǎng)后電網(wǎng)安全可靠運(yùn)行，電網(wǎng)企業(yè)作為風(fēng)電的實(shí)際調(diào)度主體，熟悉大范圍內(nèi)風(fēng)電運(yùn)行特性，應(yīng)充分發(fā)揮自身優(yōu)勢(shì)，參與風(fēng)電功率預(yù)測(cè)系統(tǒng)的開發(fā)、建設(shè)工作，不斷完善風(fēng)電功率預(yù)測(cè)系統(tǒng)的功能，并且根據(jù)我國實(shí)際特點(diǎn)，電網(wǎng)企業(yè)能夠有條件制定適應(yīng)我國風(fēng)電開發(fā)特點(diǎn)的風(fēng)電功率預(yù)測(cè)執(zhí)行規(guī)范。終止條件可以設(shè)置成：連續(xù)進(jìn)化幾代后，最優(yōu)值仍然保持不變，或已經(jīng)達(dá)到最大進(jìn)化代數(shù)。遺傳算法模擬自然選擇和自然遺傳過程中發(fā)生的繁殖、交叉和基因突變現(xiàn)象，在每次迭代中都保留一組候選解，并按照某些指標(biāo)從解群中選取較優(yōu)的個(gè)體，利用遺傳算子（選擇、交叉和變異）對(duì)這些個(gè)體進(jìn)行組合，產(chǎn)生新一代的候選解群，重復(fù)此過程，直到選出滿足某些收斂指標(biāo)為止 [22]。 下面以遺傳算法為例介紹。 （ 2） 采用進(jìn)化優(yōu)選算法選擇 RBF 中心 把 RBF 網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)問題歸結(jié)為尋找最優(yōu)選擇路徑問題，然后采用進(jìn)化策略進(jìn)行尋找，從而得到最優(yōu)的數(shù)據(jù)中心及擴(kuò)展系數(shù)。可以看出，擴(kuò)展參數(shù)的確定過程體現(xiàn)了對(duì)網(wǎng)絡(luò)性能的驗(yàn)證過程。 其他方法 （ 1） 試驗(yàn)法 令擴(kuò)展參數(shù)以增量 Δσ 在一定范圍 [σ max,σ min]內(nèi)遞增變化，在學(xué)習(xí)樣本中，采用2/3 的數(shù)據(jù)作為訓(xùn)練樣本數(shù)據(jù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 定義為 ，式中輸出函數(shù)忽略了閾值。以單輸出 RBF 網(wǎng)絡(luò)為例，采用梯度下降算法 [21]?；旌蠈W(xué)習(xí)過程的第二步是用有監(jiān)督學(xué)習(xí)算法得到輸出層的權(quán)值，常采用 LMS 算法，下一節(jié)中有所說明。 各聚類中心確定后，可根據(jù)各中心之間的距離 確定對(duì)應(yīng)徑向基函數(shù)的擴(kuò)展系數(shù) 。對(duì)各聚類域中的樣本取均值表示聚類中心。將 全部樣本劃分為 M 個(gè)子集，每個(gè)子集構(gòu)成一個(gè)以聚類中心為典型代表的聚類域。 （ 2） 計(jì)算各樣本點(diǎn)與聚類中心點(diǎn)的距離。那么， 數(shù)據(jù)中心的 K均值聚類算法 的步驟 如下 ： （ 1） 初始化。對(duì)于自組織學(xué)習(xí)過程，我們需要一個(gè)聚類的算法將所給的數(shù)據(jù)點(diǎn)剖幾個(gè)不同的部分，每一部分中的數(shù)據(jù)都盡量有相同性質(zhì)。第一階段 為自組織學(xué)習(xí)階段，目的是為隱藏層徑向基函數(shù)的中心估計(jì)一個(gè)合適的位置， 可 采用聚類算法確定合適的數(shù)據(jù)中心，并根據(jù)各中心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展系數(shù)；第二階段為監(jiān)督學(xué)習(xí)階段 ，用有監(jiān)督學(xué)習(xí)算法，如梯度法訓(xùn)練網(wǎng)絡(luò)得出輸出層的權(quán)值。自組織學(xué)習(xí)的目的是使RBF 的中心位于樣本空間的代表性區(qū)域 [21]。例如高斯函數(shù)的寬度可以取 式中， 是所選數(shù)據(jù)中心之間的最大距離， 是數(shù)據(jù)中心的數(shù) 目。為此，設(shè)計(jì)者可以考慮在樣本密集的地方 17 中心點(diǎn) 可以適當(dāng)多些，樣本稀疏的地方中心點(diǎn)可以少些；進(jìn)一步的方法是通過自組織的方法自動(dòng)找到不同區(qū)域樣本的代表向量。因此，這種方法適用于那些給定樣本數(shù)據(jù)具有代表性的問題。這樣隱單元輸出是已知的，網(wǎng)絡(luò)的連接權(quán)值可以通過求解線性方程組來確定。一般情況下，擴(kuò)展系數(shù)的選取取決于輸入向量之間的距離，要求是大于最小距離，小于最大距離 [19]。對(duì)徑向基擴(kuò)展系數(shù)的選擇不當(dāng)，會(huì)導(dǎo)致網(wǎng)絡(luò)設(shè)計(jì)中神經(jīng)元數(shù)目的過少或過多，從而在進(jìn)行函數(shù)逼近中會(huì)造成網(wǎng)絡(luò)陷入“欠擬合”或者“過擬合”狀態(tài) [17]。合 理選擇 SPREAD 是很重要的，其值應(yīng)該足夠大，使徑向基神經(jīng)元能夠?qū)斎胂蛄克采w的區(qū)間都產(chǎn)生響應(yīng)，但也不要求大到所有的徑向基神經(jīng)元都如此，只要部分徑向基神經(jīng)元能夠?qū)斎胂蛄克采w的區(qū)間產(chǎn)生響應(yīng)就足夠了。與傳統(tǒng)的誤差反向傳統(tǒng)算法不同 ， GRNN 的學(xué)習(xí)算法在訓(xùn)練過程中不調(diào)整神經(jīng)元之間的連接權(quán)值 ,而只是改變擴(kuò)展系數(shù) ,從而調(diào)整模式層中各單元的傳遞函數(shù) ， 以獲得最佳的回歸估計(jì)結(jié)果。結(jié)構(gòu)設(shè)計(jì)主要解決如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)的問題，參數(shù)設(shè)計(jì)一般需考慮包括 3 種參數(shù)：各基函數(shù) 的數(shù)據(jù)中心 位置 、擴(kuò)展系數(shù)和輸出節(jié)點(diǎn)的權(quán)值。 利用自助法不僅可以估計(jì)泛化誤差，還可以估計(jì)網(wǎng)絡(luò)輸出的置信度區(qū)間。 由于自助訓(xùn)練集和原始訓(xùn)練集重疊過多，基于此得到的誤差要遠(yuǎn)遠(yuǎn)低于真實(shí)誤差，通過模仿交叉驗(yàn)證方法，可以獲得一個(gè)較好的自助法估計(jì)。該方法的基本思想是：從訓(xùn)練數(shù)據(jù)中有放回的隨機(jī)抽取數(shù)據(jù)集，每個(gè)數(shù)據(jù)集的容量都與原數(shù) 據(jù)集相同。 交叉驗(yàn)證方法可以用于估計(jì)一個(gè)給定模型的泛化誤差， 也可以用于參數(shù)選擇，即從眾多可用參數(shù)中選出一個(gè)使泛化誤差估計(jì)最小的最佳參數(shù)，進(jìn)而得到優(yōu)化模型。 K 值一般大于等于 2，實(shí)際操作時(shí)一般從 3 開始去，最常見 的交叉驗(yàn)證 采用 5 折或者 10 折驗(yàn)證 居多。 該方法 是基于“重采樣”技術(shù)。 又稱為循環(huán)估計(jì)，是一種統(tǒng)計(jì)學(xué)上將數(shù) 據(jù)樣本切割成較小子集的實(shí)用方法。 對(duì)于數(shù)據(jù)量不是很大的情況，一般只分為訓(xùn)練集和驗(yàn)證集即可。訓(xùn)練結(jié)束后，在檢驗(yàn)集上再次運(yùn)行網(wǎng)絡(luò)，計(jì)算出網(wǎng)絡(luò)在檢驗(yàn)集上的誤差，假定檢驗(yàn)集是隨機(jī)選取的，那么這一誤差可以作為泛化誤差的無偏估計(jì)?！皺z驗(yàn)集”必須具有代表性，且不能以任何方式用在訓(xùn)練中。 15 神經(jīng)網(wǎng)絡(luò)模型的評(píng)估 神經(jīng)網(wǎng)絡(luò)模型的評(píng)估是指：已經(jīng)選定最終的模型，估計(jì)它在心數(shù)據(jù)上的預(yù)測(cè)誤差（泛化誤差） [21]。前文提到，網(wǎng)絡(luò)的訓(xùn)練過程實(shí) 質(zhì)是一個(gè)一維尋優(yōu)過程，尋的就是擴(kuò)展系數(shù)的最優(yōu)值。本文采用標(biāo)準(zhǔn)誤差衡量泛化誤差的大小。如圖 31 所示這種狀態(tài)與偏差 方差的關(guān)系。可以從偏差和方差的角度分析神經(jīng)網(wǎng)絡(luò)的這兩種狀態(tài)：“欠擬合”會(huì)使輸出產(chǎn)生較大的偏差，而“過擬合”則產(chǎn)生較大的方差。如果一個(gè)神經(jīng)網(wǎng)絡(luò)不夠復(fù)雜，則令它完全探測(cè)到復(fù)雜數(shù)據(jù)集中的信號(hào)就非常困難，這就會(huì)導(dǎo)致“欠擬合”。換言之， 隨著模型復(fù)雜度的增加，方差趨于增加，偏差趨于減小；隨著模型復(fù)雜度的降低， 則 情況相反。偏差和方差兩難是一個(gè)普遍的現(xiàn)象：一個(gè)模型學(xué)習(xí)算法如果逐漸提高對(duì)訓(xùn)練數(shù)據(jù)的適應(yīng)性，那么它將巨響與更小的偏差，但可能導(dǎo)致更大的方差。 式 (31)表明均方誤差可以用偏差想和方差項(xiàng)的和的形式表示。 以回歸和曲線擬合為例，給出預(yù)測(cè)誤差函數(shù)表達(dá)式的偏差 方差分解。 偏差 方差分解 一般來說，神經(jīng)網(wǎng) 絡(luò)模型的泛化能力取決于 3 個(gè)主要因素，即問題本身的復(fù)雜程度、參數(shù)的范圍和樣本量的大小。在實(shí)踐中，性能的評(píng)估非常重要，它指導(dǎo)了學(xué)習(xí)算法和模型的選擇，并為最終選定模型提供質(zhì)的度量。 泛化能力的定義如下：它是指經(jīng)過訓(xùn)練（ 學(xué)習(xí)）后的預(yù)測(cè)模型對(duì)圍在訓(xùn)練集中出現(xiàn)（但具有統(tǒng)一規(guī)律性）的樣本作出正確反應(yīng)的能力，學(xué)習(xí)不是簡(jiǎn)單地記憶已經(jīng)學(xué)過的輸入，而是通過對(duì)有限個(gè)訓(xùn)練樣本的學(xué)習(xí)，學(xué)到隱含在樣本中的有關(guān)環(huán)境本身的內(nèi)在規(guī)律性。 （ 5） 標(biāo)準(zhǔn)誤差 S： 為第 k個(gè)實(shí)際功率值； 為第 k個(gè)預(yù)測(cè)功率值 ； 為歷史功率數(shù)據(jù)個(gè)數(shù) 。 （ 4） 均方根誤差 RMSE： 13 由于對(duì)誤差進(jìn)行了平方，優(yōu)點(diǎn)是加強(qiáng)了數(shù)值大的誤差在指標(biāo)中的作用 ，從而提高了這個(gè)指標(biāo)的靈敏性。這樣不僅可以認(rèn)識(shí)預(yù)測(cè)結(jié)果的準(zhǔn)確程度，而且在利用預(yù)測(cè)結(jié)果進(jìn)行備用容量 決策時(shí)具有重要的參考價(jià)值。 預(yù)測(cè)誤差分析 由于 風(fēng)電場(chǎng) 風(fēng)功率預(yù)測(cè)是一種對(duì)未來 機(jī)組 功率值的估算， 無法 避免地，它與客觀實(shí)際之間存在一定的數(shù)值差距，這 就是預(yù)測(cè)誤差。用標(biāo)準(zhǔn)化計(jì)算公式對(duì)校正風(fēng)功率數(shù)據(jù)集合進(jìn)行歸一化，用以消除數(shù)據(jù)中的冗余成分。 經(jīng)過上述標(biāo)準(zhǔn)化處理，原始數(shù)據(jù)均轉(zhuǎn)換為無量綱化指標(biāo)測(cè)評(píng)值，即各指標(biāo)值都處于同一個(gè)數(shù)量級(jí)別上，可以進(jìn)行綜合測(cè)評(píng)分析。 之 后 ， 對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，數(shù)據(jù)標(biāo)準(zhǔn)化處理包括兩方面，一方面：數(shù)據(jù)同趨化處理，用于解決不同性質(zhì)數(shù)據(jù)不能直接進(jìn)行數(shù)值運(yùn)算的問題；另一方面：數(shù)據(jù)無量綱化處理，用于解決數(shù)據(jù)的可比性。 首先，要檢驗(yàn)數(shù)據(jù)的合理性，例如，風(fēng)功率的值應(yīng)該 均 為正值，且最大不能超過 總 機(jī)組安裝容量 。 12 3 預(yù)測(cè)數(shù)據(jù)及結(jié)構(gòu)參數(shù)的預(yù)處理 歷史數(shù)據(jù)的預(yù)處理 對(duì)于 GRNN 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，大量的樣本數(shù)據(jù)可以提高神經(jīng)網(wǎng)絡(luò)的擬合能力及其預(yù)報(bào)能力。相反，當(dāng)光滑因子 趨向于 0 的時(shí)候， 和訓(xùn) 練樣本非常接近，當(dāng)需預(yù)測(cè)的點(diǎn) 被包含在訓(xùn)練樣本集中時(shí)，公 式求出的因變量的預(yù)測(cè)值會(huì)和樣本中對(duì)應(yīng)的因變量非常接近，而一旦碰到樣本中未能包含進(jìn)去的點(diǎn)，有可能預(yù)測(cè)效果會(huì)非常差，這種現(xiàn)象說明 11 網(wǎng)絡(luò)的泛化能力差。 用 代替 代入式 (21)，并交換積分和加和的順序： 由于 ，對(duì)兩個(gè)積分進(jìn)行計(jì)算后可得網(wǎng)絡(luò)的輸出 為