【正文】 燕山大學(xué)本科生畢業(yè)設(shè)計（論文） 16 第 3 章 神經(jīng)網(wǎng)絡(luò) 基本 原理 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neutral Network， ANN）是由大量簡單的基本元件 神經(jīng)元相互連接，通過模擬大腦神經(jīng)處理信息的方式，進(jìn)行信息并行處理和非線性轉(zhuǎn)換的復(fù) 雜網(wǎng)絡(luò)系統(tǒng)，是在現(xiàn)代神經(jīng)生物學(xué)基礎(chǔ)上提出的模擬生物過程，反映人腦特性的一種計算結(jié)構(gòu)，不是人腦神經(jīng)系統(tǒng)的真實(shí)描寫，只是它的某種抽象、簡化和模擬，具有記憶和學(xué)習(xí)能力，經(jīng)過一定的訓(xùn)練后，能夠?qū)o定的輸入做出相應(yīng)處理。人工神經(jīng)元是對生物神經(jīng)元的一種形式化描述，用數(shù)字語言描述生物神經(jīng)元的信息處理過程；用模型圖表達(dá)生物神經(jīng)元的結(jié)構(gòu)和功能。每 個神經(jīng)元 接收 來自其它 多個 神經(jīng)元的信 號 ， 是一個多輸入 /單輸出的非線性器件， 按其傳遞函數(shù)產(chǎn)生一個輸出信號， 這個輸出信號通過連接權(quán)值的作用后作為其他神經(jīng)元的一個輸入。 圖 31 單個神經(jīng)元模型 從 圖 31可以看出，神經(jīng)元是一個 多輸入單輸出的器件。由此得出神經(jīng)元數(shù)學(xué)模型： 1x 2x ix nx jo 1jw 2jw ijw njw ? f 章及標(biāo)題 17 ? ? ? ?1nj i j i i j jio t f w x t T??????? ? ?????????? （ 31） 其中， ??ixt表示 t 時刻神經(jīng)元 j 接收的來自神經(jīng)元 i 的輸入信號； ??jot表示神經(jīng)元 j的輸出；ij?表示輸入輸出間的突觸時延；ijw表示神經(jīng)元 i 到 j 的權(quán)值；jT表示神經(jīng)元 j 的閾值。1nj ij ii t w x t?? ? （ 32） 當(dāng) 39。 如令 001, jjx w T? ? ? ，則有 0j j oT w x?? ，輸入與閾值之差表示為 39。 神經(jīng)元 的 的信息處理特性取決于所采用的變換函數(shù)，其變換函數(shù)反映了神經(jīng)元輸出與激活狀態(tài)的關(guān)系。 （ 1）閾值型 ? ? 1000xfx x ??? ? ?? （ 34） 當(dāng) 0j? 時，神經(jīng)元為興奮狀態(tài)；當(dāng) 0j? 時，神經(jīng)元輸出為 0，為抑制狀態(tài)。 ? ?fx 0 x 燕山大學(xué)本科生畢業(yè)設(shè)計（論文） 18 ? ? 11 xfx e?? ? （ 35） 圖 33 單極性 S型變換函數(shù) （ 3） 分段線性函數(shù) 該具有該傳遞函數(shù)特性的神經(jīng)元 的 輸入與輸出 在一定區(qū)間內(nèi)滿足線性關(guān)系。 ? ?y f x x?? （ 37） （ 5）概率型變換函數(shù) 采用這種變換函數(shù)的神經(jīng)元其輸入輸出間的關(guān)系是不確定的，需用一個隨機(jī)函數(shù)來描述其輸出狀態(tài)。 下面以三層網(wǎng)絡(luò)結(jié)構(gòu)。 神經(jīng)元分層排列，組成輸入層、隱含層 (或稱中間層，可以有若干層 )、輸出層。 感知器網(wǎng)絡(luò)和 BP網(wǎng)絡(luò)屬于前向網(wǎng)絡(luò)。網(wǎng)絡(luò)仍由前述三部分組成，但從輸入層到輸出層有反饋信號，這種網(wǎng)絡(luò)結(jié)構(gòu)用于存儲某種模式序列。 （ 3） 層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò)。 這種結(jié)構(gòu)在同一層內(nèi)引入神經(jīng)元間的側(cè)向作用，使得能同時激活的神經(jīng)元數(shù)可控，以實(shí)現(xiàn)神經(jīng)元的自組織。這種網(wǎng)絡(luò)的任意兩個神經(jīng)元之間都可能有 連 接 ，信號在神經(jīng)元之間反復(fù)往返傳遞，網(wǎng)絡(luò)處于一種動態(tài)過程中 ， 從某一初態(tài)開始，經(jīng)過若干次變化，才會達(dá)到某種平衡狀態(tài)。 在實(shí)際應(yīng)用中 ， BP 網(wǎng)絡(luò)因其結(jié)構(gòu)簡單，應(yīng)用廣泛，本文用的就是這種網(wǎng)絡(luò)。它汲取了生物神經(jīng)網(wǎng)絡(luò)的部分優(yōu)點(diǎn)，具有如下特性： （ 1） ANN 由大量功能簡單的處理單元相互連接而成，這些處理單元集體的、并行的活動得到預(yù)期的識別、計算結(jié)果，運(yùn)行速度快。 （ 3） ANN 通過學(xué)習(xí)得到的信息存儲在神經(jīng)元之間的連接權(quán)值上，且信燕山大學(xué)本科生畢業(yè)設(shè)計（論文） 20 息存儲采用分布式。 神經(jīng)網(wǎng)絡(luò)算法 神經(jīng)網(wǎng)絡(luò)的功能特性 由其 拓?fù)浣Y(jié)構(gòu)和連 接 強(qiáng)度，即連接權(quán)值決定。神經(jīng)網(wǎng)絡(luò)對樣本的學(xué)習(xí)訓(xùn)練， 實(shí) 質(zhì)是調(diào)整權(quán)值的過程。 各計算單元狀態(tài)不變， 通過學(xué)習(xí)改變權(quán)值； 第二個階段是 測試階段。 概括來說，訓(xùn)練的目的是從訓(xùn)練樣本中提取隱含的規(guī)律存儲于網(wǎng)絡(luò)中供工作階段使用。這種學(xué)習(xí)方式需要 一組訓(xùn)練樣本。期望輸出作為學(xué)習(xí)評價的標(biāo)準(zhǔn)。 其學(xué)習(xí)評價標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)內(nèi)部 。 （ 3） 灌輸式學(xué)習(xí) 。 BP 網(wǎng)絡(luò) 基于誤差反向傳播 (Back Propagation， 簡稱 BP)算法的多層前向人工神經(jīng)網(wǎng)絡(luò) BP網(wǎng)絡(luò) ，是目前最成熟的人工神經(jīng)網(wǎng)絡(luò)。中間層不與實(shí)際的輸入輸出相聯(lián)系，也稱隱含層，可以由若干層組成。 以下是三層 BP網(wǎng)絡(luò)模型。歸結(jié)起來為，“模式順傳傳播” →“模式逆?zhèn)鞑ァ薄坝洃浻?xùn)練”→ “學(xué)習(xí)收斂”的過程。輸入層到隱層之間的權(quán)值矩陣用 V 表示，? ?12, , , , ,jmV V V V V? ，其中列向量 jV 為隱層第 j 個神經(jīng)元對應(yīng)的權(quán)向量；隱層到輸出層的權(quán)值矩陣用 W 表示， ? ?12, , , , ,klW W W W W? ，其中列向量kW 為輸出層第 k 個神經(jīng)元對應(yīng)的權(quán)向量。 1 , 2 , ,jk jkEw j m k lw? ?? ? ? ?? （ 318） 章及標(biāo)題 23 0 , 1 , 2 , , 。 （ 3） BP 算法 推導(dǎo) 式 （ 318）、（ 319） 可改寫為如下形式： kjk jk k jkn e tEEw w n e t w?? ???? ? ? ?? ? ? （ 320） jijij j ijn e tEEv v n e t v?? ???? ? ? ?? ? ? （ 321） 對輸出層和隱含層各給出一個誤差信號： 0kkE? ???? （ 322） yjjE? ???? （ 323） 則輸出層權(quán)值調(diào)整式為 ： ojk k jwy??? （ 324） 隱層權(quán)值調(diào)整式為： kij j ivx??? （ 325） 可以看出，只需計算誤差信號， jkw 、 ijv 即可求出。1f x f x f x?????? （ 326） 對于輸出層有： ? ? ? ? ? ? ? ?39。1o kk k k k k kk k k koE E E f n e t d o o on e t o n e t o? ?? ? ?? ? ? ? ? ? ? ? ?? ? ? ? （ 329） 對于隱含層有： ? ? ? ? ? ? ? ?39。lk k k jkkjE d o f n e t wy ?? ? ? ?? ? （ 331）由式 （ 323） 、 （ 326） 、 （ 331） 得， ? ? ? ? ? ?1 39。lyj k k k jk jk d o f n e t w f n e t? ?????????? ? ?1 1l ok jk j jk w y y??????????? （ 332） 由以上各式可得輸出層與隱層權(quán)值調(diào)整公式： ? ? ? ?1ojk k j k k k k jw y d o o o y?? ?? ? ? ? （ 333） ? ?1 1lyoij j i k jk j j ikv x w y y x? ? ? ????? ? ?????? （ 334） 以上是三層 BP 網(wǎng)絡(luò)的隱層 與輸出層權(quán)值調(diào)整公式，可以看出，它與三個因素有關(guān)，學(xué)習(xí)率 ? ，本層輸出誤差信號 ? 及本層輸入信號 。 （ 4） BP 算法信號流向 V W? ?Tf V X? ?Tf W YXY? y? o? do??TWYOTVXV W? ?39。 kf n e t d+ 圖 310 BP算法的信號流向 由圖可見，輸入信號 X 從輸入層進(jìn)入網(wǎng)絡(luò)后，經(jīng)過隱層權(quán)值向量 V 處理后得到該層輸出 Y ，繼續(xù)向前傳播，經(jīng)過輸出層權(quán)值向量 W 處理后得到網(wǎng)絡(luò)實(shí)際輸出 O 。 （ 4） BP 算法程序?qū)崿F(xiàn) BP 算法對于訓(xùn)練樣本有兩種學(xué)習(xí)方式： 章及標(biāo)題 25 1） 逐一學(xué)習(xí)方式：每次輸入一個樣本，回傳誤差調(diào)整權(quán)值， 直至收斂，再 提取下一個樣本，直至所有樣本滿足精度要求。 逐一學(xué)習(xí)方式只針對每個樣本產(chǎn)生的誤差進(jìn)行調(diào)整，難免顧此失彼，增加訓(xùn)練次數(shù)，是收斂速度過慢。 BP 算法程序設(shè)計步驟： 1） 初 始化 對權(quán)值矩陣 W 、 V 賦初值，將樣本模式計數(shù)器 p 和訓(xùn)練次數(shù)計數(shù)器 q 置為 1，誤差 E 置 0，學(xué)習(xí)率 ? 設(shè)為 0～ 1，網(wǎng)絡(luò)訓(xùn)練后達(dá)到的精度 minE 設(shè)為一個正的小數(shù)。 3）計算誤差 ? ?21112 Pl ppkkpkE d o??????總 （ 335） 4）檢查所有樣本是否輸完 若 pP? ， p 增 1，返回步驟（ 2）；否則繼續(xù)。 6）調(diào)整各層權(quán)值。 以下是 BP 算法流程圖： 燕山大學(xué)本科生畢業(yè)設(shè)計（論文） 26 初 始 化 V 、 W計 數(shù) 器 q = 1 、 p = 1輸 入 第 一 對 樣 本計 算 各 層 輸 出計 算 誤 差 ： ? ?21112PlkkpkE d o??????p P ?用 E 計 算 各 層 誤 差 信 號調(diào) 整 各 層 權(quán) 值q 增 1m in ?R M SEE?結(jié) 束E = 0 , p = 1p 增 1YNYN 圖 311 BP算法流程圖 章及標(biāo)題 27 BP 網(wǎng)絡(luò)的功能 （ 1）非線性映射能力 BP 網(wǎng)能映射學(xué)習(xí)和存儲大量的輸入輸出關(guān)系，只要給 BP 網(wǎng)供足夠的樣本對供其進(jìn)行訓(xùn)練，便能完成由 n 維輸入映射到 m維輸出空間的非線性映射。泛化能力是衡量網(wǎng)絡(luò)優(yōu)劣的一個重要方面。 本 章小結(jié) 本文研究的是基于神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測，因此必須了解神經(jīng)網(wǎng)絡(luò)。最后介紹了 BP 網(wǎng)絡(luò)的功能：非線性能力、泛化能力和容錯能力。 電力負(fù)荷的大小受多方面因素的影響，負(fù)荷 預(yù)測成為供電部門的重要工作之一。 由于受天氣、節(jié)假日等特殊情況和不確定因素的影響，電力負(fù)荷變化隨機(jī)波動。本章以南方某缺電城市的電力負(fù)荷預(yù)測為例介紹神經(jīng)網(wǎng)絡(luò)預(yù)測技術(shù)。一個 合理的神經(jīng)網(wǎng)絡(luò)模型是一個不斷調(diào)整參數(shù)、不斷對比 結(jié)果的過程。 神經(jīng)網(wǎng)絡(luò)模型設(shè)計內(nèi)容應(yīng)包括以下四個要素：樣本集的設(shè)計、網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計、參數(shù)設(shè)計、歷史數(shù)據(jù)的預(yù)處理。為保證訓(xùn)練結(jié)果的可靠性和實(shí)用性，應(yīng)選擇典型性好、精度高的數(shù)據(jù) 集作為樣本。 網(wǎng)絡(luò)的學(xué)習(xí)過程是記錄樣本中的規(guī)律，因此，應(yīng)選用不同的樣本檢驗(yàn)網(wǎng)絡(luò)。 二是樣本的代表性 。 本章以南方 某缺電城市 2021 年 7月 10 日到 7 月 20 日的正點(diǎn)有功負(fù)荷的 以及 2021 年 7月 11日到 7 月 21 日的氣象特征作為網(wǎng)絡(luò)的訓(xùn)練樣本，預(yù)測 7 月 21日的電力負(fù)荷。 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計 一個 BP 網(wǎng)絡(luò)含有三層：輸入層、隱含層、輸出層。輸入層神經(jīng)元的個數(shù)等于輸入變量的個數(shù)，取決于所要解決問題的輸入變量的個數(shù)，輸入變量應(yīng)盡可能包括所有影響因素，且 輸入量應(yīng)選擇對輸出影響大且能檢測的變量，各輸入變量間相關(guān)性應(yīng)很小。 在預(yù)測日的前一天，每兩個小時測量一次電力負(fù)荷，一天共得 12 組數(shù)據(jù)。 （ 2）影響負(fù)荷的環(huán)境因素：預(yù)測日的最高氣溫、最低氣溫和天氣特征。 由此，輸入