【正文】 用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。 學(xué)習(xí)過程由正向傳播和反向傳播組成。 BP神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域 函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練 —個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)； 模式識(shí)別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來； 分類：把輸入矢量以所定義的合適方式進(jìn)行分類； 數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。誤差的反向傳播是將輸出誤差以某種形式通過隱層向輸入逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)隱層逐層處理后傳向輸出層。它是在 1986年由 Rumelhant 和 McClelland 提出的一種多層網(wǎng)絡(luò)的“逆推”學(xué)習(xí)算法。在反饋網(wǎng)絡(luò)中，有離散型和連續(xù)型霍普菲爾德網(wǎng)絡(luò)。 前向神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)的分類 反饋神經(jīng)網(wǎng)絡(luò) …… …… 輸出 輸入 反饋網(wǎng)絡(luò)中，輸出信號(hào)通過與輸入連接而返回到輸入端，從而形成一個(gè)回路。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)） 如圖所示，這種學(xué)習(xí)方式需要外界存在一個(gè)“教師” ，他可對(duì)給定一組輸入提供應(yīng)有的輸出結(jié)果，這組已知的輸入 輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)（神經(jīng)網(wǎng)絡(luò)）可根據(jù)已知輸出與實(shí)際輸出之間的差值（誤差信號(hào)）來調(diào)節(jié)系統(tǒng)參數(shù) 非監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)） 環(huán)境 教師 學(xué)習(xí)系統(tǒng) 輸入 期望輸出 實(shí)際輸出 誤差信號(hào) 人工神經(jīng)網(wǎng)絡(luò)的分類 前向網(wǎng)絡(luò)中，各神經(jīng)元節(jié)點(diǎn)接受前一層的輸出信號(hào)，并將本層的輸出作為下一層的輸入，其特點(diǎn)是信號(hào)的流向是從輸入流向輸出。這使得網(wǎng)絡(luò)具有良好的容錯(cuò)性，并能進(jìn)行聚類分析、特征提取、缺損模式復(fù)原等模式信息處理工作；又宜于模式分類、模式聯(lián)想等識(shí)別工作。而所記憶的信息是存儲(chǔ)在神經(jīng)元之間的權(quán)值中。從全局的觀點(diǎn)來看，網(wǎng)絡(luò)整體性能不是網(wǎng)絡(luò)局部性能的簡(jiǎn)單迭加，而表現(xiàn)出某種集體性的行為。 高度的非線性全局作用 ANN每個(gè)神經(jīng)元接受大量其它神經(jīng)元的輸入，并通過并行網(wǎng)絡(luò)產(chǎn)生輸出，影響其他神經(jīng)元。（ 2）軸突 。人工神經(jīng)元是對(duì)生物神經(jīng)元的一種形式化描述。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。 神經(jīng)網(wǎng)絡(luò)的基本概念及組成特性 神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。它已在模式識(shí)別、機(jī)器學(xué)習(xí)、專家系統(tǒng)等多個(gè)方面得到應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。 人工智能定義 專家系統(tǒng) (Expert Systems) 人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural Networks) 模糊邏輯 (Fuzzy Logic) 進(jìn)化算法 (如：遺傳算法 Geic Algorithm, 粒子群 Swarm Particle,禁忌搜索 Tabu Search, 模擬退火算法 Simulated Annealing,) 多智能體系統(tǒng) (Multiagent system) 心理模擬，符號(hào)推演 生理模擬，神經(jīng)計(jì)算 行為模擬，控制進(jìn)化 群體模擬，仿生計(jì)算 機(jī)組啟停 Unit Commitment 維護(hù)計(jì)劃 Maintenance scheduling 負(fù)荷預(yù)測(cè) Load Forecasting 發(fā)電控制與保護(hù) Generation control and protection 潮流優(yōu)化 Optimal Power Flow Analysis 電力系統(tǒng)安全分析 Security Analysis 電力系統(tǒng)穩(wěn)定分析 Stability Analysis 無功優(yōu)化分配 Var dispatch and planning 控制優(yōu)化 Optimization of selfadaptive control 繼電保護(hù) Relaying protection 經(jīng)濟(jì)調(diào)度 Economic dispatch 變電所運(yùn)行控制 Substation switching and control 系統(tǒng)恢復(fù)供電 System reconfiguration and restoration 電力質(zhì)量控制 Power quality Control 系統(tǒng)設(shè)計(jì)優(yōu)化 System Design Optimization 電力規(guī)劃 planning for electric Power 電氣設(shè)備故障診斷 Fault diagnosis for electric facilities 第二章 神經(jīng)網(wǎng)絡(luò)及其在電力系統(tǒng)中的應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，是近年來高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。 第一章 概述 人工智能是那些與人的思維相關(guān)的活動(dòng)，諸如決策、問題求解和學(xué)習(xí)等的自動(dòng)化 (Bellman,1978） ； 人工智能是一種計(jì)算機(jī)能夠思維，使機(jī)器具有智力的激動(dòng)人心的新嘗試 （ Haugeland,1985） ； 人工智能是那些使知覺、推理和行為成為可能的計(jì)算的研究 （ Winston, 1992） ； 人工智能是關(guān)于人造物的智能行為，而智能行為包括知覺、推理、學(xué)習(xí)、交流的行為 （ Nilsson， 1998） 。 像人一樣思考的系統(tǒng)、像人一樣行動(dòng)的系統(tǒng)、理性地思考、行動(dòng)的系統(tǒng) （ Stuart Russell, 2023） 。它的研究目標(biāo)是通過研究人腦的組成機(jī)理和思維方式，探索人類智能的奧秘，進(jìn)而通過模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類似人類的智能。本章將簡(jiǎn)要介紹神經(jīng)網(wǎng)絡(luò)基本的概念、模型以及學(xué)習(xí)算法以及應(yīng)用實(shí)例。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。有時(shí)從網(wǎng)絡(luò)的觀點(diǎn)出發(fā)常把它稱為“節(jié)點(diǎn)”。神經(jīng)元主要由三部分構(gòu)成：（ 1）細(xì)胞體 。（ 3）樹突 人工神經(jīng)網(wǎng)絡(luò)的特性 高度的并行性 ANN是由許多相同的簡(jiǎn)單處理單元并聯(lián)組合而成，雖然每個(gè)單元的功能簡(jiǎn)單，但大量簡(jiǎn)單處理單元的并行活動(dòng)，使其對(duì)信息的處理能力與效果驚人。網(wǎng)絡(luò)之間的這種互相制約和互相影響，實(shí)現(xiàn)了從輸入狀態(tài)到輸出狀態(tài)空間的非線性映射。 良好的容錯(cuò)性與聯(lián)想記憶功能 ANN通過自身的網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)崿F(xiàn)對(duì)信息的記憶。從單個(gè)權(quán)值中看不出所儲(chǔ)存的信息內(nèi)容，因而是分布式的存儲(chǔ)方式。 十分強(qiáng)的自適應(yīng)、自學(xué)習(xí)功能 ANN可以通過訓(xùn)練和學(xué)習(xí)來獲得網(wǎng)絡(luò)的權(quán)值與結(jié)構(gòu)，呈現(xiàn)出很強(qiáng)的學(xué)習(xí)能力和對(duì)環(huán)境的自適應(yīng)能力。在 ANN的實(shí)際應(yīng)用中，80％～ 90％的 ANN模型是采用 BP網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分、體現(xiàn)了 ANN精華的部分。在前向網(wǎng)絡(luò)中，有單層感知器、自適應(yīng)線性網(wǎng)絡(luò)和 BP網(wǎng)絡(luò)。 BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)概述 BP 網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最為廣泛和成功的神經(jīng)網(wǎng)絡(luò)之一。其基本思想是，學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。若輸出層的實(shí)際輸出與期望輸出不符，則轉(zhuǎn)向誤差的反向傳播階段。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程是周而復(fù)始地進(jìn)行。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 BP神經(jīng)網(wǎng)絡(luò) BP網(wǎng)絡(luò)模型與結(jié)構(gòu) BP網(wǎng)絡(luò)具有一層或多層隱含層，其主要差別也表現(xiàn)在激活函數(shù)上 BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的 ， BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對(duì)數(shù)或正切激話函數(shù)和線性函數(shù) W1 B1 F1 W2 B2 F2 P A1 i k j s1xr A2 s1x1 s2x1 s2xs1 s1xq s2xq rxq 1 1 BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)路的幾種常見激活函數(shù) 閥值型 A 1 0 1 f A 1 0 1 b f 不帶偏差的閥值型激活函數(shù) 帶偏差的閥值型激活函數(shù) ? ? 0001 ??? ??????????bPWbPWbPWfA BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)路的幾種常見激活函數(shù) 線形型 不帶偏差的線性激活函數(shù) 帶偏差的線形型激活函數(shù) BP神經(jīng)網(wǎng)絡(luò) A 1 0 1 f A 1 0 1 f b ? ? bPWbPWfA ?????? BP神經(jīng)網(wǎng)路的幾種常見激活函數(shù) ? ?bnef ???? 1 BP神經(jīng)網(wǎng)絡(luò) A 1 0 1 f A 1 0 1 f 對(duì)數(shù) S型激活函數(shù) 雙曲正切 S型激活函數(shù) ?對(duì)數(shù) S型函數(shù)關(guān)系為： ?雙曲正切 S型函數(shù)關(guān)系： ? ?? ?bnbneef???????2211Sigmoid 型 BP網(wǎng)絡(luò)學(xué)習(xí) BP神經(jīng)網(wǎng)絡(luò) BP算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。 正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入 信息，經(jīng)過網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。 BP網(wǎng)絡(luò)學(xué)習(xí) ia1 BP神經(jīng)網(wǎng)絡(luò) 設(shè)輸入為 P，輸人有 r個(gè)，隱含層內(nèi)有 s1個(gè)神經(jīng)元，激話函數(shù)為 F1，輸出層內(nèi)有個(gè) s2神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為 F2，輸出為 A，目標(biāo)矢量力 T。 ??????????????????????????? BP神經(jīng)網(wǎng)絡(luò) 誤差反向傳播 （ 1）輸出層的權(quán)值變化： 對(duì)從第 i個(gè)輸入到第 k個(gè)輸出的權(quán)值有 ： 39。2f kkkate 2??ke：誤差； BP網(wǎng)絡(luò)學(xué)習(xí) BP神經(jīng)網(wǎng)絡(luò) 誤差反向傳播 39。2222222（ 2）輸出層的閥值變化： 其中： ！注意： 輸出層的權(quán)值變化與輸出層的閾值變化的差別 BP網(wǎng)絡(luò)學(xué)習(xí) ? ? jijjkiskkkijiikkijijppfwfatwaaaaEwEw??????????????????????????????????39。211222111221139。這主要是由于學(xué)習(xí)速率太小所造成的。 完全不能訓(xùn)練 這主要表現(xiàn)在網(wǎng)絡(luò)出現(xiàn)的麻痹現(xiàn)象上。通常為了避免這種現(xiàn)象的發(fā)生，一是選取較小的初始權(quán)值，二是采用較小的學(xué)習(xí)速率，但這又增加了訓(xùn)練時(shí)間。這是因?yàn)?BP算法采用的是梯度下降法，訓(xùn)練是從某一起始點(diǎn)沿誤差函數(shù)的斜面逐漸達(dá)到誤差的最小值。但是這個(gè)碗的表面是凹凸不平的，因而在對(duì)其訓(xùn)練過程中，可能陷入某一小谷區(qū)，而這一小谷區(qū)產(chǎn)生的是一個(gè)局部極小值。 BP網(wǎng)絡(luò)的限制與不足及改進(jìn) ? ? ? ?1212 ???????? tWaatWkiikiki ?? BP神經(jīng)網(wǎng)絡(luò) 1 改進(jìn) 增加動(dòng)量項(xiàng) 標(biāo)準(zhǔn) BP算法在調(diào)整權(quán)值時(shí)，只按 t時(shí)刻誤差的梯度下降方向調(diào)整，而沒有考慮 t時(shí)刻以前的梯度方向。當(dāng)誤差梯度出現(xiàn)局部極小時(shí)，雖然 但， 使其跳出局部極小區(qū)域，加快迭代收斂速度。 ? ? 012 ??? tW ki 02 ?? kiW BP網(wǎng)絡(luò)的限制與不足及改進(jìn) BP神經(jīng)網(wǎng)絡(luò) 1 改進(jìn) 可變學(xué)習(xí)速度的反向傳播算法 （ 1）如果平方誤差（在整個(gè)訓(xùn)練集上）在權(quán)值更新后增加了，且超過了某個(gè)設(shè)置的百分?jǐn)?shù)（典型值為1%～ 5%），則權(quán)值更新被取消，學(xué)習(xí)速度被乘以一個(gè)因子（ 01），并且動(dòng)量系數(shù)（如果有的話）被設(shè)置為 0 。如果動(dòng)量系數(shù)過去被設(shè)置為 0，則恢復(fù)到以前的值。其可預(yù)付調(diào)整緩慢的原因在于 S轉(zhuǎn)移函數(shù)具有飽和特性。實(shí)現(xiàn)這一思路的具體作法是在轉(zhuǎn)移函數(shù)中引進(jìn)一個(gè)陡度因子。設(shè)計(jì)者只需要調(diào)用相關(guān)函數(shù)即可，甚至通過 NNTOOL圖形界面，不用編寫一行程序，就可完成一個(gè)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)仿真。 使用 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱 第一步 在 MATLAB命令下打開 nntool界面 使用 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱 第二步 通過 Import從工作空間或通過 New Data手動(dòng)輸入訓(xùn)練樣本 使用 M