【文章內容簡介】 PSO 優(yōu)化 算 法 優(yōu)化的支持向量機參數(shù)能 比傳統(tǒng)方法 更加迅速 的逼近最優(yōu)值 ，模型的校正即可以 在線 也可以 離線 進行，模型的靈活性更 好。文獻 [23]利用遞歸結構 在小樣本的訓練集上進行非線性辨識 的研究，研究表明遞歸結構 有著很好的 泛化能力 ，和相同功能的神經網(wǎng)絡相比，其結構簡單性能更優(yōu) 。文獻 [2225]還研究了其與線性回歸法和人工神經網(wǎng)絡軟測量 法的比較，表明 軟測量模型具有精度高、速度快、泛化能力強等 特點。 SVM 在風力發(fā)電 中主要應用 風速短期預測 及 在故障診斷 方面，對于發(fā)電量的預測比較少。由于風力發(fā)電具有波動性、間歇性和 不可控性 的 特點， 假如 大容量的風力發(fā)電并入電網(wǎng)，電力系統(tǒng)運行 的安全和 穩(wěn)定 比將 面臨著 嚴峻 的 挑戰(zhàn)。 掌握 對 風電場風速進行短期預測， 風電場 發(fā)電功率 的 短期預報 問題 ，是解決這一問題的 最 有效 的 途徑。風速的 短期預測主要 有兩種方法 ，一種是 時間序列方法，根據(jù) 歷史 風速數(shù)據(jù) 進行下一時間段的風速預測，因為預測時間較短， 所以 對外界因素的響應慢 ；另 一種是利用統(tǒng)計 方法 進行 建第一章 緒論 6 模，如 BP 神經網(wǎng)絡 等 ， 進行 短期 風速預測，根據(jù) 訓練 因素不同， 風速短期 預測的精度也隨因素的不同而 變化， 歷史數(shù)據(jù)的范圍比較寬泛 。文獻 [26]是 對 基于支持向量機風速的研究。該文對風速預測 的 方法進行了 研究，從物理和統(tǒng)計方法對支持向量機預測方法作了分析，得出結論 SVM 在風速 預測中有非常大的應用前景 ，并進行了預測實驗 驗證 。但由于風速受多種因素影響，例如大氣壓，空氣密度，濕度，地形，地況等等，因此次預測模型存在一定的缺陷。南京工業(yè)大學本科生畢業(yè)設計（論文） 7 第二章 支持向量機 概述 支持向量機 (Support Vector Machine, SVM)是由 Vapnik 及其領導的 AT 和 TBell 實驗室研究小組在統(tǒng)計學習 結構風險最小化原理 論和 VC 維理 的基礎上提出的一種新的 有發(fā)展前景的機器學習 的 方法。 SVM 近似 于 結構風險最小化歸納原則 (Structural Risk Minimization Inductive Principle)。 SVM 方法是根據(jù)有限的樣本信息在模型的復雜度 (即對特定訓練樣本的學習精度 )和學習能力 (即無錯誤的識別任意樣本的能力 )之間尋求最佳折衷，以期望 獲得最好的推廣能力。 SVM 具有 直觀的幾何解釋 、 完美的數(shù)學形式和良好的泛化能力，解決了模型選擇的欠學習、過學習問題以及 出現(xiàn) 非線性問題 ； 避免了局部最優(yōu)解 ； 克服了“維數(shù)災難”，且 需要 設定的參數(shù)少， 使用 方便 。 SVM 是用于預測的 新的方法之一。與神經網(wǎng)絡預測相比， SVM 有明顯的優(yōu)越性，被當做 是 可以替代 人工神經網(wǎng)絡方法的方法，并已經成功地應用于許多 預測 和 識別 問題中 ， 支持向量機 模型速度快， 精度高， 結果穩(wěn)定，模型選擇更容易。另一方面，由于 支持向量機 完成的任務與 BP 神經網(wǎng)絡非常類似，所以神經網(wǎng)絡中的經驗可以直接用到SVM 模型中。文獻 [28]提出的 支持向量機 的 電力負荷預測模型，在 2021 年在歐洲智能技術網(wǎng)舉行的世界電力負荷預測 比賽中取得 第一名。由此可以看出， SVM 預測方法 表現(xiàn) 優(yōu)秀， 應用前景 寬廣 ?，F(xiàn)在 SVM 電力預測模型已經受到 各國的 廣泛關注，多篇文獻 [2931]對 SVM 電力負荷預測模型進行了研究。本章簡潔 明了地介紹了 SVM、 LSSVM、PSOLSSVM 的理論 ，并用三種模型，采用學校收集的風速數(shù)據(jù)進行風速預測，對三種模型的預測結果進行比較分析。 機器學習的基本理論 機器學習的目的是根據(jù)給定的 數(shù)據(jù)集合 來 尋找某個系統(tǒng)輸入 輸出之間的關系， 從而盡量 能夠對 未來的事件做出 準確的預測 。根據(jù)訓練樣本機器學習的一般模型由產生器 G、學習機器 LM、 訓練器 S三個部分組成。 如 圖 21 機器學習模型示意圖所示： 第二章 支持向量機概述 8 X y y y y 圖 21 機 器學習模型示意圖 G 是樣本產生器， 可以從 分布函數(shù) （ 一定概率但是未知 ） F(x)中獨立產生 出 隨機向量nRx? 。 S 是 訓 練器，對每個輸入向量 X 返回一個確定的輸出值 y， 產生 的輸出是 條件分布函數(shù) ? ?xyF 。 LM 是學習機器，能在一組函數(shù)集 ? ? ???? ，xf (其中 ? 是參數(shù)集合 )中選擇 輸出 y ， 使其更好的 逼 近訓練響應 y 的函數(shù) ? ???，xf 。訓練以后的 LM 必須對任意輸入都能 給出輸出 y ，使期望風險 ???R 最小 ； ? ? ? ?? ? ? ?yxdFxfy ，，?? ?? lR (21) 其中 ， ? ? ???? ，xf 稱為學習函數(shù)集或預測函數(shù)集， ? 為函數(shù)的廣義參數(shù)。? ?? ??， xfyl 為在給定輸入 x 下訓練器輸出 y 與學習器給出的 ? ??，xf 之間損失的期望值 。 小樣本統(tǒng)計學習理論 概述 學習是 所有 智能系統(tǒng) 都具有的基本 特征，人工智能的表現(xiàn)形式 就是學習 ， 樣本的機器學習問題 是 最前沿的研究領域 現(xiàn)代智能計算技術 的一個重要分支 ， 機器學習模仿了人類學習概括歸納的能力 ，通過累積經驗對事件進行判斷， 主要研究 的是通過學習已經有的歷史數(shù)據(jù) ，通過學習歸納，對尚未發(fā)生的事件或者現(xiàn)象進行提前預測。 VC 維 概述 定義 一個指示函數(shù)集 ? ? ??? ?? ，Q ，能夠被集合中的函數(shù)以任意 可能的 2h 種方式分成兩類的向量 zl， K， zh 的最大數(shù)目 h 稱 作 ? ? ??? ?? ，Q 的 VC 維。若對任意的樣本數(shù)目 n，總 是 存在一個 n 個向量 集合可以被函數(shù)集打散，那么 函數(shù)集的 VC 維是無窮大。產生器 G 訓練器 S 學習機器 LM 南京工業(yè)大學本科生畢業(yè)設計（論文） 9 若 ? ? ????? ?? ， BQA 是一個以常數(shù) A 和 B 為界 集合，則 主要 考慮它的 指示 集合? ? ? ?? ? ? ?BAI ,Q, ??????? ??????? ， 其中， ???? 是階躍函數(shù)。所以 實函數(shù)集? ? ??? ?? ，Q 的 VC 維就是對應 的指示 集合 ? ? ? ?BA ,,I ???? ???? 的 VC 維。 VC 維表現(xiàn) 了函數(shù)集的學習 歸納 能力 的強弱 ， 直接決定學習機器能不能達到推廣的標準 。 VC 維變大就會導致學習機器的復雜度和容量也隨之變大 。 目前的遺憾的是現(xiàn)在尚沒有 能 通用 VC 理論，僅僅只能對一些特殊的函數(shù)集起作用 。例如平面中直線的 VC維就是 3。 據(jù)文獻 [34]如圖 22 平面中 VC 維是 3 的 例 子 所示 ， n 維坐標空間中的線性函數(shù)集合的 VC 維是 n+1。對于一些復雜的學習機器 如神經網(wǎng)絡 ，其 VC 維除了與 神經網(wǎng)絡結構 有關外，還受學習算法等因素 的影響，其 VC 維的 確定 就 更 加困難， 目前急需要解決的問題是如何計算 已經 給定 的 學習函數(shù)集 的 VC 維的維數(shù)。 z2 z2 z2 z3 z4 z1 z1 z1 圖 22 平面中 VC維 舉例 支持向量機 （ SVM） 算法 支持向量機 (Support Vector Machines)簡稱 SVM，是 Vapnik 等 人 根據(jù)統(tǒng)計學習理論中的結構風險最小化原理 而 提出的。 SVM 能夠盡可能 提高學習機的推廣 應用 能力，即使訓練 樣本 有限 但 得到的決策規(guī)則對獨立的測試集仍能夠夠得到較小的誤差。 SVM 算法是一個凸二次優(yōu)化問題，可以 保證找到的極值解就是全局最優(yōu)解。這些特點使支持向量機成為 一種優(yōu)秀的學習算法。 SVM 是統(tǒng)計學習理論中出現(xiàn)最晚的內容，但卻是 最實用的部第二章 支持向量機概述 10 分。其核心內容是 1992 年到 1995 年間提出的，目前仍處在不斷 拓展研究 階段。 支持向量機的基本思想是通過一 種非線性映射 ???? 將輸入向量 x 映射到一個高維空間 z(特征向量 )，在映射到 高維空間中構造 一個 最優(yōu)分類超平面 ； 實際上 并 不用知道上述非線性映射 ???? 的具體形式，而是 可以 通過核函數(shù)計算高維空間中的內積。這樣可克服高 維數(shù) 而引起的計算困難 ，有效的避免維數(shù)災難。 SVM 根 據(jù)樣本 的 選擇結構。有間隔時細分 的 維數(shù) (稱為 fat Shattering 維數(shù) )要比 VC維 數(shù) 的維 數(shù)低，大間隔可能對應良性分布，所以 SVM 有較好的推廣能力 。 VC 維數(shù)只對 g 取符號，而不 考慮 g 本身的 值 ，對 大間隔分類器 和 用于回歸 的不太合適，因 此定義為 fatShattering:設 F 為實值函數(shù)集合，假如 存在實數(shù) rx，使得存在 Ff? ，滿足 ： ? ?? ? 1yrxgy ixjj ??? ，?，或 ? ?? ?11???? ??? yrxg yrxg x x ? ? (22) 則稱點集 X 被 ?Ff? 細分，簡稱 fatShattering(可以假設 為用寬度為 2? 的直線來細分 )。 SVM 分類函數(shù)形式上相似于 神經網(wǎng)絡，輸出是中間節(jié)點的線性組合，每個中間節(jié)點對應一個 SVM， 據(jù)文獻 [37]如圖 圖 23 支持向量機示意圖 所示 ： 南京工業(yè)大學本科生畢業(yè)設計（論文） 11 y ? ? ? ? ?????? ???Ni iii bxxKyxf 1 ,s g n ? 11?y 22?y K（ X1， X） K（ X2， X） K（ Xn， X） ??? 輸入向量 X1 X2 X3 Xn x=(x1,? x2) 圖 23 支持向量機示意圖 支持向量機 用于回歸 設某 待回歸的輸入、輸出樣本數(shù)據(jù)集為 ? ? ? ? niii RxN2,1iyx ?? ，，， ?， 為 n 維 系統(tǒng)輸入向量， Ryi? 為系統(tǒng)輸出，回歸的目的就是經過數(shù)據(jù) 的訓練 學習確定一個函數(shù)的解析式 ，使得在相同的輸入情況下，解析式的輸出能夠在一定精度范圍內與時間值相似 。 SVM 函數(shù)回歸方法的基本思想 方法 是 ： 通過非線性交換 ??g? 日將 n 維輸入樣本從原空間映射到高維特征空 間 F，并在該高維空間構造 一個 最優(yōu)線性回歸函數(shù) ： ? ? bxf T??? (23) SVM 在算法 用原空間核函數(shù)代替 了 高維特征空間的點積運算，避免了復雜 的 計算。此時，輸出 y 取實數(shù)值，用相似于間隔的概念定義 ? 不敏感損失函數(shù)， 可得到： ? ? ? ?? ??? xfy0m a xxfy ，? (24) 優(yōu)化的目標函數(shù)為 ： 第二章 支持向量機概述 12 ? ??? ???N1i2 xfyc21m i n (25) 為了 更好的 描述將 ? 不敏感函數(shù)用于回歸的概念，假設 我們要以 ? 精度 逼近未知的??xf ， 即用另一函數(shù) ??xf? 描述 ??xf ，并使 ??xf 處于 ??xf? 的 ? 管道內。 為此取一個彈性的 總趨于平坦 的 ? 管道，并把 ??xf 放入此 ? 管道中，這樣 它會碰到??xf 的一些點。 根據(jù)這些點將管道的管道壁固定，那么管道的中心線 就 可以 定義 ??xf 的 ?逼近 ??xf? ，管道碰到 ??xf 處的點的坐標 就是 支持向量 的坐標 。核函數(shù) 準確的描述了管道的變化 ，使 ? 趨于 管道平坦 處 。 為了轉換最優(yōu)化問題，本文 引入 了 兩個松弛變量 i? 和 ?i? ，則可得 ： ? ??? ??? N1i ii2 c21min ??? (26) 約束 條件： ? ? ? ?0ii ??????????????，iiiiiixfyyxf (27) 其中 ， ? ? bxx i ??? ?f 經過轉化后可以用支持向量機的 核方法表示，其解為 ： ? ? ? ? ? ? bxxkxf N 1i ii ?? ?? ? ，?? (28) SVM 實現(xiàn)風速預測 與預測結果 基于 SVM 短期風速預測 的 MATLAB 程序