【正文】 PSO 的參數(shù)設(shè)置 應(yīng)用 PSO 解決優(yōu)化問(wèn)題的過(guò)程中有兩個(gè)重要的步驟 ：一是 問(wèn)題解的編碼和適應(yīng)度函數(shù) ， PSO 的一個(gè)優(yōu)勢(shì)就是采用實(shí)數(shù)編碼 , 不需要像遺傳算法一樣是二進(jìn)制編碼或者采用針對(duì)實(shí)數(shù)的遺傳操作 。 c c2 是學(xué)習(xí)因子 ， 通常 c1 等于 c2 等于 2。 PSO 算法介紹 在 尋 找 這兩個(gè)最優(yōu)值時(shí) ， 粒子根據(jù) 以 下的公式來(lái)更新自己的速度和 最 新的 位置 v() = v() + c1 * rand() * (pBest() – present()) + c2 * rand() * (gBest() – present()) (a) present() = persent()+ v() (b) ， v() 是粒子的速度 ， persent() 是當(dāng)前粒子的位置 。第一個(gè)就是粒子本身 尋 找到的最優(yōu)解，這個(gè)解叫做個(gè)體極值 pBest，另一個(gè)極值是整個(gè)種群目前 尋 找到的最優(yōu)解，這個(gè)極值是全局極值 gBest。 粒子群優(yōu)化算法是由 kennedy博士 和 Eberhart 博士 發(fā)明。 通常 把 它 當(dāng)做 是群集智能 (Swarm intelligence, SI) 的一種。 粒子 群優(yōu)化算法 粒子群優(yōu)化算法的定義 粒子群優(yōu)化算法 (Particle Swarm optimization,PSO)又 稱(chēng) 為粒子群算法、微粒群 算法 、或微粒群優(yōu)化算法。 LSSVM 的誤差圖如圖 33 LSSVM 模型預(yù)測(cè)值誤差圖所示： 圖 33 LSSVM 模型預(yù)測(cè)值誤差圖 第三章 最小二乘支持向量機(jī)的短期風(fēng)速預(yù)測(cè) 28 LSSVM 亟待解決的是參數(shù)的選擇，所以下面本文采用粒子群優(yōu)化的方法為L(zhǎng)SSVM 選擇合適的參數(shù)。而 LSSVM 在不同的參數(shù)作用下，系統(tǒng)性能有很大的差別，因此如何快速有效的選擇合適的參數(shù)是亟待解決的問(wèn)題。 基于 LSSVM 預(yù)測(cè)值與實(shí)際值的比較 LSSVM 模型將 SVM 的 QP 問(wèn)題轉(zhuǎn)化為一組線(xiàn)性方程組 求解， 較少了計(jì)算時(shí)間，避免了進(jìn)入尋優(yōu)死循環(huán)，提高了模型的穩(wěn)定性。誤差 39。)。 xlabel(39。相對(duì)誤差 39。 % 平均相對(duì)誤差 figure(5) bar(E./x)。)。 disp(mean(abs(E./x))) % 相對(duì)誤差 % disp(39。平均 相對(duì)誤差為： 39。)。 %誤差 disp(39。預(yù)測(cè)值 39。實(shí)際值 39。)。ylabel(39。t/1h39。)。 hold off title(39。39。 plot(x)。 p=predict_Y{2}。 [predict_Y,mse,r] = SVR(train_y,train_x,test_y,test_x,Method_option)。 = 0。 = 1。 = 0。 test_y=t2。 train_y=t1。 p2=p(j+1:q,:)。%訓(xùn)練樣本個(gè)數(shù) p1=p(1:j,:)。%取 q個(gè)樣本，前 j個(gè)做訓(xùn)練集，后 qj個(gè)做測(cè)試集 t0=t(1:q,:)。 q= end p=m39。 %提取樣本 p,t k =7。 close。 所以本文就在最小二乘支持向量機(jī)的基礎(chǔ)上加入 粒子群優(yōu)化算法。故需尋找一種高效的優(yōu)化方法。 (5)使用這二個(gè)參數(shù)來(lái)訓(xùn)練，在試驗(yàn)結(jié)果中找出最優(yōu)參數(shù)。 (3)考慮 RBF 核函數(shù)。 應(yīng)用 Gridsearch 進(jìn)行參數(shù)選擇的過(guò)程描述如下 : (1)將數(shù)據(jù)轉(zhuǎn)換為程序的格式。另一個(gè)原因是由于只有兩個(gè)參數(shù)，通過(guò) gridsearch 尋找最優(yōu) 參數(shù)的計(jì)算時(shí)間并不比其他所謂 好 的方法多多少。 Gridsearch搜索參數(shù)方法看起來(lái)直接、簡(jiǎn)單。 Gridsearch 方法使用交叉確認(rèn) C 和 ? 。先選定一個(gè)候選集合， 這個(gè)集合是由固定步長(zhǎng)變化的實(shí)數(shù) 構(gòu)成，并且這個(gè)集合中的實(shí)數(shù)是按 降序 排列的。 網(wǎng)格分布式計(jì)算是一門(mén)計(jì)算機(jī)科學(xué)，它 把一個(gè)需要非常 巨大的計(jì)算能力才能解決的問(wèn)題分成許多小的部分，然后把這些部分分 給多 臺(tái) 計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合 起來(lái)得到最終 結(jié)果。如果我們說(shuō)某項(xiàng)工作是 分布式的，那么，參與這項(xiàng)工作的一定不僅僅只有 一臺(tái)計(jì)算機(jī)，而是一個(gè)計(jì)算機(jī)網(wǎng)絡(luò)，顯然這種“螞 蟻搬山”的方式 具有很強(qiáng)的數(shù)據(jù)處理 計(jì)算 能力。分布式計(jì)算比起其它算法具有以下幾個(gè)優(yōu) 點(diǎn) ： ① 稀有資源可以共享 ； ② 通過(guò)分布式計(jì)算可以在多臺(tái)計(jì)算機(jī)上平衡計(jì)算負(fù)載 ； ③ 可以把程序放在最適合運(yùn)行它的計(jì)算機(jī)上 ， 其中，共享稀有資源和平衡負(fù)載是計(jì)算機(jī)分布式計(jì)算的核心思想之一。 (3) 網(wǎng)格 分布式計(jì)算 網(wǎng)格分布式計(jì)算是近 幾年提出的一種新的計(jì)算方法 。 ③ 網(wǎng)格安全技術(shù)。資源管理的關(guān)鍵問(wèn)題是為用戶(hù)有效地分配資源。網(wǎng)格的 調(diào)度需要建立隨時(shí)間變化的性能預(yù)測(cè)模型，充分利用網(wǎng)格的動(dòng)態(tài)信息來(lái)顯 示網(wǎng)格性能的波動(dòng)。網(wǎng)格與計(jì)算機(jī)網(wǎng)絡(luò) 并 不同，計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)的是一種硬連通，而網(wǎng)格能實(shí)現(xiàn)應(yīng)用層面的連通 ； 其次，網(wǎng)格 還有 第二個(gè)特點(diǎn)是協(xié)同工作，很多網(wǎng)格結(jié)點(diǎn)可以共同處理一個(gè)第三章 最小二乘支持向量機(jī)的短期風(fēng)速預(yù)測(cè) 22 項(xiàng)目 ； 第三，網(wǎng)格是基于國(guó)際 開(kāi)放技術(shù)標(biāo)準(zhǔn)，這跟以前很多行業(yè)、部門(mén)或者公司推出的軟件產(chǎn)品不一樣 ；最后，網(wǎng)格可以提供動(dòng)態(tài)的服務(wù)，可以 適應(yīng)變化。而遺傳算法綜合了隨機(jī)搜索 與 定向搜索 的優(yōu)點(diǎn)，可以取得較好的區(qū)域搜索和 平衡的 空間擴(kuò)展。但是核函數(shù)參數(shù)的 ? 值對(duì)模型的預(yù)測(cè)速度、預(yù)測(cè)精度均有重要 的 影響，從而對(duì) ? 值進(jìn)行優(yōu)化研究。比如 C 到 ? 時(shí)，表示沒(méi)有一個(gè)錯(cuò)分的樣 本，但泛化能力將相應(yīng)降低。本文主要采用絕對(duì)百分比誤差及平均相對(duì)誤差作為評(píng)價(jià)標(biāo)準(zhǔn)。 (3)均方誤差 (MSEMean Square Error) 南京工業(yè)大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 21 ? ?21M S E?e ?? ??Ni VV (33) 均方誤差是預(yù)測(cè)誤差平方之和的平均數(shù)，它避免了正負(fù)誤差不能相加的問(wèn)題，是誤差分析綜合指標(biāo)之一。v 為實(shí)測(cè)值。v39。在電力 統(tǒng)中作為一種考核指標(biāo)而經(jīng)常使用。 3)預(yù)測(cè)誤差分析 通過(guò)分析誤差可以對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估，并根據(jù)誤差可以對(duì)模型進(jìn)行改進(jìn)。為使訓(xùn)練 過(guò)程得到最好的效果， 建立 的模型有良好 的 性能和泛化能力，收集整理預(yù)測(cè)對(duì)象的歷史數(shù)據(jù)，并將收集到的數(shù)據(jù)分為訓(xùn)練樣本和測(cè)試樣本。 第三章 最小二乘支持向量機(jī)的短期風(fēng)速預(yù)測(cè) 20 第三章 最小二乘支持向量機(jī)的短期風(fēng)速預(yù)測(cè) 最 小二乘支持向量機(jī)進(jìn)行短期風(fēng)速預(yù)測(cè)的步驟 基于最小二乘支持向量機(jī)的短期風(fēng)速預(yù)測(cè)，主要目的是試圖尋找 確定一個(gè)函數(shù)來(lái)發(fā)現(xiàn)未來(lái)值與過(guò)去值之間的關(guān)系，也就是說(shuō)預(yù)測(cè)就是利用過(guò)去和現(xiàn)在 的觀測(cè)值去估計(jì)未來(lái)值，這實(shí)際上是基于一個(gè)假設(shè)，即未來(lái)值與過(guò)去值存在某種 函數(shù)關(guān)系。 LSSVM 通過(guò)定義與 SVM 不同的損失函數(shù)，將不等式約束改為等式約束： ? ? ? ?? ?iii1i in1i2i ybx21b ??????????? ???? ????NTL ， (211) 上式中， ? ?N， ?2,1ii ?? 是 Lagrangian 乘子。 LSSVM 是在標(biāo)準(zhǔn) 支持向量機(jī) 的目標(biāo)函數(shù)中增加了誤差平方和項(xiàng)。 LSSVM 原理 最小二乘支持向量機(jī)是一種 標(biāo)準(zhǔn)支持向量機(jī)的 擴(kuò)展 形式 。在 最小二乘支持向量機(jī) 方法中 采用 了 誤差平方項(xiàng)以及等式約束條件 來(lái) 優(yōu)化問(wèn)題的目標(biāo)函數(shù) ，將 SVM 的 QP 問(wèn)題轉(zhuǎn)化為 求解 一組線(xiàn)性方程組，使得 Lagrange 乘子與誤差項(xiàng) 存在 比例 關(guān)系 ， 最終的目的是 使得最終決策函數(shù) 和 所有樣本都 存在一定的關(guān)系 ，也就失去了 SVM 方法中解的稀疏性的特點(diǎn)。 第二章 支持向量機(jī)概述 18 解的稀疏性 支持向量機(jī) 標(biāo)準(zhǔn)算法中， 解復(fù)雜的 QP 的 問(wèn)題 需要求，理論上的 能夠?qū)ふ业?全局最優(yōu)解，并且，大部分的 Lagrange 乘子均為 零，使得最終的決策函數(shù)只依賴(lài)于少部分樣本數(shù)據(jù)， 就是 支持向量。而 最小二乘支持向量機(jī) 方法通過(guò)求解線(xiàn)性方程組 來(lái)尋找 最終的決策函數(shù)， 適當(dāng)?shù)?降低了求解難度， 減少了求解所需要的時(shí)間 ， 據(jù)文獻(xiàn) [3839]計(jì)算速度快了，就可以適用于 解決 一些大規(guī)模問(wèn)題 ，更能適應(yīng)于一般的實(shí)際應(yīng)用。針對(duì) SVM 的求解困難的問(wèn) 題，也產(chǎn)生了一些相應(yīng)的解決辦法，如選塊算法和 SMO 算法等。 優(yōu)化問(wèn)題 求解 方法 SVM 求解 QP 問(wèn)題中， 訓(xùn)練樣本的個(gè)數(shù) 決定了 變量 的 維數(shù)， 然 而矩陣元素的個(gè)數(shù) 卻是訓(xùn)練樣本個(gè)數(shù)的 平方 。 構(gòu)造 優(yōu)化問(wèn)題 從 樣本分類(lèi)與回歸估計(jì)的分析中 可知支持向量機(jī)與最小二乘支持向量機(jī)在 優(yōu)化問(wèn)題的構(gòu)造上， 二者的 目標(biāo)函數(shù)分別采用了誤差因子的一次項(xiàng)與二次項(xiàng)， 而且約束條件也分別采用了 不等式約束與等式約束形式 。訓(xùn)練曲線(xiàn)如下圖 24 SVM 訓(xùn)練值與預(yù)測(cè)值比較 所示： 南京工業(yè)大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 15 圖 24 SVM訓(xùn)練值與預(yù)測(cè)值比較 第二章 支持向量機(jī)概述 16 在經(jīng)過(guò)上面的 200 組數(shù)據(jù)的訓(xùn)練學(xué)習(xí)以后 ，模型就具有一定的預(yù)測(cè)能力， 然后用剩下的 50 組數(shù)據(jù)輸入進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果， 把實(shí)際值和預(yù)測(cè)值繪制在一張圖里進(jìn)行比較，如圖 25 SVM 測(cè)試值與預(yù)測(cè)值比較所示 ： 圖 25 SVM 測(cè)試值與預(yù)測(cè)值比較 上圖清晰的表示出預(yù)測(cè)值是如何伴隨著著輸入值的變化而變化的， 可以說(shuō)還是比較準(zhǔn)確的，但是還有有誤差， 如 圖 29 SVM 預(yù)測(cè)結(jié)果誤差圖所示 ： 圖 29 SVM 預(yù)測(cè)結(jié)果誤差圖 南京工業(yè)大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 17 由程序計(jì)算出的誤差為 ，由誤差圖可以看出 SVM 模型預(yù)測(cè)的風(fēng)速 有時(shí)也是比較準(zhǔn)確的，但是有時(shí)誤差比較大，還有待改進(jìn)。 for i=1:length(a)k m(1:k,i)=a(i:k1+i,:)。)。ylabel(39。t/1h39。)。 title(39。 disp((xp)./x)。相對(duì)誤差為： 39。)。 disp(mean(E)) %平均絕對(duì)誤差 disp(39。平均絕對(duì)誤差為： 39。) E = abs(xp)。,39。 legend(39。風(fēng)速值 / m/s39。)。 xlabel(39。風(fēng)速序列預(yù)測(cè)和 實(shí)測(cè)對(duì)比圖 39。) 。 hold on plot(p,39。 figure(4)。 end %% x=t2。 第二章 支持向量機(jī)概述 14 ee=0。 plot(time2,e)。 figure(3)。39。39。 time2=j+1:q。%用測(cè)試樣本測(cè)試 t2m=t2nn*x。)。,time1,t1m,39。 plot(time1,t1,39。 figure(1)。%用訓(xùn)練集訓(xùn)練 [t1nn,y3]=svmpredict(t1n,p1n,model1)。s 3,t 2,g bestg,c bestc,p 39。 bestc=2。 % [bestmse,bestc,bestg] = SVMcgForRegress(t1,p1,10,10,5,5,3,)。p2n=p2/x。 p1n=p1/x。%測(cè)試集 qj個(gè) t2=t(j+1:q,:)。%訓(xùn)練集 j個(gè) t1=t(1:j,:)。 j=200。%樣本總數(shù) p0=p(1:q,:)。 t=a(k+1:length(a),:)。 for i=1:length(a)k m(1:k,i)=a(i:k1+i,:)。 %數(shù)據(jù)載入 load 。具體程序如下： %， p是輸入向量（ 10維） clear。核函數(shù) 準(zhǔn)確的描述了管道的變化 ，使 ? 趨于 管道平坦 處 。 為此取一個(gè)彈性的 總趨于平坦 的 ? 管道，并把 ??xf 放入此 ? 管道中，這樣 它會(huì)碰到??xf 的一些點(diǎn)。 SVM 函數(shù)回歸方法的基本思想 方法 是 ： 通過(guò)非線(xiàn)性交換 ??g? 日將 n 維輸入樣本從原空間映射到高維特征空 間 F，并在該高維空間構(gòu)造 一個(gè) 最優(yōu)線(xiàn)性回歸函數(shù) ： ? ? bxf T??? (23) SVM 在算法 用原空間核函數(shù)代替 了 高維特征空間的點(diǎn)積運(yùn)算，避免了復(fù)雜 的 計(jì)算。 VC 維數(shù)只對(duì) g 取符號(hào)，而不 考慮 g 本身的 值 ，對(duì) 大間隔分類(lèi)器 和 用于回歸 的不太合適，因 此定義為 fatShattering:設(shè) F 為實(shí)值函數(shù)集合，假如 存在實(shí)數(shù) rx，使得存在 Ff? ，滿(mǎn)足 ： ? ?? ? 1yrxgy ixjj ??? ，?，或 ? ?? ?11???? ??? yrxg y