【正文】 著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實質(zhì)性進(jìn)展，統(tǒng)計學(xué)習(xí)理論開始受到越來越廣泛的重視。統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容就是VC(Vapnik和Chervonenkis)維、推廣性的界和結(jié)構(gòu)風(fēng)險最小化。支持向量機(jī)最初是為解決兩分類問題的。考慮圖(3－3)所示的二維兩類線性可分情況，圖中實心點(diǎn)和空心點(diǎn)分別表示兩類的訓(xùn)練樣本，H為無錯誤地分開兩類的分類線，Hl和H2分別為過各類樣本中離分類線最近的點(diǎn)且平行于分類線的直線，H1和H2之間的距離叫做兩類的分類空隙或分類間隔(margin)。在支持向量機(jī)理論中尋找最優(yōu)超平面的算法最終歸結(jié)為求解一個二次規(guī)劃問題。將判別函數(shù)進(jìn)行歸一化，使兩類所有樣本都滿足，也就是使離分類面最近的樣本的，此時分類間隔等于，因此使間隔最大等價于使或最小。因為多數(shù)樣本對應(yīng)的將為零，取值不為零的對應(yīng)于使式(312)等號成立的樣本即支持向量，它們通常只是全體樣本中的很少一部分。求解這一優(yōu)化問題的方法與求解最優(yōu)分類面時的方法相同，一樣轉(zhuǎn)化為一個二次函數(shù)極值問題，其結(jié)果與可分情況下得到的幾乎完全相同，但是條件(39b)變?yōu)?i=1,2,…l 316對比式(316)和式(39b)，可以看出，由于C的引入，的值受到限制，C越小，的值也就越小，又由式(312)可知，日也變小，而是兩類之間的間隔，變大。C不宜太大，也不宜太小。SVM就是基于這一思想的，即首先通過非線性變換將輸入空間變換到一個高維特征空間，在這個高維空間中樣本變得線性可分，然后在這個新的特征空間中構(gòu)造最優(yōu)線性分類面。大多數(shù)算法的一個共同的思想就是循環(huán)迭代:將原問題分解成為若干子問題，按照某種迭代策略，通過反復(fù)求解子問題，最終使結(jié)果收斂到原問題的最優(yōu)解。Chunk就是塊，也就是工作集，chunking就是通過某種方法，得到一個由支持向量組成的支持向量集，因為最后的超平面是由支持向量決定的，和非支持向量無關(guān)。如此重復(fù)下去直到獲得最優(yōu)結(jié)果。因此第二類方法也就是分解算法，把問題分解成為固定樣本數(shù)的子問題:工作樣本集的大小固定在算法速度可以容忍的限度內(nèi)，迭代過程中只是將剩余樣本中部分“情況最糟的樣本”與工作樣本集中的樣本進(jìn)行等量交換，即使支持向量的個數(shù)超過工作樣本集的大小，也不改變工作樣本集的規(guī)模，而只對支持向量中的一部分進(jìn)行優(yōu)化。每次用N中不滿足優(yōu)化條件的變量替換B中任意變量。同時，針對許多問題中支持向量數(shù)遠(yuǎn)遠(yuǎn)小于訓(xùn)練樣本數(shù)，Joachims提出了Shrinking方法，該方法是基于這樣的事實:在優(yōu)化過程中，某個變量最終不能夠成為支持向量或者成為邊界支持向量在很早就能夠清楚。對于分解算法，Osuna等證明了一個關(guān)鍵定理：如果存在不滿足KKT條件的樣本，那么在把它加入到上一個子問題的集合中后，重新優(yōu)化這個子問題，則可行點(diǎn)依然滿足約束條件，且性能嚴(yán)格地改進(jìn)。該算法可以說是Osuna分解算法的一個特例，工作集B中只有2個乘子，也就是q=2，其優(yōu)點(diǎn)是針對2個乘子的二次規(guī)劃問題可以有解析解的形式，從而避免了每次迭代中調(diào)用標(biāo)準(zhǔn)的優(yōu)化算法。完成一次優(yōu)化再循環(huán)進(jìn)行下一次優(yōu)化直到全部樣本都滿足最優(yōu)條件，這種啟發(fā)式策略大大加快了算法的收斂速度。這些變形算法主要是通過增加函數(shù)項，變量或系數(shù)等方法使公式變形，產(chǎn)生出各種有某－方面優(yōu)勢或者－定應(yīng)用范圍的算法。針對C－SVM算法不能根據(jù)每個采樣點(diǎn)數(shù)據(jù)的重要性區(qū)別對待的缺陷，WSVM算法通過給每個樣本采用不同的懲罰系數(shù)來反映各自的重要性。選擇使最大的那個特征，并把它加入到集合中。從這個角度出發(fā)的搜索方式僅能適合一小部分滿足特殊條件的特征集合。序列后向選擇方法 ( Sequential Backward Selection，SBS )。增l去r選擇方法(lr法)。步驟2 用SBS法從中逐個剔除r個最差的特征，形成新特征組，置。本文的特征選擇算法是在增l減r選擇算法上改進(jìn)的，實現(xiàn)方法為：先把特征分組，在算法的每一步，都選擇一組特征加入到當(dāng)前集合，使得特征選擇準(zhǔn)則最大，當(dāng)最佳改進(jìn)使特征集性能變壞或達(dá)到最大特征組個數(shù)時，開始回溯過程，就是在算法的每步運(yùn)行過程中刪除一組對準(zhǔn)則函數(shù)無貢獻(xiàn)的特征組，直到剩余特征個數(shù)符合集合基數(shù)要求。將樣本數(shù)據(jù)按隨機(jī)的原則,以它們作為訓(xùn)練集和測試集,應(yīng)用訓(xùn)練集訓(xùn)練支持向量機(jī),然后在測試集上進(jìn)行驗證其分類的正確率(即模型的推廣能力)。在綜合分析目前所能獲得的SVM軟件包基礎(chǔ)上，, 它是臺灣大學(xué)林智仁(chihJen Lin)博士等開發(fā)設(shè)計的一個快速有效的通用支持向量機(jī)算法研究平臺，可以解決分類問題(包括CSVC、nSVC)、回歸問題(包括eSVR、nSVR)以及分布估計(oneclassSVM)等問題，提供了線性、多項式、徑向基和S形函數(shù)四種常用的核函數(shù)供選擇，可以有效地解決多類問題、交叉驗證選擇參數(shù)、對不平衡樣本加權(quán)、多類問題的概率估計等，其訓(xùn)練算法和分類算法都比較先進(jìn)，效率也比較高。1999年KDD(Knowledge Discovery in Databases)競賽中在數(shù)據(jù)挖掘和入侵檢測方面的網(wǎng)絡(luò)數(shù)據(jù)也是采用這種格式。此外，數(shù)據(jù)庫，人工智能，信息處理，知識工程等領(lǐng)域的國際學(xué)術(shù)刊物也紛紛開辟了KDD專題或?qū)？?。其中?百萬條用于訓(xùn)練的TCP連接記錄和2百萬條用于測試的TCP記錄。O代表其他情況離散值num_promised“promised” conditions的數(shù)量連續(xù)值root_shell1代表獲得root shell。這些攻擊可分為四類:1)拒絕服務(wù)攻擊(DoS)2)遠(yuǎn)程計算機(jī)的非授權(quán)訪問(R2L)3)非授權(quán)訪問本地根特權(quán)(U2R)4)數(shù)據(jù)資源竊取(Probing)其中拒絕服務(wù)攻擊占有較大的比重。User to Root AttacksU2R攻擊是指攻擊者開始以一個正常的用戶帳號進(jìn)入系統(tǒng)，然后利用系統(tǒng)的弱點(diǎn)獲得超級用戶權(quán)限進(jìn)入系統(tǒng)的一系列行為。這種攻擊是最普通最常見攻擊，不需要太多的專業(yè)技巧。數(shù)字化指的是把上述標(biāo)稱變量數(shù)字化，方案如下:1)對protocol_type處理:1代替icmp。2)對service處理:domainu 1。ftpdata 5。imap4 9。other 13。 telnet 17。2代替RSTO。6代替SF。數(shù)字化后，該數(shù)據(jù)的格式變?yōu)?0,2,7,6,239,1691,O,O,0,0,0,1,O,O,0,O,0,O,O,0,0,0,4,4,30,255,0.而LIBSVM所需的數(shù)據(jù)格式為:目標(biāo)值 1:屬性1 2:屬性2 3:屬性3……所以將數(shù)字化后的數(shù)據(jù)調(diào)整為LIBSVM所需的數(shù)據(jù)格式?？紤]到本論文是要做多分類的，而且分類算法CSVC提供網(wǎng)格搜索進(jìn)行參數(shù)的最優(yōu)化，因此選定它。sigmoid核函數(shù)在一定參數(shù)下，和RBF表現(xiàn)類似，而在某些參數(shù)下，sigmoid核函數(shù)是無效的，也就是說它不是兩個向量的內(nèi)積。－C懲罰系數(shù)。不同類別的樣本數(shù)可能相差懸殊，宜采用不同的懲罰系數(shù)。交叉驗證過程是這樣的:將已分好類的樣本分成大小相等的n份，用其中的一份來測試由其余n－1份訓(xùn)練出來的分類器，得到一個分類準(zhǔn)確率，交叉驗證最后的準(zhǔn)確率是這n次的平均值。－m內(nèi)存容量。v交叉驗證的份數(shù)。因此對屬性取值進(jìn)行線性規(guī)格化，算法中有相應(yīng)的參數(shù)，l是設(shè)置區(qū)間的下限，u是設(shè)置區(qū)間的上限，默認(rèn)是[1，1]。grid網(wǎng)格搜索，用來對CSVC中的兩個可變參數(shù)C和γ進(jìn)行篩選，挑選出對訓(xùn)練樣本最佳的組合，然后再來訓(xùn)練模型。另外LIBSVM在做網(wǎng)格搜索時調(diào)用gnuplot來畫出lg(C)和lg(gamma)的輪廓。支持向量機(jī)的一般實驗過程：(1)將樣本分為訓(xùn)練樣本和測試樣本，將訓(xùn)練樣本的數(shù)據(jù)按照軟件包的格式要求，進(jìn)行輸入。(4)調(diào)用train過程，用grid出來的C和gamma，建立己有樣本的模型。本實驗中只是用LIBSVM作為分類器，并以predict出來的值作為評價標(biāo)準(zhǔn)，沒有對參數(shù)做詳細(xì)的配置，使用的均是默認(rèn)參數(shù)。 system(mand)。void CAaDlg::2(int i){ char mand[256]。 system(mand)。圖43 系統(tǒng)主界面選擇待處理的kdd數(shù)據(jù)文件，主窗口顯示了kdd特征屬性的內(nèi)容并且每行添加了行號便于直觀顯示。“手動”“自動”按鈕執(zhí)行特征選擇算法，并在“執(zhí)行步驟”中顯示每步執(zhí)行的結(jié)果和所做的操作。0 1:0 2:2 3:7 4:6 5:181 6:5450 7:0 8:0 9:0 10:0 11:0 12:1 13:0 14:0 15:0 16:0 17:0 18:0 19:0 20:0 21:0 22:0 23:8 24:8 25: 26: 27: 28: 29: 30: 31: 32:9 33:9 34: 35: 36: 37: 38: 39: 40: 41:0 1:0 2:2 3:7 4:6 5:239 6:486 7:0 8:0 9:0 10:0 11:0 12:1 13:0 14:0 15:0 16:0 17:0 18:0 19:0 20:0 21:0 22:0 23:8 24:8 25: 26: 27: 28: 29: 30: 31: 32:19 33:19 34: 35: 36: 37: 38: 39: 40: 41:我們選擇一些屬性組，在文本框中就會顯示選定的特征組。二是采用核函數(shù)，把線性不可分的樣本通過一個非線性映射變換到高維特征空間使之線性可分。對于此次畢業(yè)設(shè)計完成數(shù)據(jù)預(yù)處理和特征算法的實現(xiàn)，但對我的編程和實踐能力也有很大的幫助。在軟件開發(fā)地過程中張偉老師給予我很多地意見和建議，使我少走了不少彎路。參考文獻(xiàn)[1] Jiawei Han Micheline Kamber 編著. ,2005年8月[2] 張云濤 ：電子工業(yè)出版社，2004年5月[3] Richard ,2003年9月[4] de Sa編著..模式識別 原理、,2002年11月[5] Guyon and A. Elisseeff. An introduction to variable and feature selection. JMLR, 2003(3), 11571182.[6] C. Sima et al. Impact of Error Estimation on FeatureSelection Algorithms. Pattern Recognition, 2005,38(12),24722482.[7] J. Hua et Number of Features as a Function of Sample Size for Various Classification Rules. Bioinformatics, 2005, 21(8),15091515.[8] T. Cover and J. Van Campenhout. On the Possible Orderings in the Measurement Selection Problem. IEEE Trans. Systems, Man, and Cybernetics, 1977,7(9),657–661.[9] 毛勇 周曉波 夏錚 尹征 [J].模式識別與人工智能，2007，20(2)：211218.[10] 楊長春,倪彤光,薛恒新,. 一種基于數(shù)據(jù)挖掘的DDoS攻擊入侵檢測系統(tǒng)[J]. 計算機(jī)工程,2007,(23).[11] Chen You , Cheng Xue2Qi , Li Yang , Dai Lei. Lightweight intrusion detection systems based on feature selection. Jour2nal of Software , 2007 , 18 (7) : 163921651 (in Chinese)(陳友,程學(xué)旗,李洋,戴磊. 基于特征選擇的輕量級入侵檢測系統(tǒng). 軟件學(xué)報, 2007 , 18 (7) : 163921651)[12] Chen S, Tang Y. Stateful DDoS Attacks and Targeted Filtering[J].Journal of Network and Computer Applications, 2007, 30(3).[13] Brugger S. T. . Data mining methods for network intrusion detection. Technique Report , UC davis , 2004[14] Ertoz L. , Eilert son E. , Lazarevic A. , Tan P. , Dokas P. ,Srivastava J . , Kumar . Detection and summarization of novel network attacks using data mining. Technical Report , 2003[15] Li－Chiou Chen, Longstaff TA , Carley K. M. Characterization of defense mechanisms against distributed denial of service attacks. Computers am