【正文】 有不可替代的優(yōu)勢，但也不是萬能的，也存在一些局限性。 小結(jié) 本章首先介紹了入侵檢測的概念，指出了 入侵檢測的用途和目的；其次，通過介紹入侵檢測的原理及其分類，指出了入侵檢測系統(tǒng)的基本原理與工作模式；最后，本文作者在閱讀相關(guān)文獻(xiàn)的基礎(chǔ)上總結(jié)了當(dāng)前入侵檢測技術(shù)的進(jìn)展和發(fā)展趨勢，指明了當(dāng)前學(xué)界對入侵檢測常用的方法和技術(shù)。 線性硬間隔分類器 支持向量機(jī)中最早提出的模型是最大間隔分類器，也稱為線性硬間隔分類器。 圖 6 兩類線性分劃的最優(yōu)超平面 該超平面可 表示為 0)( ??? bxw ，其中， w 是超平面的法線方向。對于給定的未知樣本 x ，只需計(jì)算 ()便可以判斷 x 所屬的分類器。 這時(shí)，必須 對 分類間隔 進(jìn)行 “軟化”，即不滿足約束條件 1)( ??? bxwyi 的樣本點(diǎn) 是 允許存在的 ，因此引入一個松弛變量 0?i? 于 約束條件中，它在一定程度上違反間隔約束 是 許 可的 ，從而適當(dāng)?shù)?將 約束放寬： libxwy iii ,2,1,0,1)( ??????? ?? () 陜西理工學(xué)院畢業(yè)論文 此時(shí)，目標(biāo)函數(shù)變?yōu)? ?????li iC 1)(21),( ??? () 其中， C 為可調(diào)參數(shù)，表示對錯誤的懲罰程度， C 越大懲罰越重。 非線性支持向量機(jī) ， 通過某 些 特定的非線性映射函數(shù)，將輸入向量映射到某個高維特征向量 ， 使其線性可分，再在高維空間尋求最優(yōu)超平面，使間隔最大。 支持向量機(jī)的優(yōu)勢與不足 支持向 量機(jī)在入侵檢測領(lǐng)域中的主要優(yōu)勢 統(tǒng)計(jì)學(xué)習(xí)理論中最年輕也是最實(shí)用的 算法 是支持向量機(jī)， 可以 同時(shí)控制經(jīng)驗(yàn)風(fēng)險(xiǎn)和分類器的容量（用分類器的 VC 維衡量）兩個參數(shù)是 SVM 的核心思想，使分類器間隔達(dá)到最大，從而使真實(shí)風(fēng)險(xiǎn)最小。但是，有研究表明，支持向量機(jī)性能與其核函數(shù)的類型、核函數(shù)參數(shù)和懲罰參數(shù)有著密切的 聯(lián)系 ，這些參數(shù)會影響 SVM 的分類精度及泛化性能。 小結(jié) 本章主要介紹了兩個方面的問題，第一，本文介紹了支持向量機(jī)的基本原理，以作為后續(xù)工作的理論基礎(chǔ)和理論支撐；第二，本文介紹支持向量機(jī)在網(wǎng)絡(luò)入侵檢測領(lǐng)域中的優(yōu)勢與不足，指出 SVM 對數(shù)據(jù)的維數(shù)不敏感，這樣就消除了所謂的維數(shù)災(zāi)難，另外，其可對小樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)并獲得潛在的知識以對入侵?jǐn)?shù)據(jù)進(jìn)行分類，且具有較好的分類精度和泛化能力；同時(shí)，本文還指出了該方法的缺陷主要是對參數(shù)的選擇上，而這是影響檢測精度的一個很重要的方面。 然而使用 傳統(tǒng)粗糙集 時(shí)， 需要將連續(xù)型數(shù)據(jù)離散化，會導(dǎo)致原始信息的丟失，計(jì)算結(jié)果在很大程度上取決于離散化的效果。 },{ 21 ngggG ?? 是一個屬性集，即條件屬性。通常使用的測度函數(shù)有： Manhattan 距離、 Euc lidean 距離和Chebychev 距離。 (3) for each ia ∈ G ?red Computing ),(),(),( r e dDar e dDr e dDaS I G ii ?? ?? ? 算法結(jié)束 (4)Selecting ka satisfying ) )。其中，懲罰系數(shù) C 反映了算法對離群樣本數(shù)據(jù)的懲罰程度，其值影響模型的復(fù)雜性和穩(wěn)定性。通過實(shí)驗(yàn)的方式來確定核函數(shù)并進(jìn)性參數(shù)選擇，由于使用交叉驗(yàn)證和網(wǎng)絡(luò)搜索非常消耗時(shí)間，而 RBF 核函數(shù)無論是低維、高維、小樣本、大樣本等情況均適用且有較寬的收斂域，所以從實(shí)踐上選用 RBF 核函數(shù)更容易一些 [9]。 Step 2 初始化和聲記憶庫 隨機(jī)生成 HMS 個和聲 12, , , HMSx x x 放入和聲記憶庫。 39。 39。11()HMSxx 的 任意 一值，有1 HMCR? 的概率選自 HM 外（且在變量范圍內(nèi)）的任何一個值。( , , , ) , r a n d H M C R , o th e r w is e 。139。 Step4: 更新和聲記憶庫 對 Step3 中的新解進(jìn)行評估，如果優(yōu)于 HM 中的函數(shù)值最差的一個，則將新解更新至HM 中。 陜西理工學(xué)院畢業(yè)論文 基于和聲搜索算法的 SVM 參數(shù)優(yōu)化選擇 核函數(shù)是影響 SVM 性能的一個重要方面?？刂棋e分樣本的比例和算法復(fù)雜度之間的折中 的參數(shù)是 懲罰參數(shù) C ，即在確定的特征子空間中調(diào)節(jié)學(xué)習(xí)機(jī)置信范圍和經(jīng)驗(yàn)風(fēng)險(xiǎn)的比例以使學(xué)習(xí)機(jī)具有最佳的推廣能力。 HMS 為 和聲記憶庫的大小， HMCR 為 記憶庫取值概率， PAR 為 音調(diào)微調(diào)概率， bw 為 音調(diào)調(diào)節(jié)帶寬 ， Tmax 為 最大進(jìn)化代數(shù)以及 max min,xx分別是 SVM 懲罰參數(shù) C 和核參數(shù) ? 的上、下限值 向量 ，個體和聲向量維 數(shù) N。 和聲庫中的每一個和聲實(shí)際上就是 ( , )C? 的一個組合，利用支持向量機(jī)在訓(xùn)練集上以每個和聲為參數(shù)進(jìn)行訓(xùn)練，并將在測試集上的分類準(zhǔn)確率作為和聲庫中各和聲的適應(yīng)度值。 計(jì)算 由 步驟 4 所 產(chǎn)生的新和聲的適應(yīng)度，并根據(jù) ()式進(jìn)行和聲庫更新 ，生成新一代的陜西理工學(xué)院畢業(yè)論文 和聲庫 。 集成 Bagging[1920]作為 一種集成算法是基于有放回重采樣 技術(shù)的，隨機(jī)抽取若干樣本 于 原始訓(xùn)練集 以構(gòu)成 訓(xùn)練子集，訓(xùn)練子集的規(guī)模與原始訓(xùn)練集 相似 ，訓(xùn)練樣本重復(fù)選取 是許可的 。 多數(shù)投票法 作為 一種簡單 高 效的方法是決策級數(shù)據(jù)的融合 ， 本設(shè)計(jì) 采用多數(shù)投票法 作為集成的方法。本文所用的 KDD99 已經(jīng)成為近年來評判入侵檢測系統(tǒng)的一套標(biāo)準(zhǔn)數(shù)據(jù)。 為 了檢驗(yàn) 本 設(shè)計(jì)所采用的 算法對未知攻擊的檢測能力，在 測試數(shù)據(jù)集中加訓(xùn)練集中沒有的攻擊類型，分為 4 大類 ， 共 10 種， 其中 Dos 攻擊有 teardrop10 個、 pod20 個、 land5 個、probing 攻擊有 nmap10 個， U2R 攻擊有 loadmoudule2 個、 perl2 個， R2L 攻擊有 spy2 個、phf2 個、 imap5 個、 multihop2 個、 ftp_write2 個，測試集數(shù)據(jù)共包含攻擊類型 21 種。其中： 算法 1：直接采用 SVM 進(jìn)行分類（該算法中 SVM 參數(shù)隨機(jī)生成）； 算法 2： 首先應(yīng) 用鄰域粗糙集進(jìn)行屬性約簡，然后利用 SVM 進(jìn)行分類（算法中 SVM 參數(shù)隨機(jī)產(chǎn)生）； 算法 3：先采鄰域粗糙集進(jìn)行屬性約簡， 再采用 用 和聲搜索算法對 SVM 的參數(shù) c 和φ進(jìn)行優(yōu)化，最 后利用 SVM 分類（該算法中 SVM 參數(shù)隨機(jī)產(chǎn)生）； 本文算法： 首 先 采。其中， 總的攻擊樣本數(shù)量常樣本數(shù)量被錯誤判斷為攻擊的正誤警率總的攻擊樣本數(shù)量數(shù)量正確檢測出的攻擊樣本檢驗(yàn)率?? 數(shù)據(jù)預(yù)處理 對原始數(shù)據(jù) 集應(yīng) 用鄰域粗糙集 算法 進(jìn)行屬性約簡，半徑的不同 將 導(dǎo)致分類精度的差異，因此在這 需要設(shè)置鄰域粗糙集的半徑， 本設(shè)計(jì) 設(shè)置鄰域半徑在 到 1 之間，以 為步長的方式取值，對于鄰域半徑每一個取值，算法都得到一個屬性子集，共獲得 100 個屬性子陜西理工學(xué)院畢業(yè)論文 集。 10%數(shù)據(jù)集包括訓(xùn)練集和測試集兩部分，從 10%數(shù)據(jù)集的訓(xùn)練集中隨機(jī)抽取 1000 個樣本作為訓(xùn)練數(shù)據(jù)，其中包括入侵?jǐn)?shù)據(jù) 195 個，而這其中又包括四大類攻擊共 11 種，具體為 Dos 類型 攻擊有 ueptne 攻擊 40 個、 smurf 攻擊 90 個、 back 攻擊 6 個、 probing 類型 攻擊有 ipsweep 攻擊10 個、 portsweep 攻擊 10 個、 satan 攻擊 15 個， U2R 類型 攻擊有 buffer_overflow 攻擊 4 個、rootkit 攻擊 4 個， R2L 攻擊有 waremster 攻擊 4 個、 Guess_passwd 攻擊 6 個、 warezlient 攻擊 6 個。 小結(jié) 對入侵?jǐn)?shù)據(jù)進(jìn)行分類 是 入侵檢測技術(shù)的 實(shí)質(zhì) ，因此，本文針對該目的對入侵?jǐn)?shù)據(jù)主要進(jìn)行了兩項(xiàng)操作，第一，通過鄰域粗糙集理論對數(shù)據(jù)屬性進(jìn)行約簡，獲得對檢測結(jié)果影響較大的數(shù)據(jù)屬性以進(jìn)行分 類，同時(shí)，避免由于數(shù)據(jù)冗余而造成的處理時(shí)間過長、干擾分類等問題；第二，在對數(shù)據(jù) 進(jìn)行完 預(yù)處理之后，本 設(shè)計(jì) 采用基于和聲搜索算法對 SVM 中的 參數(shù)組合( , )C? 進(jìn)行優(yōu)化，確保 該 分類器對分類 的 結(jié)果 具有 較高的檢測率和較低的誤警率。 由此可以產(chǎn)生差異性較大 的 訓(xùn)練子集。 若達(dá)到誤差要求或 者是 達(dá)到最大迭代次數(shù)，則算法終止，輸出最優(yōu)參數(shù)。 如果滿足 rand HMCR? ，則 根據(jù)（ ）式 從和聲庫中隨機(jī)選取一 個和聲，再根據(jù) () 式按概率 PAR 對選取的和聲進(jìn)行音頻微調(diào)；如果不滿足 rand HMCR? ，則在變量的取值范圍里重新生成一個新的和聲。 利用 m in m a x m in(1 , ) ( )x rand N x x? ? ? 函數(shù) 產(chǎn)生 HMS 個和聲，構(gòu)成了初始 的 和聲庫。 本 設(shè)計(jì) 采用 HS 搜素算法尋找 最優(yōu)的參數(shù)組合 ( , )C? ，使 SVM 具有最好的分類性能，提高 SVM 的學(xué)習(xí) 能力及 泛化能力。選取 RBF 核作為 SVM 核函數(shù)。39。1 * , if r a n d 1 P A R (* ( ) , m { 1 , 1 } , if r a n d 1 P A R (, o th e r w is e 。 其次，如果新的和聲 39。 1 239。 新解的第一個變量 39。 39。 39。算法通過 模擬樂師們 反復(fù)調(diào)整各種樂器的音調(diào)直到生成一個美妙和聲的過程， 把 該過程類比為優(yōu)化問題的求解過程，將樂器( 1,2, , )im? 類比為優(yōu)化問題中第 i 個決策變量，樂器產(chǎn)生的和聲則相當(dāng)于優(yōu)化問題的第j 個解向量，對和聲的評價(jià)即為優(yōu)化問題的目標(biāo)函數(shù)值 [1011]。 C 的值影響到對樣本中“離群點(diǎn)”（噪聲影響下非正常數(shù)據(jù)點(diǎn)）的處理，選取合適的 C 就能在一定長度上提高抗干擾能力，從而保證模型的問穩(wěn)定性。 陜西理工學(xué)院畢業(yè)論文 基于和聲搜索算法的支持向量機(jī)參數(shù)選擇 支持向量機(jī)中核函數(shù)的選擇 SVM 中不同的內(nèi)積核函數(shù)將形成不同的算法，選擇不同的核函數(shù)以及核函數(shù)的參數(shù)對 SVM的分類效果影響很大。 給定一個鄰域決策表 NDT ， cXXX , 21 ? 是具有決策屬性類別值 1到 c 的樣本集，則??ji XX ? ， SXjicji ici ??? ??1,],1[,，所以 cXXX , 21 ? 是 S 的一個 分劃 ， )(iBx?表示由屬性子集 GB? 產(chǎn)生的包括樣本 ix 的鄰域信息粒度，則決策屬性 D 關(guān)于屬性子集 B的上近似和下近似 為： ),(),( 1 BXL o w e rBDL o w e r ici??? ),(),( 1 BXU p p e rBDU p p e r ici??? 。 aV 表示屬性 DGa ?? 的值域， f 是一個信息函數(shù)，表示為 VDGSf ?? )(: ? ，其中aDGa VV ????。 于是 ，為 了 保證入侵檢測的準(zhǔn)確性和原始信息的完整性 , 本文采用鄰域粗糙集模型進(jìn)行屬性約簡，在此基礎(chǔ)上對入侵檢測信息樣本空間進(jìn)行鄰域?；苯佑?jì)算樣本距離，確定樣本之間的相鄰關(guān)系。大量研究表明，進(jìn)行屬性約簡是提高分類器精度、提高算法效率的有效方法 [13]。 同時(shí)，當(dāng)樣本容量 比 較大時(shí)，訓(xùn)練階段 就 需要大量的內(nèi)存 占用 和較長時(shí)間，因此如何在大樣陜西理工學(xué)院畢業(yè)論文 本訓(xùn)練時(shí)減少內(nèi)存 占用 和訓(xùn)練時(shí)間成為支持向量機(jī)研究領(lǐng)域 亟待 解決的一個問題 [11]。 有些學(xué)者通過實(shí)驗(yàn)已經(jīng)發(fā)現(xiàn)，基于支持向量機(jī)的入侵檢測模型具有以下優(yōu)點(diǎn)，首先，它不需要全部的正常和異常的信息，在給出較少的正常和異常執(zhí)行跡的情況下 就能得到比較理想的檢測效果；其次，該方法所需的訓(xùn)練時(shí)間和檢測時(shí)間比其他方法短， 因此 該方法能夠隨時(shí)升級，并進(jìn)行高效的實(shí)時(shí)檢測 [9]。 依據(jù) 泛函 分析有關(guān)知識 ，只要一種核函數(shù) ),( ji xxK ， lji ,2,1, ?? 滿足 Mercer 條件，它就對應(yīng)某一變換空間中的內(nèi)積，即核函數(shù)方法是通過定義特征變換樣本在特征空間中的內(nèi)積來實(shí)現(xiàn)一種特征變換，高維空間中特征向量的內(nèi)積可以通過核函數(shù)用低維空間中的輸入向量直接計(jì)算得到，從而特征空間維數(shù)的增加不會導(dǎo)致計(jì)算量呈指數(shù)增長。線性可分情況可看做是線性不可分情況的特例 [19]。線性硬間隔分類器的主要問題是它總是產(chǎn)生一個沒有訓(xùn)練誤差的分類超平面，當(dāng)然數(shù)據(jù)不能完全分開時(shí)間隔為負(fù)數(shù)。分類超平面的分類間隔為 w2 ，使間隔最大等價(jià)于 w 最小，因此，在線性可分條件下構(gòu)造最優(yōu)超平面，就轉(zhuǎn)化為下面的二次規(guī)劃問題： ???????????libxwytsii ,2,1,1))((..)(21)(m i n??