【文章內(nèi)容簡介】 SVM分類器。在異常入侵檢測中SVM分類器可用于對未知入侵進(jìn)行檢測，而SVM分類器的構(gòu)造目前主要受到兩個方面的困擾：一是當(dāng)訓(xùn)練樣本規(guī)模較大時，分類器的訓(xùn)練時間過長；二是離群點的存在嚴(yán)重影響分類器的泛化能力。為了消除離群點并精簡訓(xùn)練樣本集，考慮到分類器的劃分結(jié)果主要由位于兩類樣本點邊界處占樣本數(shù)少部分的支持向量決定，本文采用了以下方法對樣本集進(jìn)行處理：首先采用KNN算法對離群點進(jìn)行消除；然后構(gòu)造以樣本點為球心的超球面，通過判斷超球面內(nèi)樣本點類別的異同來判斷該作為球心的樣本點是否位于邊界，從而提取邊界樣本點。實驗結(jié)果表明通過選擇適當(dāng)?shù)呐R近點個數(shù)及超球面半徑，能夠有效的提取邊界樣本點，達(dá)到消除離群點和精簡訓(xùn)練樣本集的目的，而且精簡后的樣本集不會影響分類器的泛化能力。該分類器在異常入侵檢測中表現(xiàn)出較好的性能。3)提出了一種基于啟發(fā)式規(guī)則的混合入侵檢測系統(tǒng)模型。模型專門設(shè)計了混合入侵檢測引擎，結(jié)合誤用入侵檢測和異常入侵檢測技術(shù)，降低了入侵檢測的誤警率和漏警率。整個模型具有很好的可擴(kuò)展性、可靠性、穩(wěn)定性和可用性，能夠適用于大規(guī)模的高速的網(wǎng)絡(luò)環(huán)境。 本文的組織結(jié)構(gòu)本文的章節(jié)安排如下：第一章，緒論。詳細(xì)分析了論文的研究背景、意義及技術(shù)難點，給出了論文的主要研究工作和創(chuàng)新點。第二章，入侵檢測技術(shù)研究綜述。介紹了入侵檢測的概念和通用模型以及入侵檢測的技術(shù)分類，系統(tǒng)結(jié)構(gòu)分析，以及使用的規(guī)則描述語言和實驗數(shù)據(jù)等內(nèi)容。第三章，誤用入侵檢測中的模式識別算法研究。介紹了誤用入侵檢測模式匹配問題，重點分析介紹了ACBM多模式匹配算法，提出了一種改進(jìn)的ACBM算法IACBM，比較分析了兩種算法入侵檢測的性能。第四章，基于啟發(fā)式搜索的特征選擇。介紹我們提出的基于變量相似性的特征選擇算法。第五章，異常入侵檢測中的SVM分類器研究。介紹了異常入侵檢測分類問題，對傳統(tǒng)的SVM分類器作了介紹，針對傳統(tǒng)S VM分類器存在的主要問題，提出了一種基于超球面邊界樣本點篩選算法的SVM分類器(INNSVM)，比較分析了INNSVM分類器與其它SVM分類器對入侵檢測的性能。第六章，基于啟發(fā)式規(guī)則的混合入侵檢測模型。介紹了IDS系統(tǒng)體系結(jié)構(gòu)的發(fā)展，提出了一種基于啟發(fā)式規(guī)則的混合入侵檢測模型，把連接上下行數(shù)據(jù)分別采用誤用檢測技術(shù)和異常檢測技術(shù)，并對檢測到得結(jié)果通過混合分析引擎擬合，對模型的性能作了測試。第七章，總結(jié)與展望。對本文的工作進(jìn)行總結(jié)，并對進(jìn)一步的研究工作進(jìn)行展望。104第二章 入侵檢測技術(shù)研究綜述 第二章 入侵檢測技術(shù)研究綜述本章綜述了入侵檢測技術(shù)的發(fā)展歷程，對現(xiàn)有的入侵檢測技術(shù)進(jìn)行了分類，介紹了入侵檢測技術(shù)的評價指標(biāo)，并以典型的入侵檢測技術(shù)為例，分別介紹其技術(shù)要點，指出了它們的優(yōu)缺點。最后介紹了入侵檢測系統(tǒng)的體系結(jié)構(gòu)、規(guī)則描述語言和實驗數(shù)據(jù)等。 檢測技術(shù)的發(fā)展史早在20世紀(jì)80年代就已經(jīng)展開了對入侵檢測技術(shù)的研究，發(fā)展至今已有近30年的歷程。根據(jù)所檢測數(shù)據(jù)的來源不同，入侵檢測技術(shù)經(jīng)歷了基于主機(jī)的入侵檢測技術(shù)、基于網(wǎng)絡(luò)的入侵檢測技術(shù)和分布式入侵檢測技術(shù)三個發(fā)展時期。1980年，James 《Computer Security Threat Monitoring and Surveiliance》沖首次提出了入侵檢測的概念，由此開始了對入侵檢測技術(shù)的研究。在這篇文章中，他提到了審計數(shù)據(jù)對于入侵檢測的重要性，通過監(jiān)視和存儲相關(guān)的審計數(shù)據(jù)信息，建立用戶審計信息模型，再根據(jù)這些統(tǒng)計模型發(fā)現(xiàn)系統(tǒng)當(dāng)中存在的異常行為。這是首次對入侵的檢測提出原創(chuàng)性的解決方法，也是日后異常檢測方法的原型。1987年，Dorothy Denning博士提出了IDS的抽象模型，模型主要由主體( Subjects )、對象(Objects )、審計記錄(Audit Records )、行為輪廓(Profiles )、異常記錄(Anomaly Records)及活動規(guī)則(Activity Rules)組成，這是一個入侵檢測系統(tǒng)的通用框架。在這篇文章中將入侵檢測技術(shù)與加密、認(rèn)證、訪問控制等安全技術(shù)相比，肯定了入侵檢測對于保證系統(tǒng)安全的重要作用。這篇文獻(xiàn)可以看成是在入侵檢測技術(shù)的發(fā)展歷史中具有里程碑意義的重要論著。1988年，Denning博士提出的模型由SRI International公司實現(xiàn)，稱之為入侵檢測專家系統(tǒng)(Intrusion Detection Expert System， IDES。該系統(tǒng)可以用于檢測主機(jī)系統(tǒng)上發(fā)生的入侵行為，是一個與系統(tǒng)平臺無關(guān)的專家檢測系統(tǒng)。這也是日后的誤用檢測方法的系統(tǒng)原型。后來入侵檢測的原型系統(tǒng)被陸續(xù)開發(fā)，如下一代入侵檢測系統(tǒng)( NextGeneration Intrusion Detection System， NIDES )、Haystack系統(tǒng)等。從上面的描述可知，在入侵檢測技術(shù)發(fā)展的初期，所檢測的數(shù)據(jù)都是主機(jī)系統(tǒng)的待審計數(shù)據(jù)，然而隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和網(wǎng)絡(luò)應(yīng)用的普及，針對網(wǎng)絡(luò)的攻擊事件不斷發(fā)生，對入侵檢測技術(shù)的研究也隨之進(jìn)入了第二階段，即網(wǎng)絡(luò)入侵檢測技術(shù)。1990年，( Network Security Monitor，NSM )，通過在共享網(wǎng)段上對通信數(shù)據(jù)的監(jiān)聽和采集，檢測所有數(shù)據(jù)包的包頭信息，分析可能出現(xiàn)的攻擊現(xiàn)象，從而達(dá)到對整個網(wǎng)段的入侵檢測和保護(hù)。網(wǎng)絡(luò)入侵檢測技術(shù)通過分析數(shù)據(jù)包包頭信息、網(wǎng)絡(luò)流量和網(wǎng)絡(luò)連接的各個特征屬性來檢測網(wǎng)絡(luò)中存在的入侵行為，區(qū)分正常網(wǎng)絡(luò)應(yīng)用和惡意攻擊。這種方法擴(kuò)展了入侵檢測技術(shù)的應(yīng)用范圍，同時由于采用的是監(jiān)聽的方式獲取待檢測數(shù)據(jù)，沒有增加網(wǎng)絡(luò)負(fù)擔(dān)，也不會占用網(wǎng)絡(luò)上其他主機(jī)的資源。然而不論是基于主機(jī)的入侵檢測系統(tǒng)還是基于網(wǎng)絡(luò)的入侵檢測系統(tǒng)，早期的結(jié)構(gòu)都是集中式的，數(shù)據(jù)采集模塊和數(shù)據(jù)分析模塊都位于同一臺機(jī)器上，這和網(wǎng)絡(luò)逐漸走向分布式、異構(gòu)性的趨勢并不符合。而且隨著分布式網(wǎng)絡(luò)攻擊的出現(xiàn)，分布式入侵檢測技術(shù)也應(yīng)運(yùn)而生。 1991年提出的分布式入侵檢測系統(tǒng)(Distributed Intrusion Detection System，DIDS)是第一個分布式的系統(tǒng)，它將主機(jī)入侵檢測和網(wǎng)絡(luò)入侵檢測結(jié)合，能適應(yīng)異構(gòu)環(huán)境。該系統(tǒng)由三個部分組成：主機(jī)管理單元、網(wǎng)絡(luò)管理單元和中央管理單元。該系統(tǒng)利用位于不同地點的數(shù)據(jù)采集單元收集待檢測數(shù)據(jù)，進(jìn)行統(tǒng)一分析后，判斷被保護(hù)系統(tǒng)是否受到攻擊。雖然DIDS存在很多不足之處，但它畢竟是對分布式入侵檢測技術(shù)研究的有益嘗試。 為了克服DIDS存在系統(tǒng)瓶頸的問題，1996年提出的合作式安全管理器(Cooperating Security Manager，CSM ) 通過運(yùn)行于每臺主機(jī)之上的CSM單元合作檢測入侵行為。每個CSM單元都由本地入侵檢測單元、安全管理器、圖形用戶界面、入侵處理單元、命令監(jiān)視器和通信處理器組成。CSM實現(xiàn)了分布采集，分布決策的思想。同年提出的基于圖的入侵檢測系統(tǒng)(Graph base Intrusion Detection System，GrIDS) 則是考慮到入侵檢測系統(tǒng)擴(kuò)展性不強(qiáng)的問題，針對大規(guī)模網(wǎng)絡(luò)的協(xié)同攻擊，提出了使用圖對網(wǎng)絡(luò)行為進(jìn)行建模的方法。隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大和攻擊行為的協(xié)同性和分布式的趨勢，入侵檢測技術(shù)必然向著分布式檢測方向發(fā)展。 檢測技術(shù)的分類根據(jù)采用檢測方法的不同，現(xiàn)有的入侵檢測技術(shù)從總體上可以分為三類：誤用檢測，異常檢測和混合檢測。誤用檢測(Misuse Detection)的思想最早由Dorothy Denning博士提出，通過建立專家系統(tǒng)和既定規(guī)則，查找活動中的已知攻擊，這就是誤用檢測方法的原型。誤用檢測判斷入侵的典型過程是根據(jù)已知的攻擊建立檢測模型，將待檢測數(shù)據(jù)與模型進(jìn)行比較，如果能夠匹配上檢測模型，待檢測數(shù)據(jù)將被認(rèn)為是攻擊。典型的建立誤用檢測模型的方法包括專家系統(tǒng)，狀態(tài)轉(zhuǎn)移圖等。從誤用檢測技術(shù)的思想來看，這種技術(shù)能夠很好地發(fā)現(xiàn)跟己知攻擊行為具有相同特征的攻擊，檢測已知攻擊的正確率很高，然而存在的問題是不能發(fā)現(xiàn)新的攻擊，甚至不能發(fā)現(xiàn)同一種攻擊的變種，因此存在漏報的可能。同時維護(hù)規(guī)則的代價比較高，靈活性和自適應(yīng)性較差。異常檢測(Anomaly Detection)的概念在James Anderson早期的文章中就有體現(xiàn)，他提出可以根據(jù)用戶行為的一些統(tǒng)計信息來判定系統(tǒng)的不正常使用模式，從而發(fā)現(xiàn)“偽裝者”，這正是異常檢測的基本思想。在假定正常行為和攻擊行為存在本質(zhì)差別的情況下，通過分析正常連接的統(tǒng)計特性建立檢測模型，將待檢測行為與統(tǒng)計模型進(jìn)行比較，如果能夠匹配上，則判定該行為是正常行為。典型的建立異常檢測模型的方法包括閉值分析法、統(tǒng)計分析法、神經(jīng)網(wǎng)絡(luò)等。根據(jù)異常檢測的實現(xiàn)思路，可見這種技術(shù)有能力發(fā)現(xiàn)未知攻擊，不需要實時維護(hù)規(guī)則，擴(kuò)展性和自適應(yīng)性好。但是這種技術(shù)普遍存在誤報率高的缺點。混合入侵檢測技術(shù)則是綜合了誤用檢測和異常檢測的優(yōu)點而提出的，同時分析異常模型和正常模型從而做出更為準(zhǔn)確的決策，典型的方法有基于規(guī)范的檢測方法，基于生物免疫的檢測方法等。 檢測技術(shù)的評價指標(biāo)為了評估檢測技術(shù)的優(yōu)劣，需要一系列的定量評價指標(biāo)。主要的評價指標(biāo)包括分類正確率、漏警率、誤警率、檢測時延和學(xué)習(xí)能力等。分類正確率是指被正確分類的測試樣本個數(shù)與全體測試樣本個數(shù)的比值： ()這是一個評價入侵檢測技術(shù)對于正常樣本和攻擊樣本區(qū)分能力的總體評價指標(biāo)，從一定程度上反應(yīng)了入侵檢測技術(shù)的總體檢測能力，我們期望分類正確率越高越好。漏警率是指攻擊樣本中被誤認(rèn)為是正常樣本的個數(shù)與全體攻擊樣本個數(shù)的比值： ()這個值反應(yīng)了入侵檢測技術(shù)對于攻擊的識別能力，如果檢測樣本中含有大量訓(xùn)練樣本中所沒有的新攻擊，這個值也從一定程度上反應(yīng)了入侵檢測技術(shù)對未知攻擊的識別能力，表明了入侵檢測技術(shù)的擴(kuò)展性和自適應(yīng)性，我們期望漏警率越低越好。誤警率是指正常樣本中被認(rèn)為是攻擊樣本的個數(shù)與全體正常樣本個數(shù)的比值： ()這個值反應(yīng)了入侵檢測技術(shù)對于正常樣本的識別能力。我們期望誤警率越低越好，如果誤警率很高，那么真正有危險的告警可能會被淹沒在無用的誤警當(dāng)中，從而導(dǎo)致真正的攻擊得以成功實施。前面三個指標(biāo)都是從檢測的正確性方面衡量入侵檢測技術(shù)的優(yōu)劣，而檢測時延則是從入侵檢測技術(shù)的檢測效率方面衡量檢測技術(shù)的優(yōu)劣。檢測時延是指入侵檢測技術(shù)從開始檢測到判定檢測樣本為攻擊或正常的時間消耗。檢測時延在一定程度上反應(yīng)了檢測技術(shù)的實時性。我們期望檢測時延越小越好，這意味著單位時間內(nèi)可以處理更多的待檢測數(shù)據(jù)，可以更及時地發(fā)現(xiàn)攻擊，從而為制訂安全策略贏得寶貴的時間。學(xué)習(xí)能力是指入侵檢測技術(shù)能夠從實際應(yīng)用中學(xué)習(xí)到新模式的能力，從而能夠自適應(yīng)地對檢測模型進(jìn)行更新和調(diào)整，適應(yīng)網(wǎng)絡(luò)環(huán)境的變化。 誤用檢測技術(shù)誤用檢測分析系統(tǒng)活動行為，尋找與預(yù)定義入侵模式匹配的事件或者事件集，從而發(fā)現(xiàn)入侵行為。預(yù)定義的入侵模式一般稱為入侵特征，因此誤用檢測又稱作基于特征的檢測。 基于規(guī)則匹配的檢測技術(shù)基于規(guī)則匹配的檢測技術(shù)最為典型的是專家系統(tǒng)。專家的經(jīng)驗知識從邏輯上可以表示為產(chǎn)生式規(guī)則、層次樹和狀態(tài)轉(zhuǎn)移圖等形式?；谝?guī)則的入侵檢測技術(shù)多應(yīng)用于早期的入侵檢測系統(tǒng)，如基于產(chǎn)生式規(guī)則的專家系統(tǒng)工具集(Productionbased Expert System Toolset，PBEST)是采用產(chǎn)生式規(guī)則的入侵檢測系統(tǒng)，加利福尼亞(California)大學(xué)桑塔芭芭拉(Santa Barbara)分校研究開發(fā)的狀態(tài)轉(zhuǎn)移分析工具(State Transition Analysis Tool，STAT)是基于狀態(tài)轉(zhuǎn)移圖的入侵檢測系統(tǒng)?；谝?guī)則匹配的檢測技術(shù)具有誤報少、準(zhǔn)確率高的優(yōu)點。但是它只能發(fā)現(xiàn)已知攻擊，難以準(zhǔn)確識別同一種攻擊的變種，對未知攻擊不具備檢測的能力。同時規(guī)則庫的建立與維護(hù)代價高，且容易出現(xiàn)冗余、矛盾、蘊(yùn)含等問題。因此運(yùn)用機(jī)器學(xué)習(xí)技術(shù)使知識庫的建造智能化是未來的發(fā)展趨勢。 基于條件概率的檢測技術(shù)條件概率誤用入侵檢測方法將入侵方式對應(yīng)于一個事件序列，然后通過觀測到事件發(fā)生情況來推測入侵出現(xiàn)。這種方法的依據(jù)是外部事件序列，根據(jù)貝葉斯定理進(jìn)行推理檢測入侵。令ES (Event Sequence)表示事件序列，事件出現(xiàn)的概率為P(ES)，先驗概率為P(I) ，后驗概率為P(ES | I)，則有 ()通常網(wǎng)絡(luò)安全專家可以給出先驗概率P(I)，對入侵報告數(shù)據(jù)進(jìn)行統(tǒng)計處理得出和，于是可以計算出： ()故可以通過事件序列的觀測，從而推算出?；跅l件概率誤用入侵檢測方法是在概率理論基礎(chǔ)上的一個普遍的方法，它是對貝葉斯方法的改進(jìn)，其缺點就是先驗概率難以給出，而且事件的獨立性難以滿足。 基于狀態(tài)轉(zhuǎn)移分析的檢測技術(shù) 狀態(tài)轉(zhuǎn)移分析方法把入侵表示為一系列被監(jiān)控的系統(tǒng)狀態(tài)轉(zhuǎn)移，每一個狀態(tài)對應(yīng)一個系統(tǒng)行為，每個狀態(tài)都必須滿足特定的布爾表達(dá)式。狀態(tài)間用有向弧連接，當(dāng)弧上的特征行為發(fā)生時，狀態(tài)發(fā)生轉(zhuǎn)移。如果到達(dá)危險狀態(tài)，表示當(dāng)前可能正在發(fā)生入侵事件。Ilgun等提出的STAT就采用狀態(tài)轉(zhuǎn)移分析方法，并在UNIX平臺上實現(xiàn)了一個原型系統(tǒng)USTAT。攻擊模式只能說明事件序列，因此不能說明更復(fù)雜的事件。而且，除了通過植入模型的原始的謂詞，沒有通用的方法來排除攻擊模式部分匹配。 基于模型推理誤用的檢測技術(shù)基于模型推理誤用入侵檢測方法是通過建立誤用證據(jù)模型，根據(jù)證據(jù)推理來作出誤用發(fā)生判斷結(jié)論。Garvey和Lunt首先提出這種方法。其方法要點是建立入侵場景數(shù)據(jù)庫、預(yù)警器和規(guī)劃者。每個入侵場景表示成一個入侵行為序列，在任意的給定時刻，入侵場景的子集都被用來推斷系統(tǒng)是否遭受入侵。入侵檢測系統(tǒng)根據(jù)當(dāng)前的活動模型，預(yù)警器產(chǎn)生下一步行為，用來在審計跟蹤時作驗證使用。規(guī)劃者負(fù)責(zé)判斷假設(shè)的行為是如何反映在審計跟蹤數(shù)據(jù)上，以及將假設(shè)的行為變成與系統(tǒng)相關(guān)的審計跟蹤進(jìn)行匹配。由于行為到活動的映射必須很容易地在審計跟蹤中識別出，故的值必須比較大。因為某些入侵場景的證據(jù)累積，故其它的證據(jù)就下降，活動模型組成被更新。同時系統(tǒng)中嵌入證據(jù)推理分析功能，這樣就允許更新活動模型列表中的攻擊場景出現(xiàn)的概率，根據(jù)攻擊場景概率的大小進(jìn)行推斷檢測入侵。這種方法