【正文】 work as a whole. However, in reality, data in the work could be divided into two categories: upload data and download data. When intrusion takes place,these two types of dataflow may have different characters. Based on this discovery,we proposed a novel intrusion detec172。 第一章 緒 論 1 第一章 緒 論 研究 背景 隨著網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)的不斷發(fā)展，人類(lèi)社會(huì)進(jìn)入了一個(gè)嶄新的互聯(lián)網(wǎng)時(shí)代。而以計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)為代表的 IT 產(chǎn)業(yè)更 是位于科技發(fā)展的技術(shù)前沿，并且直接引導(dǎo)了互聯(lián)網(wǎng)的一次次技術(shù)革命， 人類(lèi)社會(huì)的各個(gè)領(lǐng)域都在發(fā)生著前所未有的重大變革，人類(lèi)社會(huì)正在走進(jìn)信息化社會(huì) 。 同時(shí) 也為 網(wǎng)絡(luò) 攻擊提供了 便利 條件 ， 攻擊技術(shù)快速發(fā)展，呈現(xiàn)出多元化、復(fù)雜化和智能化的 發(fā)展 趨勢(shì)， 攻擊 頻度和規(guī)模逐年遞增 。同時(shí)據(jù)抽樣顯示， 2020 年，境內(nèi)外控制者利用木馬控制端對(duì)主機(jī)進(jìn)行控制的事件中，木馬控制端 IP 地址總數(shù)為 433， 429 個(gè)，被控制端 IP 地址總數(shù)為 2， 861， 621 個(gè)，比去年同期均有較大幅度的增長(zhǎng)。首先，在當(dāng)前的網(wǎng)絡(luò)狀況下，各種病毒和攻擊方法不斷更新?lián)Q代，安全威脅的種類(lèi) 越來(lái)越多，升級(jí)的頻率越來(lái)越快，所能影響的范圍也越來(lái)越廣。系統(tǒng)遭到破壞產(chǎn)生的直接后果就是用戶(hù)無(wú)法使用電腦進(jìn)行正常工作。 2)信息泄漏 ： 企業(yè)網(wǎng)絡(luò)及個(gè)人的主機(jī)上有許多重要信 息和資料，有些保密第一章 緒 論 2 級(jí)別很高，不能對(duì)外公開(kāi)。此外，個(gè)人網(wǎng)上銀行賬戶(hù)的泄漏會(huì)對(duì)個(gè)人的財(cái)產(chǎn)造成重大的損失，某些網(wǎng)絡(luò)賬號(hào)和密碼的被竊，會(huì)被入侵者用來(lái)做一些違背用戶(hù)個(gè)人意愿的事情，有時(shí)甚至?xí)沁`法的事情。信息泄漏的危害很大，甚至?xí){到政府和國(guó)家的安全。所以信息泄漏是網(wǎng)絡(luò)安全領(lǐng)域的重要問(wèn)題，危害十分嚴(yán)重。數(shù)據(jù)損毀主要是對(duì)數(shù)據(jù)完整性的破壞，包括數(shù) 據(jù)的損壞和丟失，導(dǎo)致數(shù)據(jù)損毀的原因是多方面的，有人為的因素，如入侵者的刪除和蓄意破壞用戶(hù)個(gè)人的錯(cuò)誤操作，誤刪或沒(méi)有保存。還有一些外來(lái)的因素，如突然斷電造成的數(shù)據(jù)損毀。在沒(méi)有很好的數(shù)據(jù)保護(hù)管理機(jī)制的情況下，重要數(shù)據(jù)的損毀對(duì)企業(yè)和個(gè)人往往是災(zāi)難性的，很多人面對(duì)重要數(shù)據(jù)的丟失往往是欲哭無(wú)淚，訴求無(wú)門(mén)。在這種情況下，除了可能出現(xiàn)前面提到的三種情況外，還可能會(huì)出現(xiàn)一些意想不到的嚴(yán)重后果，造成災(zāi)難性的危害。 網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)的進(jìn)步，在給人類(lèi)的生活帶來(lái)極大便利的同時(shí)，也為黑和惡意攻擊者提供了入侵的手段和條件。 這無(wú)疑給網(wǎng)絡(luò)安全技術(shù)提出了新的挑戰(zhàn)。隨著網(wǎng)絡(luò)的興起，網(wǎng)絡(luò)的安全問(wèn)題日 益嚴(yán)重，入侵檢測(cè)得到了重視，廣泛的發(fā)展起來(lái)。 ACM， Springer，Elsevier， IEEE 等國(guó)際知名組織和出版商每年都會(huì)刊登大量的相關(guān)文章，出版相應(yīng)的論文集。 IFIP/SEC 主要由 IFIP 信息安全專(zhuān)委會(huì) TC11 負(fù)責(zé)，第一屆IFIP/SEC 信息安全國(guó)際會(huì)議于 1983 年 5 月在瑞典斯德哥爾摩召開(kāi)，每年召開(kāi)一次，到 2020 年已召開(kāi) 24 屆。國(guó)際信息與通信安全會(huì)議 ICICS 是國(guó)內(nèi)信息安全領(lǐng)域的頂級(jí)會(huì)議，也是國(guó)際公認(rèn)的第一流國(guó)際會(huì)議，由中科院軟件研究所主辦。 國(guó)外從事信息安全入侵檢測(cè)研究的主要機(jī)構(gòu)有 ： 喬治敦大學(xué)，普渡大學(xué)COAST 實(shí)驗(yàn)室， SRI 公司計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室 (SRI/CLS )， Haystack 實(shí)驗(yàn)室，加州大學(xué)戴維斯分校，加州大學(xué)圣塔芭芭拉分校，洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室、哥倫比亞大學(xué)、新墨西哥大學(xué)等。國(guó)內(nèi)從事信息安全入侵檢測(cè)研究的主要機(jī)第一章 緒 論 4 構(gòu)有 ： 中科院，國(guó)防科技大學(xué)、哈爾濱工業(yè)大學(xué)、上海交通大學(xué)、北京郵電大學(xué)等。 卿斯?jié)h等人定期會(huì)撰寫(xiě)介紹入侵檢測(cè)研究現(xiàn)狀的文章，發(fā)表在國(guó)內(nèi)權(quán)威期刊上，這對(duì)于國(guó)內(nèi)信息安全研究人員了解相關(guān) 領(lǐng)域的研究動(dòng)態(tài)起了很好的幫助作用。國(guó)外的企業(yè)及其產(chǎn)品有 ： Sourcefire 公司 (現(xiàn)被 Barracuda Networks INC 收購(gòu) )的 Snort， ISS(Inter Security System)公司的 RealSecure， Cisco 公司的 Secure IDS(前身為 NetRanger )， Axent Technologies 公司 (現(xiàn)被Symantec 收購(gòu) )的 Netprowler/Intruder Alert， CA 公司的 SessionWall3/eTrust Intrusion Detection， NFR 公司的 NID， NAI 公司的 C 如 erCop Monitor 等。 經(jīng)過(guò)二十來(lái)年的 研究與發(fā)展，入侵檢測(cè)已經(jīng)從最初簡(jiǎn)單的基于審計(jì)信息的單機(jī)檢測(cè)模式，發(fā)展到以網(wǎng)絡(luò)為平臺(tái)，研究?jī)?nèi)容豐富，涉及領(lǐng)域廣泛的一門(mén)綜合性學(xué)科。 (1)集中式 ： 這種結(jié)構(gòu)的工 DS 可能有多個(gè)分布于不同主機(jī)上的審計(jì)程序，但只有一個(gè)中央入侵檢測(cè)服務(wù)器。 這種結(jié)構(gòu)的 IDS 無(wú)法 適應(yīng)大規(guī)模網(wǎng)絡(luò)環(huán)境，在可伸縮性、可配置性方面存在致命缺陷 ： ①隨著網(wǎng)絡(luò)規(guī)模的增加，導(dǎo)致網(wǎng)絡(luò)性能大大降低。 (2)等級(jí)式 ： 為了克服集中的缺點(diǎn)，等級(jí)式 IDS 被提出來(lái)。 這種結(jié)構(gòu)仍存在兩個(gè)問(wèn)題 ： ①當(dāng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)改變時(shí)，區(qū)域分析結(jié)果的匯總機(jī)制也需要做相應(yīng)的調(diào)整 ； ②這種結(jié) 構(gòu)的 IDS 最后還是要把各地收集到的結(jié)果傳送到最高級(jí)的檢測(cè)服務(wù)器進(jìn)行全局分析，所以系統(tǒng)的安全性并沒(méi)有實(shí)質(zhì)性的改進(jìn)。所以，其可伸縮性、安全性都得到了顯著的提高，但維護(hù)成本卻高了很多，并且增加了所監(jiān)控主機(jī)的工作負(fù)荷，如通信機(jī)制、審計(jì)開(kāi)銷(xiāo)、蹤跡分析等。 網(wǎng)絡(luò)攻擊模型的建模方法主要有四種，分別是攻擊樹(shù)、攻擊網(wǎng)、狀態(tài)轉(zhuǎn)移圖和攻擊圖。早期，攻擊圖由 Red Teams 通過(guò)對(duì)系統(tǒng)的脆弱性分析，手動(dòng)生成，當(dāng)網(wǎng)絡(luò)規(guī)模較大時(shí)，這種方式效率很低。 3)入侵行為特征提取方法研究 數(shù)據(jù)源是入侵檢測(cè)系統(tǒng)的重要模塊，為入侵檢測(cè)提供原始數(shù)據(jù)，面對(duì)網(wǎng)絡(luò)系統(tǒng)中大量的數(shù)據(jù)信息，有效的提取入侵行為的特征對(duì)于入侵檢測(cè)的檢測(cè)率、可靠性及實(shí)時(shí)性都有著重要的 影響。特征提取的目的就是對(duì)這些原始數(shù)據(jù)進(jìn)行分析，提取攻擊特征，通過(guò)適當(dāng)?shù)木幋a將其加入入侵模式庫(kù)。 提取入侵行為的特征，就是對(duì)入侵行為進(jìn)行形式化的描述，對(duì)其進(jìn)行準(zhǔn)確地分類(lèi)。其中基于多屬性的攻擊分類(lèi)方法將攻擊看成是一個(gè)動(dòng)態(tài)的過(guò)程，并將其分解成相互關(guān)聯(lián)的多個(gè)獨(dú)立的階段，再對(duì)每個(gè)階段的屬性進(jìn)行獨(dú)立的描述，具有很好的擴(kuò)展性，能夠全面地、準(zhǔn)確地表述攻擊過(guò)程，得到了廣泛的研究和應(yīng)用。PCA 技術(shù)可以將數(shù)據(jù)從高維數(shù)據(jù)空間變換到低維特征空間，能夠保留屬性中那些最重要的屬性，從而更精確的描 述入侵行為。 4)入侵檢測(cè)方法研究 入侵檢測(cè)方法可以分為兩類(lèi) ： 異常入侵檢測(cè) (Anomaly Detection)、 誤用入侵檢測(cè) (Misuse Detection)和混合型入侵檢測(cè) (Hybrid Detection)。異常檢測(cè)假設(shè) ： 任何對(duì)系統(tǒng)的入侵和誤操作都會(huì)導(dǎo)致系統(tǒng)異常。異常檢測(cè)只能識(shí)別出那些與正常過(guò)程有較大偏差的行為，由于對(duì)各種網(wǎng)絡(luò)環(huán)境的適應(yīng)性不強(qiáng)，且缺乏精確的判定標(biāo)準(zhǔn)，異常檢測(cè)經(jīng)常會(huì)出現(xiàn)誤報(bào)的現(xiàn)象。這種方 法由于依據(jù)具體特征庫(kù)進(jìn)行判斷，所以對(duì)已知的攻擊類(lèi)型非常有效 ；并且因?yàn)闄z測(cè)結(jié)果有明確的參照，也為系統(tǒng)管理員做出相應(yīng)措施提供了方便。 (3)混合型 (Hybrid)IDS： 由于基于誤用的 IDS 和基于異常的 IDS 各有其優(yōu)越性和不足，因而在許多 IDS 中同時(shí)采用了這兩種不同的入侵檢測(cè)方法，這種 IDS稱(chēng)為混合型 IDS。由于異常檢 測(cè)難以克服其局限性，因而許多商用 IDS 基本上采用的都用基于誤用的入侵檢測(cè)方法。 異常入侵檢測(cè)能夠識(shí)別新的入侵行為，具有較低的漏警率，但是卻有很高的誤警率。因此，異常入侵檢測(cè)方法與誤用入侵檢測(cè)方法在功能上是互補(bǔ)的。 混合型入侵檢測(cè)方法綜合了異常和誤用檢測(cè)的優(yōu)點(diǎn)，是目前入侵檢測(cè)研究的重點(diǎn)，其設(shè)計(jì)目標(biāo)是提高入侵檢測(cè)的可靠性、準(zhǔn)確性，降低檢測(cè)的誤警率和漏警率。響應(yīng)機(jī)制根據(jù)入侵檢測(cè)的結(jié)果，采取必要和適當(dāng)?shù)膭?dòng)作，阻止進(jìn)一步的入侵行為或恢復(fù)受損害的系統(tǒng)，同時(shí)對(duì)數(shù)據(jù)源和入侵檢測(cè)的分析引擎產(chǎn)生影響。 (1)被動(dòng)響應(yīng) IDS： 系統(tǒng)檢測(cè)到入侵后，僅僅記錄所檢測(cè)到的異常活動(dòng)信息，并將警報(bào)信息報(bào)告給系統(tǒng)管理員，由系統(tǒng)管理員決定接下來(lái)應(yīng)該采取什么措施。 (2)主動(dòng)響應(yīng) IDS： 系統(tǒng)檢測(cè)到入侵后，采取某種響應(yīng)手段或措施阻塞攻擊的進(jìn)程或者改變受攻擊的網(wǎng)絡(luò)環(huán)境配置，以盡可能減小危害或阻止入侵。 在實(shí)際應(yīng)用中響應(yīng)機(jī)制最重要的要求是在系統(tǒng)被入侵后能及時(shí)進(jìn)行響應(yīng)，如果響應(yīng)不及時(shí)，系統(tǒng)可能已經(jīng)遭到嚴(yán)重的破壞，入侵檢測(cè)將失去意義，這就是實(shí)時(shí)響應(yīng)的要求。 代理技術(shù)的發(fā)展為實(shí)時(shí)響應(yīng)提供了支持，基于分布式智能代理技術(shù)的實(shí)時(shí)響應(yīng)機(jī)制是當(dāng)前研究的重點(diǎn)。 它具有高度的智能化能夠獨(dú)立做出各種決策來(lái)檢測(cè)入侵并消除負(fù)面影響。 6) IDS 標(biāo)準(zhǔn)化 第一章 緒 論 8 隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大，網(wǎng)絡(luò)入侵方式、類(lèi)型及特征日趨多樣化，入侵活動(dòng)變得復(fù)雜而又難以捉摸，某些入侵行為單靠單一的入侵檢測(cè)系統(tǒng)無(wú)法檢測(cè)出來(lái)，需要多種安全措施協(xié)同工作才能有 效保障網(wǎng)絡(luò)系統(tǒng)的安全，這就要求各安全系統(tǒng)之間能夠交換信息，相互協(xié)作，形成一個(gè)整體有效的安全保障系統(tǒng)，這就是入侵檢測(cè)系統(tǒng)的標(biāo)準(zhǔn)化制定。目前入侵檢測(cè)標(biāo)準(zhǔn)化工作取得的成果有 ： DARPA提出的公共入侵檢測(cè)框架 (Common Intrusion Detection Framework， CIDF )和 IDWG 制定的數(shù)據(jù) 格式和交換規(guī)程 。 IDWG 定義了數(shù)據(jù)格式和交換規(guī)程，用于入侵檢測(cè)與響應(yīng)系統(tǒng)之間與需要交互的管理系統(tǒng)之間的信息共享，包括 三 部分 ： 入侵檢測(cè)消息交換格式(IDMEF )、入侵檢測(cè)交換協(xié)議 (IDXP)、隧道輪廓 (Tunnel Profile )。 本文 的主要工作 入侵檢測(cè)在網(wǎng)絡(luò)安全防護(hù)中發(fā)揮著重要的作用，具有重大的研究意義。本文所作的主要工作如下 ： 1)對(duì)入侵檢測(cè)模式匹配算法作了研究，提出了一種改進(jìn)的 ACBM 多模式匹配算法。本文分析了這些問(wèn)題存在的原因，并對(duì)算法作了改進(jìn) ： 首先，將短模式與長(zhǎng)模式分開(kāi)進(jìn)行處理，避免了短模式對(duì)長(zhǎng)模式的影響， 并 通過(guò)直接計(jì)算哈希值的方法來(lái)對(duì)短模式串進(jìn)行匹配，提高了短模式串的匹配速度 ； 最后，采用地址過(guò)濾的方法 避免了鏈表的遍歷，同時(shí)節(jié)省了原有算法中用于計(jì)算前綴哈希值的時(shí)耗；其次，為 進(jìn)一步提高了算法的匹配速度，設(shè)計(jì) MRRT 規(guī)約樹(shù)能支持多第一章 緒 論 9 線(xiàn)程歸約和在線(xiàn)動(dòng)態(tài)調(diào)整，特別適用于大規(guī)模多模式匹配 。 2)基于啟發(fā)式搜索的特征選擇 ，在進(jìn)行模式 分類(lèi)時(shí)，只有特征向量中包含足夠的類(lèi)別信息，分類(lèi)器才能實(shí)現(xiàn)正確分類(lèi)，而特征中是否包含足夠的類(lèi)別信息卻很難確定，為了提高識(shí)別率，我們總是最大限度地提取特征信息，結(jié)果不僅使特征維數(shù)增大，而且其中可能存在較大的相關(guān)性和兀余性，這給特征的進(jìn)一步處理和入侵檢測(cè)模型的實(shí)現(xiàn)都帶來(lái)很大的困難。 2)對(duì) IDS 中的 SVM 分類(lèi)器作了研究，提出了一種基于超球面邊界樣本點(diǎn)篩選算法的 SVM 分類(lèi)器。為了消除離群點(diǎn)并精簡(jiǎn)訓(xùn)練樣本集，考慮到分類(lèi)器的劃分結(jié)果主要由位于兩類(lèi)樣本點(diǎn)邊界處占樣本數(shù)少部分的支持向量決定，本文采用了以下方法對(duì)樣本集進(jìn)行處理 ： 首先采用 KNN 算法對(duì)離群點(diǎn)進(jìn)行消除 ； 然后構(gòu)造以樣本點(diǎn)為球心的超球面，通過(guò)判斷超球面內(nèi)樣本點(diǎn)類(lèi)別的異同來(lái)判斷該作為球心的樣本點(diǎn)是否位于邊界，從而提取邊界樣本點(diǎn)。該分類(lèi)器在異常入侵檢測(cè)中表現(xiàn)出較好的性能。模型 專(zhuān)門(mén) 設(shè)計(jì)了混合 入侵檢測(cè)引擎 ，結(jié)合誤用入侵檢測(cè)和異常入侵檢測(cè)技術(shù)，降低了入侵檢測(cè)的誤警率和漏警率。 本 文 的 組織結(jié)構(gòu) 本文的章節(jié)安排如下 ： 第一章，緒論。 第二章， 入侵檢測(cè)技術(shù)研究綜述 。 第三章， 誤用入侵檢測(cè)中的模式識(shí)別算法研究 。 第四章， 基于啟發(fā)式搜索的特征選擇 。 第五章， 異常入侵檢測(cè)中的 SVM 分類(lèi)器研究 。 第六章，基于啟發(fā)式規(guī)則的混合入侵檢測(cè)模型。 第 七 章，總結(jié)與展望。第二 章 入侵檢測(cè)技術(shù)研究綜述 11 第二 章 入侵檢測(cè)技術(shù)研究綜述 本章綜述了入侵檢測(cè)技術(shù)的發(fā)展歷程，對(duì)現(xiàn)有的入侵檢測(cè)技術(shù)進(jìn)行了分類(lèi)，介紹了入侵檢測(cè)技術(shù)的評(píng)價(jià)指標(biāo)，并以 典型的入侵檢測(cè)技術(shù)為例，分別介紹其技術(shù)要點(diǎn)，指出了它們的優(yōu)缺點(diǎn)。 檢測(cè)技術(shù)的發(fā)展史 早在 20 世紀(jì) 80 年代就已經(jīng)展開(kāi)了對(duì)入侵檢測(cè)技術(shù)的研究，發(fā)展至今已有近 30 年的歷程。 1980 年， James 先生在他的開(kāi)山之作《 Computer Security Threat Monitoring and Surveiliance》 沖首次提出了入侵檢測(cè)的概念，由此開(kāi)始了對(duì)入侵檢測(cè)技術(shù)的研究。這是首次對(duì)入侵的檢測(cè)提出原創(chuàng)性的解決方法，也是日后異常檢測(cè)方法的原型。在這篇文章中將入侵檢測(cè)技術(shù)與加密、認(rèn)證、訪(fǎng)問(wèn)控制等安全技術(shù)相比，肯定了入侵檢測(cè)對(duì)于保證系統(tǒng)安全的重要作用。 1988 年， Denning 博士提出的模型由 SRI International 公司 實(shí)現(xiàn)，稱(chēng)之為入侵檢測(cè)專(zhuān)家系統(tǒng) (Intrusion Detectio