【正文】 無監(jiān)督的異常檢測技術(shù)技術(shù)，這種方法可以在未標記的數(shù)據(jù)上進行，它將相似的數(shù)據(jù)劃分到同一個聚類中，而將不相似的數(shù)據(jù)劃分到不同的聚類，并為這些聚類加以標記表明它們是正常還是異常，然后將網(wǎng)絡數(shù)據(jù)劃分到各個聚類中，根據(jù)聚類的標記來判斷網(wǎng)絡數(shù)據(jù)是否異常。 淺談入侵檢測技術(shù) 目 錄 1 引言 ............................................... 1 入侵檢測技術(shù)的提出 .................................... 1 網(wǎng)絡入侵檢測的研究史 .................................. 4 以 Denning 模型為基礎的早期技術(shù) .................................. 4 中期：以統(tǒng)計學理論與專家系統(tǒng)相結(jié)合 .............................. 5 基于網(wǎng)絡的 NIDS 為主流的入侵檢測 ................................. 5 本課題研究的途徑與意義 .................. 錯誤 !未定義書簽。 2 入侵檢測技術(shù)原理 .......................................................... 7 入侵檢測技術(shù)第一步 —— 信息收集 ................................................ 7 網(wǎng)絡入侵檢測技術(shù)模塊方式 .................................................. 8 主機入侵檢測技術(shù)模塊方式 .................................................. 8 信息來源的四個方面 ........................................................ 8 入侵檢測技術(shù)的第二步 —— 信號分析 ............................................. 10 模式匹配 ................................................................. 11 統(tǒng)計分析 ................................................................. 11 完整性分析 ............................................................... 11 3 入侵檢測技術(shù)功能概要 ..................................................... 12 4 入侵檢測技術(shù)分析 ......................................................... 13 入侵分析按其檢測技術(shù)規(guī)則分類 ................................................. 14 基于特征的檢測技術(shù)規(guī)則 .................................................... 14 基于統(tǒng)計的檢測技術(shù)規(guī)則 .................................................... 14 一些新的分析技術(shù) ............................................................. 14 統(tǒng)計學方法 ............................................................... 14 入侵檢測技術(shù)的軟計算方法 ................................................. 15 基于專家系統(tǒng)的入侵檢測技術(shù)方法 ........................................... 15 5 入侵檢測技術(shù)發(fā)展方向 ..................................................... 16 分布式入侵檢測技術(shù)與通用入侵檢測技術(shù)架構(gòu) ...................................... 16 應用層入侵檢測技術(shù) ............................................................ 16 智能的入侵檢測技術(shù) ............................................................ 17 入侵檢測技術(shù)的評測方法 ........................................................ 17 網(wǎng)絡安全技術(shù) 相結(jié)合 ............................................................ 17 6 建立數(shù)據(jù)分析模型 ......................................................... 18 測試數(shù)據(jù)的結(jié)構(gòu) ................................................................ 18 數(shù)據(jù)中出現(xiàn)的攻擊類型 .......................................................... 21 攻擊（ Attacks） ........................................................... 21 發(fā)現(xiàn)訓練集中的攻擊類型 .................................................... 22 其他主流的攻擊類型 ........................................................ 24 結(jié)論 ..................................................................... 26 致謝 ..................................................................... 27 參考文獻 ................................................................. 28 1 引 言 聚類是模式識別研究中非常有用的一類技術(shù)。 本課題是 網(wǎng)絡入侵檢測技術(shù)的研究，主要介紹模式識別技術(shù)中兩種聚類算法，Kmeans 算法和 迭代最優(yōu)化算法，并闡述此算法在入侵檢測技術(shù)技術(shù)中的應用原理，接著分析這兩種算法具體應用時帶來的利弊，最后針對算法的優(yōu)缺點提出自己改進的算法，并對此算法 進行分析，可以說這種算法是有監(jiān)督和無監(jiān)督方法的結(jié)合，是 Kmeans算法和迭代最優(yōu)化算法的折中，是一種較理想的算法。 2 入侵檢測技術(shù)的發(fā)展史 入侵檢測技術(shù)的提出 隨著 Inter 高速發(fā)展，個人、企業(yè)以及政府部門越來越多地依靠網(wǎng)絡傳遞信息 , 然而網(wǎng)絡的開放性與共享性容易使它受到外界的攻擊與破壞 ,信息的安全保密性受到嚴重影響。在計算機上處理業(yè)務已由 基于單機的數(shù)學運算、文件處理，基于簡單連結(jié)的內(nèi)部網(wǎng)絡的內(nèi)部業(yè)務處理、辦公自動化等發(fā)展到基于企業(yè)復雜的內(nèi)部網(wǎng)、企業(yè)外部網(wǎng)、全球互聯(lián)網(wǎng)的企業(yè)級計算機處理系統(tǒng)和世界范圍內(nèi)的信息共享和業(yè)務處理。但在連結(jié)信息能力、流通能力提高的同時，基于網(wǎng)絡連接的安全問題也日益突出，黑客攻擊日益猖獗，防范問題日趨嚴峻： ● 具 Warroon Research 的調(diào)查， 1997 年世界排名前一千的公司幾乎都曾被黑客闖入。 ● Ernst 和 Young 報告，由于信息安全被竊或濫用，幾乎 80%的大型企業(yè)遭受損失。而據(jù)統(tǒng)計在這整個行動中美國經(jīng)濟共損失了十多億美金。遇襲的網(wǎng)站包括雅虎、亞馬遜和 、 、網(wǎng)上拍賣行 eBay 以及新聞網(wǎng)站 ，估計這些襲擊把Inter 交通拖慢了百分二十。當系統(tǒng)管理員跟蹤時，被其報復。 1996 年，高能所再次遭到 黑客 入侵，私自在高能所主機上建立了幾十個帳戶，經(jīng)追蹤發(fā)現(xiàn)是國內(nèi)某撥號上網(wǎng)的用戶。 進入 1998 年，黑客入侵活動日益猖獗，國內(nèi)各大網(wǎng)絡幾乎都不同程度地遭到黑客的攻擊： 7 月，江西 169 網(wǎng)被黑客攻擊，造成該網(wǎng) 3 天內(nèi)中斷網(wǎng)絡運行 2 次達 30 個小時，工程驗收推遲 20 天；同期，上海某證券系統(tǒng)被黑客入侵； 8 月，印尼事件激起中國黑客集體入侵印尼網(wǎng)點，造成印尼多個網(wǎng)站癱瘓，但與此同時，中國的部分站點 遭到印尼黑客的報復；同期，西安某銀行系統(tǒng)被黑客入侵后，提走 萬元現(xiàn)金； 9 月，揚州某銀行被黑客攻擊，利用虛存帳號提走 26 萬元現(xiàn)金。進入新世紀之后，上述損失將達 2021 億美元以上。防范網(wǎng)絡入侵最常用的方法就是防火墻。它具有簡單實用的特點，并且透明度高，可以在不修改原有網(wǎng)絡應用系統(tǒng)的情況下達到一定的安全要求。首先，入侵者可以找到防火墻的漏洞，繞過防火墻進行攻擊。它所提供的服務方式是要么都拒絕，要么都通過 ,不能檢查出經(jīng)過他的合法流量中是否包含著惡意的入侵代碼，這是遠遠不能滿足用戶復雜的應用要求的。在入侵檢測技術(shù)之前，大量的安全機制都是根據(jù)從主觀的角度設計的 ,他們沒有根據(jù)網(wǎng)絡攻擊的具體行為來決定安全對策，因此，它們對入侵行為的反應非常遲鈍，很難發(fā)現(xiàn)未知的攻擊行為，不能根據(jù)網(wǎng)絡行為的變化來及時地調(diào)整系統(tǒng)的安全策略。 網(wǎng)絡入侵檢測的研究史 審計是最早引入計算機安全領域的概念 ，像存取文件、變更他們的內(nèi)容或分類等的活動都記錄在審計數(shù)據(jù)中，安全管理員、系統(tǒng)操作員和維護人員和普通用戶一樣都要經(jīng)過行為審核。他還提出應該檢查什么、如何分析他、以及如何保護監(jiān)督系統(tǒng)免受攻擊，這成了今天 IDS 研究的核心內(nèi)容。 1980 年，安德森提出了另外一項報告，這次是針對一個空軍客戶，后者使用大型計算機處理大量的機密數(shù) 據(jù)。當一個安全違例發(fā)生或（統(tǒng)計上）反常的事件出現(xiàn)時，就會提醒安全官員。安德森的報告為SRI（ Stanford Research Institute）和 TRW（美國著名的數(shù)據(jù)安全公司）的早期工作提供了藍圖。 以 Denning 模型為基礎的早期技術(shù) 1987年 Denning提出了一種抽象的通用入侵檢測的模型 ,如圖 1所示 .該模型主要由主體、對象、審計記錄、活動簡檔、異常記錄、活動規(guī)則 6 部分組成。 中期：以統(tǒng)計學理論與專家系統(tǒng)相結(jié)合 統(tǒng)計方法：是一種較成熟的入侵檢測方法，它使得入侵檢測系統(tǒng)能夠?qū)W習主體日常駐機構(gòu)行為，將那些與正?；顒又g存在較大統(tǒng)計偏差的活動標志為異常活動。 專家系統(tǒng)：在專家系統(tǒng)中，入侵行為被編碼成專家系統(tǒng)規(guī)則，用這些規(guī)則識別單個審計事件或表示一個入侵行為一系列事件。缺點：使用專家系統(tǒng)來表示一系列規(guī)則不太直觀，規(guī)則更新必須要專家完成。如果在遇到入侵行為后，在統(tǒng)計方法和專家系統(tǒng)的共同作用下，就能夠有效的防止和識別入侵行為。它通常利用一個工作在混雜模式下的網(wǎng)卡來實時監(jiān)視并分析通過網(wǎng)絡的數(shù)據(jù)流，其分析模塊通常使用模式匹配、統(tǒng)計分析等技術(shù)來識別攻擊行為。與 SCANER 收集網(wǎng)絡中的漏洞不同， NIDS 收集的是網(wǎng)絡中的動 態(tài)流量信息。大部分 NIDS 的處理能力還是 100 兆級的，部分 NIDS 已經(jīng)達到 1000 兆級。 1994 年， Mark Crosbie 和 Gene Spafford 建議使用自治代理（ Autonomous Agents ）以便提高 IDS 的可維護性、效率和容錯性，這個思想跟上了計算機科學中其他領域的研究的潮流，比如說軟件代理。 1997 年， CISCO 要求 WheelGroup 公司將入侵檢測技術(shù)與他的路由器結(jié)合。 1996 年的第一次開發(fā)是傳統(tǒng)的基于探測器的 NIDS（網(wǎng)絡入侵檢測技術(shù)系統(tǒng)，監(jiān)視整個網(wǎng)絡段），在 Windows 和 上運行。他對入侵行為具有廣泛的反應能力包括斷開連接、發(fā)送 SNMP 信息、 Email 提醒、運行客戶程序記錄會話內(nèi)容等，并能根據(jù)檢測技術(shù)自動產(chǎn)生審計策略。探測器負責測其所在網(wǎng)段上的數(shù)據(jù)流，進行實時自 動攻擊識別和響應。 3 入侵檢測技術(shù)原理 入侵檢測技術(shù)（ Intrusion Detection）的定