【正文】 m 和 Sense，分別由 Los Alamos 和 OakRidge 開發(fā)，是另一個(gè)專家系統(tǒng)和統(tǒng)計(jì)學(xué)分析方法的混合。他使用非參量的統(tǒng)計(jì)技術(shù)從歷史審計(jì)數(shù)據(jù)中產(chǎn)生規(guī)則。就像很多其他機(jī)器學(xué)習(xí)方法一樣，他也遇到了很多問題，包括獲取訓(xùn)練數(shù)據(jù)的困難、高的誤報(bào)率和規(guī)則庫對存儲能力的過高需求。 直到那時(shí)， IDS 系統(tǒng)仍舊依靠受保護(hù)主機(jī)收集的審計(jì)數(shù)據(jù)，但加州大學(xué)戴維斯分校開發(fā)的網(wǎng)絡(luò)系統(tǒng)監(jiān)控器 —— NSM（ The Network System Monitor）改變了這個(gè)狀況。 NSM 在入侵檢測技術(shù)技術(shù)發(fā)展史上是繼 IDES 之后的又一個(gè)里程碑，他監(jiān)控以太網(wǎng)段上的網(wǎng)絡(luò)流量，并把他作為分析的主要數(shù)據(jù)源。從當(dāng)時(shí)的檢測技術(shù)報(bào)告上可以看到， NSM 檢測技術(shù)了超過 100 000 的網(wǎng)絡(luò)連接，并從中識別出超過 300 個(gè)入侵。今天，大部分商業(yè) IDS 系統(tǒng)直接使用從網(wǎng)絡(luò)探測的數(shù)據(jù)作為他們主要，甚至是惟一的數(shù)據(jù)源。 基 于網(wǎng)絡(luò)的 NIDS 是目前的主流技術(shù) 1994 年， Mark Crosbie 和 Gene Spafford 建議使用自治代理（ Autonomous Agents）以便提高 IDS 的可伸縮性、可維護(hù)性、效率和容錯(cuò)性，這個(gè)思想跟上了計(jì)算機(jī)科學(xué)中其他領(lǐng)域的研究的潮流，比如說軟件代理。另一個(gè)解決當(dāng)時(shí)多數(shù) 入 侵 檢 測 技 術(shù) 系 統(tǒng) 伸 縮 性 不 足 的 研 究 成 果 是 1996 年 提 出 的GRIDS(Graphbased Intrusion Detection System）系統(tǒng)，該系統(tǒng)對大規(guī)模自動或協(xié)同攻擊的檢測技術(shù)很有效，這種跨越多個(gè)管理區(qū)域的自動協(xié)同攻 擊顯然是入侵行為發(fā)展的方向。 1997 年， CISCO 要求 WheelGroup 公司將入侵檢測技術(shù)與他的路由器結(jié)合。同年， ISS 成功開發(fā)了 RealSecure，他是在 Windows NT 下運(yùn)行的分布式網(wǎng)絡(luò)入侵檢測技術(shù)系統(tǒng)，被人們廣泛使用。 1996 年的第一次開發(fā)是傳統(tǒng)的基于探測器的 NIDS（網(wǎng)絡(luò)入侵檢測技術(shù)系統(tǒng)，監(jiān)視整個(gè)網(wǎng)絡(luò)段），在 Windows和 Solaris 2． 6 上運(yùn)行。 1998 年后期， RealSecure 發(fā)展成為一個(gè)混合式的入侵檢測技術(shù) 第 8 頁 共 35 頁 系統(tǒng)。他對入侵行為具有廣泛的反應(yīng)能力包括斷開連接、發(fā)送 SNMP 信 息、 Email提醒、運(yùn)行客戶程序記錄會話內(nèi)容等，并能根據(jù)檢測技術(shù)自動產(chǎn)生審計(jì)策略。 NIDS 系統(tǒng)由安全控制中心和多個(gè)探測器組成。安全控制中心完成整個(gè)分布式安全監(jiān)測預(yù)警系統(tǒng)的管理與配置。探測器負(fù)責(zé)監(jiān)測其所在網(wǎng)段上的數(shù)據(jù)流，進(jìn)行實(shí)時(shí)自動攻擊識別和響應(yīng) 。 近年來的技術(shù)創(chuàng)新還有： Forrest 將免疫原理運(yùn)用到分布式入侵檢測技術(shù)中； 1998 年 Ross Anderson 和 AbidaKhattk 將信息檢索技術(shù)引入這個(gè)領(lǐng)域。 本課題研究的途徑與意義 聚類是模式識別研究中非常有用的一類技術(shù)。用聚類算法的異常檢測 技術(shù)就是一種無監(jiān)督的異常檢測技術(shù)技術(shù)，這種方法可以在未標(biāo)記的數(shù)據(jù)上進(jìn)行，它將相似的數(shù)據(jù)劃分到同一個(gè)聚類中，而將不相似的數(shù)據(jù)劃分到不同的聚類，并為這些聚類加以標(biāo)記表明它們是正常還是異常，然后將網(wǎng)絡(luò)數(shù)據(jù)劃分到各個(gè)聚類中，根據(jù)聚類的標(biāo)記來判斷網(wǎng)絡(luò)數(shù)據(jù)是否異常。 本課題是 網(wǎng)絡(luò)入侵檢測技術(shù)的研究，主要介紹模式識別技術(shù)中兩種聚類算法， Kmeans 算法和 迭代最優(yōu)化算法，并闡述此算法在入侵檢測技術(shù)技術(shù)中的應(yīng)用原理，接著分析這兩種算法具體應(yīng)用時(shí)帶來的利弊，最后針對算法的優(yōu)缺點(diǎn)提出自己改進(jìn)的算法，并對此算法進(jìn)行分析， 可以說這 種算法是有監(jiān)督和無監(jiān)督方法的結(jié)合，是 Kmeans 算法和迭代最優(yōu)化算法的折中，是一種較理想的算法。 通過研究本課題，可以了解入侵檢測技術(shù)技術(shù)的發(fā)展歷程，及國內(nèi)外研究水平的差距，熟悉各種 入侵檢測技術(shù)原理方法的異同，以便今后對某種檢測技術(shù)方法作進(jìn)一步的改進(jìn)時(shí)能夠迅速切入要點(diǎn)；在對入侵檢測技術(shù)技術(shù)研究的同時(shí)，認(rèn)真學(xué)習(xí)了模式識別這門課程，這是一門交叉學(xué)科， 模式識別已經(jīng)在衛(wèi)星航空圖片解釋、工業(yè)產(chǎn)品檢測技術(shù)、字符識別、語音識別、指紋識別、醫(yī)學(xué)圖像分析等許多方面得到了成功的應(yīng)用 ，但 所有這些應(yīng)用都是和問題的性質(zhì)密不可分的， 學(xué)習(xí)過程中 接觸了許多新理論和新方法，其中包括數(shù)據(jù)挖掘，統(tǒng)計(jì)學(xué)理論和支持向量 第 9 頁 共 35 頁 機(jī)等，極大的拓展了自己的知識面，這所帶來的收獲已經(jīng)不僅僅停留在對入侵檢測技術(shù)技術(shù)研究這個(gè)層面上。 2 入侵檢測技術(shù)原理 入侵檢測技術(shù)（ Intrusion Detection）的定義為：識別針對計(jì)算機(jī)或網(wǎng)絡(luò)資源的惡意企圖和行為，并對此 做 出反應(yīng)的過程。 IDS 則是完成如上功能的獨(dú)立系統(tǒng)。 IDS 能夠檢測技術(shù)未授權(quán)對象（人或程序）針對系統(tǒng)的入侵企圖或行為(Intrusion)，同時(shí)監(jiān)控授權(quán)對象對系統(tǒng)資源的非法操作 (Misuse)。 入侵檢測技術(shù)作為 一種積極主動的安全防護(hù)技術(shù)，提供了對內(nèi)部攻擊、外部攻擊和誤操作的實(shí)時(shí)保護(hù)，在網(wǎng)絡(luò)系統(tǒng)受到危害之前攔截和響應(yīng)入侵。入侵檢測技術(shù)系統(tǒng)能很好的彌補(bǔ)防火墻的不足，從某種意義上說是防火墻的補(bǔ)充 ，幫助系統(tǒng)對付網(wǎng)絡(luò)攻擊，擴(kuò)展了系統(tǒng)管理員的安全管理能力（包括安全審計(jì)、監(jiān)視、進(jìn)攻識別和響應(yīng)），提高了信息安全基礎(chǔ)結(jié)構(gòu)的完整性。它從計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中的若干關(guān)鍵點(diǎn)收集信息，并分析這些信息，看看網(wǎng)絡(luò)中是否有違反安全策略的行為和遭到襲擊的跡象。入侵檢測技術(shù)被認(rèn)為是防火墻之后的第二道安全閘門，在不影響網(wǎng)絡(luò)性能的情況下能對網(wǎng)絡(luò)進(jìn)行監(jiān)測，從而 提供對內(nèi)部攻擊、外部攻擊和誤操作的實(shí)時(shí)保護(hù)。這些都通過它執(zhí)行以下任務(wù)來實(shí)現(xiàn)： ◆ 監(jiān)視、分析用戶及系統(tǒng)活動； ◆ 系統(tǒng)構(gòu)造和弱點(diǎn)的審計(jì)； ◆ 識別反映已知進(jìn)攻的活動模式并向相關(guān)人士報(bào)警； ◆ 異常行為模式的統(tǒng)計(jì)分析； ◆ 評估重要系統(tǒng)和數(shù)據(jù)文件的完整性； ◆ 操作系統(tǒng)的審計(jì)跟蹤管理，并識別用戶違反安全策略的行為。 對一個(gè)成功的入侵檢測技術(shù)系統(tǒng)來講，它不但可使系統(tǒng)管理員時(shí)刻了解網(wǎng)絡(luò)系統(tǒng)（包括程序、文件和硬件設(shè)備等）的任何變更，還能給網(wǎng)絡(luò)安全策略的制訂提供指南。更為重要的 一點(diǎn)是，它應(yīng)該管理、配置簡單，從而使非專業(yè)人員非常容易地獲得網(wǎng)絡(luò)安全。而且，入侵檢測技術(shù)的規(guī)模還應(yīng)根據(jù)網(wǎng)絡(luò)威脅、系統(tǒng)構(gòu)造和安全需求的改變而改變。入侵檢測技術(shù)系統(tǒng)在發(fā)現(xiàn)入侵后，會及時(shí) 做 出響應(yīng)，包括切斷網(wǎng)絡(luò)連接、記錄事件和報(bào)警等。 入侵檢測技術(shù)第一步 —— 信息收集 在現(xiàn)實(shí)生活中，警察要證明罪犯有罪，必須先收集證據(jù)。只有掌握了充足的證據(jù)，才能順利破案。 IDS 也是一樣。一般來說， IDS 通過 2 種方式獲得信息 ： 第 10 頁 共 35 頁 網(wǎng)絡(luò)入侵檢測技術(shù)模塊方式 當(dāng)一篇文章從網(wǎng)絡(luò)的一端傳向另一端時(shí)，是被封裝成一個(gè)個(gè)小包 (叫做報(bào) 文 )來傳送的。每個(gè)包包括了文章中的一段文字，在到達(dá)另一端之后，這些包再被組裝起來。因此，我們可以通過檢測技術(shù)網(wǎng)絡(luò)中的報(bào)文來達(dá)到獲得信息的目的。一般來說，檢測技術(shù)方式只能夠檢測技術(shù)到本機(jī)的報(bào)文，為了監(jiān)視其他機(jī)器的報(bào)文，需要把網(wǎng)卡設(shè)置為混雜模式。通過在網(wǎng)絡(luò)中放置一塊入侵檢測技術(shù)模塊，我們可以監(jiān)視受保護(hù)機(jī)器的數(shù)據(jù)報(bào)文。在受保護(hù)的機(jī)器將要受到攻擊之前，入侵檢測技術(shù)模塊可最先發(fā)現(xiàn)它。 實(shí)際應(yīng)用中網(wǎng)絡(luò)結(jié)構(gòu)千差萬別，用戶只有根據(jù)具體情況分別設(shè)計(jì)實(shí)施方案，才能讓網(wǎng)絡(luò)入侵檢測技術(shù)模塊檢測技術(shù)到需要保護(hù)機(jī)器的狀況。同時(shí)，網(wǎng)絡(luò) 入侵檢測技術(shù)模塊得到的只是網(wǎng)絡(luò)報(bào)文，獲得的信息沒有主機(jī)入侵檢測技術(shù)模塊全面，所檢測技術(shù)的結(jié)果也沒有主機(jī)入侵檢測技術(shù)模塊準(zhǔn)確。網(wǎng)絡(luò)入侵檢測技術(shù)模塊方式的優(yōu)點(diǎn)是方便，不增加受保護(hù)機(jī)器的負(fù)擔(dān)。在網(wǎng)段中只要安裝一臺網(wǎng)絡(luò)入侵檢測技術(shù)模塊即可。 主機(jī)入侵檢測技術(shù)模塊方式 另外一種獲取信息的方式是主機(jī)入侵檢測技術(shù)模塊方式。它是在受保護(hù)的機(jī)器上安裝了主機(jī)入侵檢測技術(shù)模塊，專門收集受保護(hù)機(jī)器上的信息。其信息來源可以是系統(tǒng)日志和特定應(yīng)用程序日志，也可以是捕獲特定的進(jìn)程和系統(tǒng)調(diào)用等等。 采用主機(jī)入侵檢測技術(shù)模塊 方式的缺點(diǎn)是依賴特定的系統(tǒng)平臺。用戶必須針對不同的操作系統(tǒng)開發(fā)相應(yīng)的模塊。由于一個(gè)網(wǎng)絡(luò)中有多種不同的操作系統(tǒng)，很難保證每個(gè)操作系統(tǒng)都有對應(yīng)的主機(jī)入侵檢測技術(shù)模塊，而一個(gè)主機(jī)入侵檢測技術(shù)模塊只能保護(hù)本機(jī)，所以在使用上有很大的局限性。此外，它要求在每個(gè)機(jī)器上安裝，如果裝機(jī)數(shù)量大時(shí)，對用戶來說，是一筆很大的投入。不過，這種模式不受網(wǎng)絡(luò)結(jié)構(gòu)的限制，在使用中還能夠利用操作系統(tǒng)的資源，以更精確地判斷出入侵行為。 在具體應(yīng)用中，以上 2 種獲得信息的方式是互為補(bǔ)充的。 信息來源的四個(gè)方面 第 11 頁 共 35 頁 就 信息收集 來說 ，內(nèi)容包 括系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)及用戶活動的狀態(tài)和行為。而且，需要在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中的若干不同關(guān)鍵點(diǎn)（不同網(wǎng)段和不同主機(jī)）收集信息，這除了盡可能擴(kuò)大檢測技術(shù)范圍的因素外，還有一個(gè)重要的因素就是從一個(gè)源來的信息有可能看不出疑點(diǎn)，但從幾個(gè)源來的信息的不一致性卻是可疑行為或入侵的最好標(biāo)識。 當(dāng)然，入侵檢測技術(shù)很大程度上依賴于收集信息的可靠性和正確性，因此，很有必要只利用 當(dāng)前 的 優(yōu)秀 軟件來報(bào)告這些信息。因?yàn)楹诳徒?jīng)常替換軟件以搞混和移走這些信息，例如替換被程序調(diào)用的子程序、庫和其它工具。黑客對系統(tǒng)的修改可能使系統(tǒng)功能失常并 看起來跟正常的一樣，而實(shí)際上不是。例如， unix系統(tǒng)的 PS 指令可以被替換為一個(gè)不顯示侵入過程的指令，或者是編輯器被替換成一個(gè)讀取不同于指定文件的文件（黑客隱藏了初試文件并用另一版本代替）。這需要保證用來檢測技術(shù)網(wǎng)絡(luò)系統(tǒng)的軟件的完整性，特別是入侵檢測技術(shù)系統(tǒng)軟件本身應(yīng)具有相當(dāng)強(qiáng)的堅(jiān)固性，防止被篡改而收集到錯(cuò)誤的信息。 入侵檢測技術(shù)利用的信息一般來自以下四個(gè)方面 ： 1）系統(tǒng)和網(wǎng)絡(luò)日志文件 黑客經(jīng)常在系統(tǒng)日志文件中留下他們的蹤跡，因此，充分利用系統(tǒng)和網(wǎng)絡(luò)日志文件信息是檢測技術(shù)入侵的必要條件。日志中包含發(fā)生在 系統(tǒng)和網(wǎng)絡(luò)上的不尋常和不期望活動的證據(jù)，這些證據(jù)可以指出有人正在入侵或已成功入侵了系統(tǒng)。通過查看日志文件，能夠發(fā)現(xiàn)成功的入侵或入侵企圖，并很快地啟動相應(yīng)的應(yīng)急響應(yīng)程序。日志文件中記錄了各種行為類型，每種類型又包含不同的信息，例如記錄“ 用戶活動 ” 類型的日志，就包含登錄、用戶 ID 改變、用戶對文件的訪問、授權(quán)和認(rèn)證信息等內(nèi)容。很顯然地，對用戶活動來講，不正常的或不期望的行為就是重復(fù)登錄失敗、登錄到不期望的位置以及非授權(quán)的企圖訪問重要文件等等。 2）目錄和文件中的不期望的改變 網(wǎng)絡(luò)環(huán)境中的文件系統(tǒng)包含很多軟件和 數(shù)據(jù)文件，包含重要信息的文件和私有數(shù)據(jù)文件經(jīng)常是黑客修改或破壞的目標(biāo)。目錄和文件中的不期望的改變（包括修改、創(chuàng)建和刪除），特別是那些正常情況下限制訪問的，很可能就是一種入侵產(chǎn)生的 第 12 頁 共 35 頁 指示和信號。黑客經(jīng)常替換、修改和破壞他們獲得訪問權(quán)的系統(tǒng)上的文件，同時(shí)為了隱藏系統(tǒng)中他們的表現(xiàn)及活動痕跡，都會盡力去替換系統(tǒng)程序或修改系統(tǒng)日志文件。 3）程序執(zhí)行中的不期望行為 網(wǎng)絡(luò)系統(tǒng)上的程序執(zhí)行一般包括操作系統(tǒng)、網(wǎng)絡(luò)服務(wù)、用戶起動的程序和特定目的的應(yīng)用，例如數(shù)據(jù)庫服務(wù)器。每個(gè)在系統(tǒng)上執(zhí)行的程序由一到多個(gè)進(jìn)程來實(shí)現(xiàn)。每個(gè)進(jìn)程執(zhí) 行在具有不同權(quán)限的環(huán)境中，這種環(huán)境控制著進(jìn)程可訪問的系統(tǒng)資源、程序和數(shù)據(jù)文件等。一個(gè)進(jìn)程的執(zhí)行行為由它運(yùn)行時(shí)執(zhí)行的操作來表現(xiàn)，操作執(zhí)行的方式不同，它利用的系統(tǒng)資源也就不同。操作包括計(jì)算、文件傳輸、設(shè)備和其它進(jìn)程，以及與網(wǎng)絡(luò)間其它進(jìn)程的通訊。 一個(gè)進(jìn)程出現(xiàn)了不期望的行為可能表明黑客正在入侵你的系統(tǒng)。黑客可能會將程序或服務(wù)的運(yùn)行分解，從而導(dǎo)致它失敗，或者是以非用戶或管理員意圖的方式操作。 4）物理形式的入侵信息 這包括兩個(gè)方面的內(nèi)容，一是未授權(quán)的對網(wǎng)絡(luò)硬件連接；二是對物理資源的未授權(quán)訪問。黑客會想方設(shè)法去 突破網(wǎng)絡(luò)的周邊防衛(wèi)，如果他們能夠在物理上訪問內(nèi)部網(wǎng)，就能安裝他們自己的設(shè)備和軟件。依此，黑客就可以知道網(wǎng)上的由用戶加上去的不安全（未授權(quán)）設(shè)備，然后利用這些設(shè)備訪問網(wǎng)絡(luò)。例如，用戶在家里可能安裝 Modem 以訪問遠(yuǎn)程辦公室，與此同時(shí)黑客正在利用自動工具來識別在公共電話線上的 Modem，如果一撥號訪問流量經(jīng)過了這些自動工具，那么這一撥號訪問就成為了威脅網(wǎng)絡(luò)安全的后門。黑客就會利用這個(gè)后門來訪問內(nèi)部網(wǎng)，從而越過了內(nèi)部網(wǎng)絡(luò)原有的防護(hù)措施，然后捕獲網(wǎng)絡(luò)流量，進(jìn)而攻擊其它系統(tǒng)，并偷取敏感的私有信息等等。 入侵 檢測技術(shù)的第二步 —— 信號分析 當(dāng)收集到證據(jù)后，用戶如何判斷它是否就是入侵呢？一般來說， IDS 有一個(gè)知識庫，知識庫記錄了特定的安全策略。 IDS 獲得信息后，與知識庫中的安全策略進(jìn)行比較，進(jìn)而發(fā)現(xiàn)違反規(guī)定的安全策略的行為。 第 13 頁 共 35 頁 定義知識庫有很多種方式，最普遍的做法是檢測技術(shù)報(bào)文中是否含有攻擊特征。知識庫給出何種報(bào)文是攻擊的定義。這種方式的實(shí)現(xiàn)由簡單到復(fù)雜分了幾個(gè)層次，主要差別在于檢測技術(shù)的準(zhǔn)確性和效率上。簡單的實(shí)現(xiàn)方法是把攻擊特征和報(bào)文的數(shù)據(jù)進(jìn)行了字符串比較，發(fā)現(xiàn)匹配即報(bào)警。這種做法使準(zhǔn)確性和工作效率大為降低。為此， 開發(fā)人員還有很多工作要做，如進(jìn)行校驗(yàn)和檢查，進(jìn)行 IP碎片重組或 TCP 重組，實(shí)現(xiàn)協(xié)議解碼等等