【文章內(nèi)容簡介】 ．．． ．． 244．4．1關(guān)系型數(shù)據(jù)庫轉(zhuǎn)移工具Sqoop ．．244．4．2 NetFlow數(shù)據(jù)的導(dǎo)出 ．25 4．5本章小結(jié) ．．25第五章實(shí)驗(yàn)結(jié)果分析 ．．275．1實(shí)驗(yàn)過程及實(shí)驗(yàn)結(jié)果 ．275．1．1實(shí)驗(yàn)數(shù)據(jù)選擇 275．1．2實(shí)驗(yàn)結(jié)果分析 275．2實(shí)驗(yàn)結(jié)論 ．．32第六章總結(jié)與展望 ．336．1本文創(chuàng)新處 336．2存在的不足與展望 33參考文獻(xiàn) ． 34發(fā)表論文和科研情況說明 ．．380 謝 ． 39
第一章緒論第一章緒論1．1研究背景及研究意義1．1．1研究背景今天，互聯(lián)網(wǎng)已經(jīng)成為人類通信的軸心。新聞、郵件、金融事務(wù)、微博、語音及視頻等正通過Intemet得到R益頻繁的傳播隨著互聯(lián)網(wǎng)的迅猛發(fā)展以及網(wǎng)絡(luò)應(yīng)用的日益增多，在給我們帶來便利的同時(shí)也帶來了新的問題。但是，網(wǎng)絡(luò)中開始出現(xiàn)了各種各樣的異常流量，這些異常流量影響到互聯(lián)網(wǎng)的正常運(yùn)行，而且威脅著網(wǎng)絡(luò)用戶的安全以及正常的使用。隨著人們對網(wǎng)絡(luò)的使用越來越頻繁、對網(wǎng)絡(luò)越來越依賴，網(wǎng)絡(luò)安全成為了人們所關(guān)注的熱點(diǎn)，而網(wǎng)絡(luò)安全也成了網(wǎng)絡(luò)專家學(xué)者們研究的方向。隨著系統(tǒng)的升級與漏洞的修補(bǔ)，入侵主機(jī)進(jìn)而進(jìn)行破壞的病毒攻擊方式在攻擊中所占比例逐漸減少，轉(zhuǎn)而改為惡意的消耗或占用系統(tǒng)或網(wǎng)絡(luò)有限的資源，進(jìn)而破壞系統(tǒng)對外提供服務(wù)的能力。此類攻擊中，比較常見的有拒絕服務(wù)攻擊(Dneial ofService)、分布式拒絕服務(wù)攻擊(Distributed Dneial of Service)、蠕蟲病毒、端口掃描(Port Scanning) 等。顯然，傳統(tǒng)的系統(tǒng)升級無法檢測并預(yù)防此類攻擊。針對這些攻擊，通過檢測網(wǎng)絡(luò)數(shù)據(jù)流來檢測網(wǎng)絡(luò)異常和網(wǎng)絡(luò)攻擊的方法開始出現(xiàn)。通過對網(wǎng)絡(luò)數(shù)據(jù)信息(如流量大小、變化趨勢、以及變化速率)的實(shí)時(shí)檢測，將實(shí)時(shí)采集的網(wǎng)絡(luò)流量信息與歷史記錄模式匹配(判斷是否正常)，或者與異常模式匹配(判斷是否被攻擊)，從而讓網(wǎng)絡(luò)管人員及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中的異常流量并及時(shí)做出反應(yīng)。1．1．2研究意義和目的網(wǎng)絡(luò)中的異常流量影響著人們對于網(wǎng)絡(luò)的正常使用，并且威脅著人們的信息安全。為此Cisco公司提出了NetFlow技術(shù)，NetFlow技術(shù)是一種成熟的流量統(tǒng)計(jì)的解決方案，它的出現(xiàn)使日益增長的流量分析、網(wǎng)絡(luò)監(jiān)控、異常監(jiān)控等各個(gè)方面的要求得到了滿足，已成為IPFIX的參照標(biāo)準(zhǔn)。NetFlow對于流概念的提出使得對于網(wǎng)絡(luò)流量各種粒度的分析成為了可能【21。NetFlow的作用體現(xiàn)各個(gè)方面：實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)狀態(tài)，發(fā)現(xiàn)網(wǎng)絡(luò)擁堵和病毒的攻擊，以提高網(wǎng)絡(luò)的安全性和可靠性，提高用戶網(wǎng)絡(luò)服務(wù)的質(zhì)量；同時(shí)網(wǎng)絡(luò)管理人員也可以利用這些流量數(shù)據(jù)精確地統(tǒng)計(jì)各個(gè)終端用戶的流量情況，為網(wǎng)絡(luò)計(jì)費(fèi)提供依據(jù)。云計(jì)算成為了近年來十分熱門的一個(gè)技術(shù)名詞，越來越多的專家認(rèn)為云計(jì)算的出現(xiàn)會改變互聯(lián)網(wǎng)的技術(shù)基礎(chǔ)，甚至?xí)绊懻麄€(gè)產(chǎn)業(yè)的格局。云計(jì)算作為一種通過通過Intemet以服務(wù)的方式提供動態(tài)可伸縮的虛擬化的資源的計(jì)算模式，越來越多的大型企
第一章緒論業(yè)都在研究云計(jì)算技術(shù)和基于云計(jì)算的服務(wù)?！?。Hadoop是由Apaehe基金會開發(fā)的一個(gè)分布式的系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop允許用戶在不理解分布式開發(fā)編程的基礎(chǔ)上開發(fā)分布式程序H1。Hadoop集群的高速運(yùn)算和存儲為用戶提供了更好的實(shí)現(xiàn)環(huán)境。利用Hadoop搭建云計(jì)算平臺并且將云計(jì)算的優(yōu)勢用于網(wǎng)絡(luò)異常流量的檢測上，那么不僅可以加快檢測速率，還可以利用云存儲實(shí)現(xiàn)NetFlow歷史數(shù)據(jù)的存儲。1．2主要研究內(nèi)容及難點(diǎn)1．2．1主要研究內(nèi)容本文研究的出發(fā)點(diǎn)是結(jié)合目前的研究現(xiàn)狀，測量分析網(wǎng)絡(luò)鏈路上流量的特征，及異常發(fā)生情況下的流量特性分布的變化規(guī)律，并在此基礎(chǔ)上建立相應(yīng)的異常檢測模型，以及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中的異常情況，保持網(wǎng)絡(luò)正常運(yùn)行。我們的研究內(nèi)容分為三個(gè)部分，第一部分提出并應(yīng)用基于包數(shù)據(jù)的流量特征分析方法，分析異常情況下流量特征的變化，建立用于檢測異常的特征分布指標(biāo)；第二部分基于流量特征的分析，提出一個(gè)異常流量的監(jiān)測模型，并將檢測模型適用于MapReduce計(jì)算模型之中；第三部分是基于云計(jì)算建立一個(gè)異常流量檢測系統(tǒng)，將整個(gè)檢測過程適用于該系統(tǒng)之中。其中第一部分流量特性的測量和分析是各種檢測方法的基石，用于指導(dǎo)相關(guān)異常檢測模型的研究，異常檢測模型是在異常流量特征分析基礎(chǔ)上的應(yīng)用研究，具體的研究內(nèi)容包括：目前流量異常檢測領(lǐng)域?qū)Ξ惓Ａ髁刻卣鞣植嫉难芯看蠖嗷诹鲾?shù)據(jù)的分析，一般只分析四種流量特征(源和目的IP地址及端口號)，通常以幾分鐘作為一固定時(shí)間間隔計(jì)算一個(gè)特征熵值，OHNetFlow采集的流數(shù)據(jù)以五分鐘為一個(gè)間隔計(jì)算一個(gè)特征熵值，這樣無法分析小時(shí)間尺度下異常導(dǎo)致流量特征的分布變化情況，如分鐘內(nèi)的特征分布變化情況。本文立足于對包流量數(shù)據(jù)的分析，提出了一種細(xì)粒度的流量特征分析方法，它和目前異常流量的特征分析方法相比有以下幾個(gè)不同特征：(1)把包數(shù)據(jù)以連續(xù)特定的包數(shù)作為一個(gè)包單元進(jìn)行劃分，以包單元為單位計(jì)算流量特征分布值。(2)在分析中加入了新的流量特征(包長)，并且應(yīng)用了新的流量特征的分布指標(biāo)—DFN(Disfinc Feature Number，不同的特征數(shù))來分析流量特征分布在異常情況下的變化。利用一個(gè)十維的異常分析指標(biāo)體系來檢測網(wǎng)絡(luò)中的異常流量。我們通過對包數(shù)據(jù)流量特征的分析，有下面幾個(gè)觀察結(jié)果：(1)在小的時(shí)間尺度下，十維異常分析指標(biāo)在正常的網(wǎng)絡(luò)中保持相對的穩(wěn)定性。(2)在小的時(shí)間尺度下，當(dāng)網(wǎng)絡(luò)中出現(xiàn)異常流量時(shí)，十維異常分析指標(biāo)的穩(wěn)定性遭到破壞，產(chǎn)生不同程度的變化。1．2．2研究難點(diǎn)在本中的研究過程中，主要面臨以下的研究難點(diǎn)：(1)測試與分析的數(shù)據(jù)量大，確定異常網(wǎng)絡(luò)流量的特征及分布指標(biāo)難度大
第一章緒論在整個(gè)科研過程中，由于要分析流量的特征及其異常情況下的分布變化，一個(gè)網(wǎng)絡(luò)或一段時(shí)間的網(wǎng)絡(luò)流量往往并不能說明其通用性，因此，在分析測試過程中，我們收集了天津城市教育網(wǎng)不同時(shí)期的包數(shù)據(jù)流量。在確定新的異常網(wǎng)絡(luò)流量特征及分布指標(biāo)時(shí)，往往需要編寫大量的測試代碼，同時(shí)進(jìn)行大量的測試和分析來選定可用的特征和分布指標(biāo)。另外，在實(shí)驗(yàn)過程中需要手工選定不含異常的流量，部分流量數(shù)據(jù)還需要手工標(biāo)注異常，通常手工選定不含異常的流量和標(biāo)注異常沒有特定的標(biāo)準(zhǔn)，在手工選取不含異常的流量時(shí)，我們通常是以我們的特征分析方法為基準(zhǔn)來選取，而手工標(biāo)注異常時(shí)，一方面以我們的特征分析方法為參考，另一方面要分析流量報(bào)文頭部的各種字段的細(xì)節(jié)信息，來確定異常的情況。(2)缺少網(wǎng)絡(luò)流量中真實(shí)的異常情況，確立檢測指標(biāo)有一定限制本文在做異常檢測時(shí)，所用到的數(shù)據(jù)量非常大，在這么大的流量數(shù)據(jù)中我們無法知道哪些真正的含有異常，哪些是不含異常的，即缺少真實(shí)的異常情況，而一段實(shí)際的網(wǎng)絡(luò)流量中，往往很少存在沒有異?；蚴侵淮嬖谀骋环N異常流量的情況。(3)將云計(jì)算的計(jì)算模型應(yīng)用于異常流量的檢測過程之中將Hadoop@的MapReduce計(jì)算模型用于計(jì)算流量特異常分析指標(biāo)體系是本文的創(chuàng)新點(diǎn)之一，但是如何將算法適用于MapReduce計(jì)算模型以及如何優(yōu)化計(jì)算模型使得計(jì)算簡單而有效亦是難點(diǎn)之一。1．2．3本文組織結(jié)構(gòu)介紹本文共分六章，各章內(nèi)容如下：第一章緒論介紹的是本文的研究背景、目的和意義以及研究的主要內(nèi)容和難點(diǎn)。第二章介紹的是異常流量的分類內(nèi)容，傳統(tǒng)的檢測方法以及NetFlow的相關(guān)內(nèi)容。第三章介紹基于MapReduce的異常流量檢測算法。第四章是本文的重點(diǎn)，介紹了基于云計(jì)算的異常流量檢測系統(tǒng)的實(shí)現(xiàn)以及系統(tǒng)的檢測流程。第五章是對結(jié)果進(jìn)行分析并提出實(shí)驗(yàn)結(jié)論。通過對于采集的真實(shí)流量進(jìn)行分析比對，檢測算法的有效性。第六章對全文進(jìn)行總結(jié)，在此基礎(chǔ)上對一些有待進(jìn)一步解決的問題進(jìn)行了討論。
第二章異常流量第二章異常流量本章主要介紹關(guān)于異常流量和Netflow的相關(guān)知識。首先介紹網(wǎng)絡(luò)中異常流量的定義、形成原因以及現(xiàn)有的異常流量的檢測技術(shù)，然后介紹NetFlow的定義以及在本文中所使用的數(shù)據(jù)格式及版本等相關(guān)知識。最后通過介紹NetFlow在異常流量檢測中的優(yōu)勢，利用NetFlow檢測網(wǎng)絡(luò)中的異常流量。2．1異常流量2．1．1異常流量定義網(wǎng)絡(luò)異常是指造成數(shù)據(jù)私密性、完整性、可用性遭到破壞或影響網(wǎng)絡(luò)性能的事件，即網(wǎng)絡(luò)管理員所關(guān)心的網(wǎng)絡(luò)中的“不尋?！钡氖录唧w到網(wǎng)絡(luò)流量，即指網(wǎng)絡(luò)流量行為偏離其正常行為的情況[168?！?。網(wǎng)絡(luò)流量異常引起的原因很多，從網(wǎng)絡(luò)操作錯(cuò)誤、不尋常用戶行為到網(wǎng)絡(luò)濫用和軟件BUG等等。我們按引起異常的原因把異常分為三類：1) 操作異常；2)網(wǎng)絡(luò)濫用異常：3)非正常用戶行為。2．1．2異常原因劃分(1)操作異常 網(wǎng)絡(luò)操作事件異常源于災(zāi)害事件和人們的錯(cuò)誤操作，比如網(wǎng)絡(luò)設(shè)備的停機(jī)，鏈路的破壞，錯(cuò)誤配置或配置改變導(dǎo)致網(wǎng)絡(luò)行為的顯著不同(outrage events，女llprefix，link outrage)，網(wǎng)絡(luò)運(yùn)行的錯(cuò)誤管理，人為的網(wǎng)絡(luò)設(shè)備資源的消耗等等。它們通過流量變化
的陡峭程度可以直觀的分辨出來。這類異常的顯著特征是會使流量在瞬間產(chǎn)生很大的變化，而在其他正常時(shí)間上卻是相對穩(wěn)定的。(2)網(wǎng)絡(luò)濫用異常 網(wǎng)絡(luò)濫用是指用戶惡意引起的異常，其行為違反了網(wǎng)絡(luò)的私密性、完整性、可用性原則。網(wǎng)絡(luò)濫用是目前最為常見的一種造成異常流量的原因，其對網(wǎng)絡(luò)造成嚴(yán)重的威脅，并且有增無減、變得更加復(fù)雜和有害。下面列舉了一些常見的網(wǎng)絡(luò)濫用異常。DoS／DDoS攻擊DoS的攻擊目標(biāo)是引起合法用戶對享用服務(wù)或資源的拒絕訪問【10】。DoS攻擊分兩類，一類是利用系統(tǒng)漏洞發(fā)送惡意數(shù)據(jù)報(bào)文破壞系統(tǒng)，另～類是發(fā)送大量的無用流量，使其搶占系統(tǒng)的資源進(jìn)而影響了正常的服務(wù)。DOS攻擊來源于很多主機(jī)時(shí)，DoS攻擊就變成了DDoS攻擊。目前DoS／DDoS更為復(fù)雜的攻擊是利用大量的“肉機(jī)”(zombie)，構(gòu)成Botnet，利用這些僵尸工具進(jìn)行DDoS攻擊。大致分為下面幾種攻擊方式：[1]基于網(wǎng)絡(luò)協(xié)議的攻擊：主要是利用協(xié)議的漏洞進(jìn)行攻擊，如常見的SYN FLOOD，
第二章異常流量lCMP F。LooD：[2】基于應(yīng)用的攻擊：利用應(yīng)用層協(xié)議讓被攻擊對象執(zhí)行一些操作大量消耗其資源，如H1vrP FLOOD，SIP FLOOD等；[3】分布式反射DOS攻擊(DI①oS)：這種攻擊的主要目的是利用第三方(路由器或服務(wù)器)來中轉(zhuǎn)攻擊流量，從而達(dá)到隱藏真正的攻擊源的目的，女I：IDNS放大攻擊。蠕蟲(Worms)蠕蟲是指利用主機(jī)漏洞在網(wǎng)絡(luò)中主動傳播的能自我復(fù)制的程序，潛在的危害每臺感染的主機(jī)【111。蠕蟲近些年已經(jīng)導(dǎo)致了廣泛的破壞，例如，Code Red感染了大約360，000臺主機(jī)【I21， Nimda危害了超過2百萬臺主機(jī)，并且蠕蟲傳播的速度越來越快。Weaver等 J提供了蠕蟲的分類學(xué)，大致將蠕蟲分為下面幾類：[1]傳統(tǒng)蠕蟲：不需用戶干預(yù)直接利用網(wǎng)絡(luò)進(jìn)行傳播，如Slamm—B】；【2]電子郵件或其他客戶端應(yīng)用蠕蟲：通過利用電子郵件或其他的網(wǎng)絡(luò)應(yīng)用程序(如ICQ．”I seek you”)來感染網(wǎng)絡(luò)上的主機(jī)，女NMelissa wornl【14】；
【3】Windows文件共享蠕蟲：利用微軟Windows的端到端服務(wù)進(jìn)行復(fù)制傳播，ExploreZip[1 S]；【4】混合蠕蟲：通常利用多種途徑進(jìn)行復(fù)制傳播，如Nimda【l 61。掃描(Scan)這種攻擊通過掃描網(wǎng)絡(luò)識別主機(jī)的IP地址并且收集相關(guān)信息用于以后給攻擊者提供存在潛在漏洞的機(jī)器和服務(wù)列表。常見的OHIpsweep用于掃描網(wǎng)絡(luò)中主機(jī)的特定服務(wù)端口，portsweep掃描單臺主機(jī)的許多端口用于確定該主機(jī)可以提供的服務(wù)類型，nmap用于做網(wǎng)絡(luò)映射的掃描工具等等。掃描通常是其它攻擊手段的先驅(qū)，目前檢測掃描的常用手段是查找在T秒建立N次連接的IP地址，但這種方案不易檢測“slow／stealthy”掃描，對于這類掃描，近年有一些基于統(tǒng)計(jì)的方案被提出【171 91。系統(tǒng)攻占(Compromise)這類攻擊利用已知的系統(tǒng)漏洞如緩沖區(qū)溢出【20】來攻入系統(tǒng)獲得訪問主機(jī)的特權(quán)。依據(jù)攻擊來源分為下面兩種：[1】R2L(Remote to Local)攻擊：遠(yuǎn)程攻擊者通過向本地主機(jī)發(fā)送報(bào)文獲得主機(jī)的訪問或控制權(quán)。通常這樣的攻擊通過猜測用戶密碼(!tHguest and dictionary attack)或利用軟件的漏洞(女Hphfat