【正文】 病毒／木馬病毒是指通過(guò)把它們附加到其它程序中能自我復(fù)制的程序，病毒的傳播不同于蠕蟲(chóng)，病毒通常需要人工的干預(yù)(如通過(guò)硬件設(shè)備復(fù)制文件，打開(kāi)電子郵件等)來(lái)實(shí)旌傳播。通常這樣的攻擊通過(guò)猜測(cè)用戶密碼(!tHguest and dictionary attack)或利用軟件的漏洞(女Hphfattack)；[2】U2R(User to Root)攻擊：本地普通用戶通過(guò)系統(tǒng)漏洞進(jìn)行攻擊從而成為root用戶。系統(tǒng)攻占(Compromise)這類攻擊利用已知的系統(tǒng)漏洞如緩沖區(qū)溢出【20】來(lái)攻入系統(tǒng)獲得訪問(wèn)主機(jī)的特權(quán)。常見(jiàn)的OHIpsweep用于掃描網(wǎng)絡(luò)中主機(jī)的特定服務(wù)端口，portsweep掃描單臺(tái)主機(jī)的許多端口用于確定該主機(jī)可以提供的服務(wù)類型，nmap用于做網(wǎng)絡(luò)映射的掃描工具等等。Weaver等 J提供了蠕蟲(chóng)的分類學(xué)，大致將蠕蟲(chóng)分為下面幾類：[1]傳統(tǒng)蠕蟲(chóng)：不需用戶干預(yù)直接利用網(wǎng)絡(luò)進(jìn)行傳播，如Slamm—B】；【2]電子郵件或其他客戶端應(yīng)用蠕蟲(chóng)：通過(guò)利用電子郵件或其他的網(wǎng)絡(luò)應(yīng)用程序(如ICQ．”I seek you”)來(lái)感染網(wǎng)絡(luò)上的主機(jī)，女NMelissa wornl【14】；
【3】Windows文件共享蠕蟲(chóng)：利用微軟Windows的端到端服務(wù)進(jìn)行復(fù)制傳播，ExploreZip[1 S]；【4】混合蠕蟲(chóng)：通常利用多種途徑進(jìn)行復(fù)制傳播，如Nimda【l 61。蠕蟲(chóng)(Worms)蠕蟲(chóng)是指利用主機(jī)漏洞在網(wǎng)絡(luò)中主動(dòng)傳播的能自我復(fù)制的程序，潛在的危害每臺(tái)感染的主機(jī)【111。大致分為下面幾種攻擊方式：[1]基于網(wǎng)絡(luò)協(xié)議的攻擊：主要是利用協(xié)議的漏洞進(jìn)行攻擊，如常見(jiàn)的SYN FLOOD，
第二章異常流量lCMP F。DOS攻擊來(lái)源于很多主機(jī)時(shí)，DoS攻擊就變成了DDoS攻擊。DoS／DDoS攻擊DoS的攻擊目標(biāo)是引起合法用戶對(duì)享用服務(wù)或資源的拒絕訪問(wèn)【10】。網(wǎng)絡(luò)濫用是目前最為常見(jiàn)的一種造成異常流量的原因，其對(duì)網(wǎng)絡(luò)造成嚴(yán)重的威脅，并且有增無(wú)減、變得更加復(fù)雜和有害。這類異常的顯著特征是會(huì)使流量在瞬間產(chǎn)生很大的變化，而在其他正常時(shí)間上卻是相對(duì)穩(wěn)定的。2．1．2異常原因劃分(1)操作異常 網(wǎng)絡(luò)操作事件異常源于災(zāi)害事件和人們的錯(cuò)誤操作，比如網(wǎng)絡(luò)設(shè)備的停機(jī)，鏈路的破壞，錯(cuò)誤配置或配置改變導(dǎo)致網(wǎng)絡(luò)行為的顯著不同(outrage events，女llprefix，link outrage)，網(wǎng)絡(luò)運(yùn)行的錯(cuò)誤管理，人為的網(wǎng)絡(luò)設(shè)備資源的消耗等等。網(wǎng)絡(luò)流量異常引起的原因很多，從網(wǎng)絡(luò)操作錯(cuò)誤、不尋常用戶行為到網(wǎng)絡(luò)濫用和軟件BUG等等。2．1異常流量2．1．1異常流量定義網(wǎng)絡(luò)異常是指造成數(shù)據(jù)私密性、完整性、可用性遭到破壞或影響網(wǎng)絡(luò)性能的事件，即網(wǎng)絡(luò)管理員所關(guān)心的網(wǎng)絡(luò)中的“不尋?！钡氖录唧w到網(wǎng)絡(luò)流量，即指網(wǎng)絡(luò)流量行為偏離其正常行為的情況[168。首先介紹網(wǎng)絡(luò)中異常流量的定義、形成原因以及現(xiàn)有的異常流量的檢測(cè)技術(shù)，然后介紹NetFlow的定義以及在本文中所使用的數(shù)據(jù)格式及版本等相關(guān)知識(shí)。第六章對(duì)全文進(jìn)行總結(jié)，在此基礎(chǔ)上對(duì)一些有待進(jìn)一步解決的問(wèn)題進(jìn)行了討論。第五章是對(duì)結(jié)果進(jìn)行分析并提出實(shí)驗(yàn)結(jié)論。第三章介紹基于MapReduce的異常流量檢測(cè)算法。1．2．3本文組織結(jié)構(gòu)介紹本文共分六章，各章內(nèi)容如下：第一章緒論介紹的是本文的研究背景、目的和意義以及研究的主要內(nèi)容和難點(diǎn)。(2)缺少網(wǎng)絡(luò)流量中真實(shí)的異常情況，確立檢測(cè)指標(biāo)有一定限制本文在做異常檢測(cè)時(shí)，所用到的數(shù)據(jù)量非常大，在這么大的流量數(shù)據(jù)中我們無(wú)法知道哪些真正的含有異常，哪些是不含異常的，即缺少真實(shí)的異常情況，而一段實(shí)際的網(wǎng)絡(luò)流量中，往往很少存在沒(méi)有異?；蚴侵淮嬖谀骋环N異常流量的情況。在確定新的異常網(wǎng)絡(luò)流量特征及分布指標(biāo)時(shí)，往往需要編寫(xiě)大量的測(cè)試代碼，同時(shí)進(jìn)行大量的測(cè)試和分析來(lái)選定可用的特征和分布指標(biāo)。(2)在小的時(shí)間尺度下，當(dāng)網(wǎng)絡(luò)中出現(xiàn)異常流量時(shí)，十維異常分析指標(biāo)的穩(wěn)定性遭到破壞，產(chǎn)生不同程度的變化。利用一個(gè)十維的異常分析指標(biāo)體系來(lái)檢測(cè)網(wǎng)絡(luò)中的異常流量。本文立足于對(duì)包流量數(shù)據(jù)的分析，提出了一種細(xì)粒度的流量特征分析方法，它和目前異常流量的特征分析方法相比有以下幾個(gè)不同特征：(1)把包數(shù)據(jù)以連續(xù)特定的包數(shù)作為一個(gè)包單元進(jìn)行劃分，以包單元為單位計(jì)算流量特征分布值。我們的研究?jī)?nèi)容分為三個(gè)部分，第一部分提出并應(yīng)用基于包數(shù)據(jù)的流量特征分析方法，分析異常情況下流量特征的變化，建立用于檢測(cè)異常的特征分布指標(biāo)；第二部分基于流量特征的分析，提出一個(gè)異常流量的監(jiān)測(cè)模型，并將檢測(cè)模型適用于MapReduce計(jì)算模型之中；第三部分是基于云計(jì)算建立一個(gè)異常流量檢測(cè)系統(tǒng)，將整個(gè)檢測(cè)過(guò)程適用于該系統(tǒng)之中。利用Hadoop搭建云計(jì)算平臺(tái)并且將云計(jì)算的優(yōu)勢(shì)用于網(wǎng)絡(luò)異常流量的檢測(cè)上，那么不僅可以加快檢測(cè)速率，還可以利用云存儲(chǔ)實(shí)現(xiàn)NetFlow歷史數(shù)據(jù)的存儲(chǔ)。Hadoop允許用戶在不理解分布式開(kāi)發(fā)編程的基礎(chǔ)上開(kāi)發(fā)分布式程序H1?！薄Ｔ朴?jì)算成為了近年來(lái)十分熱門(mén)的一個(gè)技術(shù)名詞，越來(lái)越多的專家認(rèn)為云計(jì)算的出現(xiàn)會(huì)改變互聯(lián)網(wǎng)的技術(shù)基礎(chǔ)，甚至?xí)绊懻麄€(gè)產(chǎn)業(yè)的格局。NetFlow對(duì)于流概念的提出使得對(duì)于網(wǎng)絡(luò)流量各種粒度的分析成為了可能【21。1．1．2研究意義和目的網(wǎng)絡(luò)中的異常流量影響著人們對(duì)于網(wǎng)絡(luò)的正常使用，并且威脅著人們的信息安全。針對(duì)這些攻擊，通過(guò)檢測(cè)網(wǎng)絡(luò)數(shù)據(jù)流來(lái)檢測(cè)網(wǎng)絡(luò)異常和網(wǎng)絡(luò)攻擊的方法開(kāi)始出現(xiàn)。此類攻擊中，比較常見(jiàn)的有拒絕服務(wù)攻擊(Dneial ofService)、分布式拒絕服務(wù)攻擊(Distributed Dneial of Service)、蠕蟲(chóng)病毒、端口掃描(Port Scanning) 等。隨著人們對(duì)網(wǎng)絡(luò)的使用越來(lái)越頻繁、對(duì)網(wǎng)絡(luò)越來(lái)越依賴，網(wǎng)絡(luò)安全成為了人們所關(guān)注的熱點(diǎn)，而網(wǎng)絡(luò)安全也成了網(wǎng)絡(luò)專家學(xué)者們研究的方向。新聞、郵件、金融事務(wù)、微博、語(yǔ)音及視頻等正通過(guò)Intemet得到R益頻繁的傳播隨著互聯(lián)網(wǎng)的迅猛發(fā)展以及網(wǎng)絡(luò)應(yīng)用的日益增多，在給我們帶來(lái)便利的同時(shí)也帶來(lái)了新的問(wèn)題。 this year JanuaryJune, vehicles management section and license archives management section total accepted the motor vehicle registration business 42,543 car times, which registered registration 6,905 car times, and transfer registration 3,592 car times, and change registration 1033 car times, and mortgage registration 696 car times, and cancellation registration 187 car times, and into business 980 car times, and Archives corrections 81 pieces times, and issued test qualified logo 25,429 car times, and other vehicles business 3,640 car times。 II is established motor vehicle test regulatory platform, achieved motor vehicle test full process video, and data remote regulatory。4．將MapReduce計(jì)算模型用于異常流量分析的過(guò)程之中，簡(jiǎn)化了計(jì)算步驟，加快了方法的檢測(cè)效率，增強(qiáng)了異常流量檢測(cè)的實(shí)時(shí)性。3．利用Hadoop搭建云存儲(chǔ)平臺(tái)，利用HDFS分布式文件系統(tǒng)存儲(chǔ)大量的netflow數(shù)據(jù)文件，HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上。主要結(jié)果是正常流量特征分布在小的時(shí)間尺度上具有一定的穩(wěn)定性，而異常流量會(huì)導(dǎo)致部分流量特征的分布產(chǎn)生明顯的變化，從而打破這樣的穩(wěn)定性。本文以互聯(lián)網(wǎng)異常流量特征的分析為基礎(chǔ)，利用Hadoop云；計(jì)算開(kāi)發(fā)平臺(tái)，進(jìn)行異常檢測(cè)的應(yīng)用研究，實(shí)現(xiàn)了一個(gè)基于云計(jì)算的異常流量檢測(cè)系統(tǒng)。Hadoop提供了云計(jì)算所需要的眾多功能：HDFS分布式文件系統(tǒng)、MapReduce計(jì)算模型、HBase分布式NoSQLN數(shù)據(jù)庫(kù)等。Hadoop是一個(gè)開(kāi)源分布式數(shù)據(jù)處理框架，被用于高效地處理海量數(shù)據(jù)。目前的基于Netflow的異常檢測(cè)尚有很多不足：1)高的誤檢率；2)多數(shù)方法難以達(dá)到高速鏈路的實(shí)時(shí)在線檢測(cè)需求；3)Netflow數(shù)據(jù)量較大，對(duì)于歷史數(shù)據(jù)不能有效的存儲(chǔ)：4)全網(wǎng)異常檢測(cè)方法較少且問(wèn)題較多。NetFlow是一種數(shù)據(jù)交換方式，一個(gè)NetFlow流定義為在～個(gè)源IP地址和目的IP地址問(wèn)傳輸?shù)膯蜗驍?shù)據(jù)包流，且所有數(shù)據(jù)包具有共同的傳輸層源、目的端口號(hào)。 to improve the daytoday operation and maintenance operation record of promoting causes and transfer system。evaluation of scientific development. 　　Nature security typenature security is to maintenance people of health value for target, through strengthening security based management, and risk management, and equipment management and technology supervision, ensure production in the people, and real, and system, and system, elements security reliable, and harmony unified, full control various against factors, achieved thought no slack, and management no empty document, and equipment no hidden, and system no blocked, and unit zero nonstopped. 　　Quality and efficiencyquality benefit is to adhere to the enterprise survival, profit and development business truth, adhere to the all activity is economic activity, all costs can be controlled, money should not be wasted management philosophy, management analysis, to improve management quality, improve cost control capacity and market petitiveness. 　　Innovation of science and technologyscience and technology innovation is to play the role of science and technology as the primary productive force, active use of new technologies, new materials, new processes, new equipment, increase investment in science and technology, strengthening scientific and technological training, speeding up transforming scientific and technological achievements, forming a number of proprietary technology, enhancing core petitiveness. Resourcesavingtheresources saving enterprise was to reduce coal consumption, water consumption, electricity at the core, enhance the operation of lean management to realize low consumption, high efficiency, reduce production costs. 　　Second is to strengthen the business, financial, material, information and the optimization of organization and management, saving the internal transaction costs. Harmonious development of harmonious developmentis to construct a