【正文】 2= =nN，即所有樣本值都不同。這里我們考量樣本序列的稀疏與密集程度，也就是說樣本序列的稀疏與密集程度與樣本間時間或空間的距離無關(guān)，全由它們值的異同情況來界定，如對于兩個數(shù)目相同的樣本序列X和Y，其中x是一個一分鐘的樣本序列， Y是一個兩分鐘的樣本序列，當(dāng)它們的所有樣本值都不同時，都達(dá)到最稀疏的情況(此時熵值最大)，認(rèn)為兩個樣本序列的分布稀疏程度相同。定義3．1定義固定的時間間隔為一個timebin，即把時間劃分成一個個bin。定義3．2定義固定的包數(shù)的間隔為一個packetbin，類似于timebin，即把連續(xù)的報文按特定包數(shù)劃分成一個個bin。因此，可用連續(xù)的數(shù)據(jù)包中的某個特征的序列值作為樣本數(shù)據(jù)計算特征熵來表征這個特征樣本序列的稀疏與密集程度。由于我們的流量數(shù)據(jù)是細(xì)粒度的包數(shù)據(jù)，而不是粗粒度的流數(shù)據(jù)，我們按固定的包數(shù)腓為一個packetbin(定義3．2)計算熵值，而不是基于流數(shù)據(jù)的固定的時間間隔timebin(定義3．1)計算熵值【54J，如基于NetFlow的數(shù)據(jù)把五分鐘作為一個timebin計算一次熵值，而對于一個特征的樣本序列，基于packetbin計算其熵值能更準(zhǔn)確地反應(yīng)這個樣本序列的稀疏與密集程度，即有如下定理。定理3．1對于樣本序歹吐置基于packetbin計算翮勺熵值能準(zhǔn)確的反應(yīng)樣本序歹妞的稀疏與密集程度，而基于timebin計算的熵值會存在一定程度上的偏差。
第三章基于MapReduce異常流量的檢測方法證明基于packetbin計算x的熵值和基于timebin計算X犄值的不同之處在于，基于packetbin計算各個樣本序列的熵時公式(3．1)中的S的值是固定的，基于timebin計算熵時 各個序列中的S的值是不固定的(每個固定時段的樣本序列中的樣本數(shù)不一定相同)?；趐acketbin計算熵值時由于所有序列的S值固定，因此對于每個序列，熵值在統(tǒng)一的區(qū)間(O；logS)變動，熵為0時表示最集中的情況，熵為logS時表示最分散的情況，此時每個序列的熵可以準(zhǔn)確反應(yīng)樣本序列的稀疏與密集程度。而基于timebin計算熵值時由于每個序列的．瞄不固定，因此每個序列熵的變動區(qū)問不同，即每個序列熵的最大值不同，比如一個timebin有孓104個樣本或包，而下一個timebin有S=105個，當(dāng)這兩個timebin所有樣本值都不同時，最大的熵值分別為婦104和logl05，此時，按我們定義的樣本序列的稀疏與密集程度，這兩個時段的樣本序列的稀疏與密集程度應(yīng)該相同，都為最大的稀疏程度，但是，僅從熵值大小來界定的話，第二個時段的稀疏度應(yīng)該比第一個時段大，這是不準(zhǔn)確的。即基于timebin計算得到的熵值，熵值大的序列并不一定比熵值小的序列的分
布更加分散，會因為樣本個數(shù)贈的不同存在一定偏差。定理得證。因此，對于包數(shù)據(jù)，基于packetbin計算報文中某個特征的熵值能準(zhǔn)確反應(yīng)這個特征樣本序列的稀疏與密集程度，而對于流數(shù)據(jù)，由于無法基于packetbin來計算熵值，一些方法【55】用月∽／五曙(加計算標(biāo)準(zhǔn)化后的熵，其值范圍在(0，1)，來反應(yīng)某個特征樣本序列的稀疏與密集程度。基于packetbin計算樣本熵值時每個packetbin@樣本的數(shù)目蹦大小是一個可調(diào)的參數(shù)控制著特征短時的變化情況，其值和鏈路帶寬及當(dāng)前負(fù)載相關(guān)，增加形將會減輕熵的變化而降低檢測的誤報率，但啄則上應(yīng)該盡量小從而使異常被盡快分析檢測出來，經(jīng)過大量的測量分析，我們發(fā)現(xiàn)W=6,000(在我們流量數(shù)據(jù)的分秒級別)對于我們所用的數(shù)據(jù)是一個很好的折中，即檢測異常的最小延遲只需要分秒級別，遠(yuǎn)小于基于流數(shù)據(jù)的分鐘級別。在計算熵時，也就是公式(3．1)中的S=肛6，000，我們計算第一個連續(xù)的S個包的熵，然后移動到下一個相鄰的S個包計算相應(yīng)的熵值，因此，我們把包單元和包單元熵定義如下：定義3．3定義包數(shù)據(jù)中連續(xù)10,000個包為一個包單元或PU。定義3．4定義包數(shù)據(jù)中以一個包單元為單位計算得到的熵值為這個包單元的包單元(PU)熵。我們可以利用連續(xù)的NetFlow數(shù)據(jù)中的某個特征的序列值作為樣本數(shù)據(jù)來計算流量特征熵值，并以此值來表征這個特征樣本序列的稀疏與密集程度。而特征樣本序列的稀疏與密集程度則反映出當(dāng)前網(wǎng)絡(luò)是否偏離了“正常的狀態(tài)”。我們以每個PU包為單位求出相應(yīng)特征熵的值，即為這個包單元的特征熵值。3．1．2包單元DFN我們引入新的一個流量特征的分布指標(biāo)DFN(Distinct Feature Number)。其值即為 公式3．1中的N的值。所以，DFN表示不同的特征數(shù)目，例如對于流量特征特征源IP 地址，一個PU中的源IP地址的DFN值就是這個PU中不同的源IP地址的個數(shù)。由
第三章基于MapReduce異常流量的檢測方法DFN的定義而知，DFN也是極為重要的能夠表征網(wǎng)絡(luò)中流量狀態(tài)的重要指標(biāo)。因為多種研究表明，當(dāng)網(wǎng)絡(luò)中發(fā)生異常流量時，短時間內(nèi)會有大量具有相同或是不同的特征的數(shù)據(jù)包出現(xiàn)。例如當(dāng)網(wǎng)絡(luò)中發(fā)生DoS攻擊時，會出現(xiàn)大量相同目的IP地址的數(shù)據(jù)包。因此，我們將DFN也作為異常流量的檢測指標(biāo)。包單元DFN值則指一個包單元中各個特征的DFN的值。定義3．5定義樣本熵公式(3．1)60的N值為樣本的DFN(Distinct Feature Number)
的值，也就是不同的特征數(shù)目，對于特征包長，一個PU中的包長的DFN值就是這個PU中不同包長的數(shù)目。定義3．6定義在包數(shù)據(jù)中以一個包單元或PU為單位計算DFN值為包單元DFN。3．1．3十維異常流量分析指標(biāo)我們將包單元熵值和包單元DFN值作為網(wǎng)絡(luò)中異常流量的檢測指標(biāo)，由此我們得出一個十維的異常流量分析的指標(biāo)。如表31所示。表3．1十維異常流量分析指標(biāo)X(木)流量特征名稱信息熵特征DFNx(sIP)源IP地址H(X(SIP))N(X(SIP))X(DIP)目的IP地址H(X(DIP))N(X(DIP))X(SPT)源端口號H(X(SPT))N(X(SPT))X(DPT)目的端口號H(X(DPT))N(X(DPT))X(PKT)包長H(X(PKT))N(X(PKT))十維異常流量分析指標(biāo)作為網(wǎng)絡(luò)中異常流量的發(fā)現(xiàn)標(biāo)準(zhǔn)。我們在實驗中觀察分析指標(biāo)的變化情況來檢測分析指標(biāo)的有效性。3．2基于MapReduce的異常流量檢測算法3．2．1 MapReduce計算模型MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。其中的“Map(映射)和“Reduce(化簡)”，以及計算模型的主要思想，都來源于函數(shù)式的編程語言和矢量編程語言m1。MapReduce編程模型使得那些并不是很精通并行開發(fā)的編程人員能夠較為快速的開發(fā)并行程序，并將自己的程序運(yùn)行在分布式系統(tǒng)上。利用MapReduce編程模型的步驟如下：首先指定一個Map(映射)函數(shù)，Map函數(shù)可以將一 組鍵值對映射成為一組新的鍵值對；指定Reduce(化簡)函數(shù)，使每個映射的鍵值對共享相同的鍵組。概括來講，MapReduce計算模型就是把一個大的作業(yè)拆分成多個小的作
第四章基于云計算的異常流量檢測系統(tǒng)的實現(xiàn)②Nameaode會視情況返回文件的部分或者全部block列表，對于每個block，Namenode都會返回有該block拷貝的datanode地址；③客戶端開發(fā)庫選取離客戶端最接近的datanode讀取block的內(nèi)容；④讀取完當(dāng)前block的數(shù)據(jù)后，關(guān)閉與當(dāng)前的datanode連接，并為讀取下一個block尋找最佳的datanode；⑤當(dāng)讀完列表的block后，且文件讀取還沒有結(jié)束，客戶端開發(fā)庫會繼續(xù)向Namenode獲取下一批的block列表。⑥讀取完一個block都會進(jìn)行checksum驗證，如果讀取datanode時出現(xiàn)錯誤，客戶端會通知Namenode，然后再從下一個擁有該block拷貝的datanode繼續(xù)讀。NetFlow Collector采集完數(shù)據(jù)后存儲在數(shù)據(jù)采集服務(wù)器中，HDFS有自身健全的分配機(jī)制和保障機(jī)制，使上傳的數(shù)據(jù)能夠完整的得到保存。我們每隔一段時間(比如一個小時)將NetFlow采集服務(wù)器中的數(shù)據(jù)上傳至云計算平臺的HDFS中，以備分析使用。HDFS向用戶提供了命令行接口DFSShell實現(xiàn)了用戶和HDFS中的數(shù)據(jù)進(jìn)行交互操作。DFSShell是為那些使用腳本和存儲數(shù)據(jù)交互的程序而設(shè)計的，在語法上與SHELL類似。這些命令包括了大部分的對于文件系統(tǒng)的操作命令，即目錄建立，文件復(fù)制，文件權(quán)限的改變等等，我們可以利用DFSShell完成NetFlow數(shù)據(jù)的上傳。我們在HDFS中建立名為NetFlow的文件夾，將所有采集的NetFlow數(shù)據(jù)存儲至該文件內(nèi)。根據(jù)不同的特征值我們將不同的特征值文件存儲至不同的文件夾內(nèi)。因此在HDFS系統(tǒng)中我建立存儲總數(shù)據(jù)的文件夾NetFlow，存儲源IP地址數(shù)據(jù)的文件夾SIP，存儲目的IP地址的文件夾DIP，存儲源端口號的文件夾SPort，存儲目的端口號的文件夾DPort和存儲包長的文件夾Pkt。文件系統(tǒng)如圖4．1 1所示。圖4．11數(shù)據(jù)存儲文件系統(tǒng)
第四章基于云計算的異常流量檢測系統(tǒng)的實現(xiàn)I嘲=Oinput．FileInputFormat：Total input paths to process：2I蛙FOmapred．30bClient：Running{ob：{ob 2812王219lll28881IKFOmapred．30bCUent：map9％reduce魄I睢FOmapred．JobCUent：，柏p 50％reduce O％I隧Fomapred．JobClient：map羔B溉redUce 8％IKFOmapred．30bCUent：maplee％reduce 188％I嘲：Omapred．30bClient：30bpIete：Job 281212191112eeelIKFOmapred．30bCtient：Counters：17INFOmapred．JobClient：30b Counte rsIKFOmapred．JobCUent：Launched reduce tasks=lI睫FOmapred．30bClient：Launched map tasks=2IKl：Omapred．JobClient：Data—localmap tasks=2I睢F0mapred．30bCUent：FiteSystemCoUntersIKFOmapred．30bCUent：FILEBYTESREAD=181INFOmapred．JobClient：HDFS 8YTESREAE凈53INFOmapred．JobCUent：FILEByTESWRITTEN=272INFOmapred．30bClient：HDFSB丫TES WRITTEN=5BINF0mapred．30bClient：MapReduce FrameworkINFOmapred．30bClient：Reduceinput groups=5INFOmapred．JobCUent：Combineoutput records=7INFOmapred．JobClient：Mapinputrecords=2INFOmapred．30bClient：Reduceshuffle bytes=IB7IKFOmapred．JobClient：Reduceoutput records=5INFOmapred．】obClient：SpilledRecords=14IMFOmapred．30bClient：Mapoutputbytes=81IKFOmapred．JobClient：Combineinput records=7IKF0mapred．JobClient：Mapoutputrecords=7I韃FOmapred．】obClient：Reduceinput records=7圖4—1 3 mapreduce執(zhí)行過程4．3．3分布式協(xié)調(diào)服務(wù)ZookeeperZooKeeper是Hadoop的正式子項目，它是一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。我們利用ZooKeeper來協(xié)調(diào)整個云計算平臺的工作。4．4數(shù)據(jù)結(jié)果的導(dǎo)出云計算平臺對NetFlow數(shù)據(jù)進(jìn)行了分析，利用Ha