【文章內(nèi)容簡介】 決快速查找、插入和刪除Sessen信息的方法，快速確定流的服務(wù)方式等功能，使得設(shè)備能夠達(dá)到8G的網(wǎng)絡(luò)吞吐量；(3)DPI協(xié)議識別技術(shù)需要解決準(zhǔn)確、快速識別網(wǎng)絡(luò)應(yīng)用、將網(wǎng)絡(luò)上的應(yīng)用識別率廣和支持大部分網(wǎng)絡(luò)應(yīng)用；(4)DFI協(xié)議識別技術(shù)需要解決加密協(xié)議的識別，數(shù)學(xué)模型參數(shù)的準(zhǔn)確性學(xué)習(xí)性的問題；(5)DPI協(xié)議識別和DFI協(xié)議識別結(jié)合技術(shù)需要解決準(zhǔn)確識別和DFI模糊識別的分類的問題，使得網(wǎng)絡(luò)流量的識別率達(dá)到90%以上；(6)QoS流控制技術(shù)需要解決準(zhǔn)確的流的流控、流量控制的進(jìn)度達(dá)到1KB和從流的源端控制技術(shù)達(dá)到93%以上的帶寬利用率；(7)實(shí)現(xiàn)網(wǎng)絡(luò)流量可視化技術(shù)需要，解決人性化的數(shù)據(jù)展現(xiàn)和準(zhǔn)確的數(shù)據(jù)分析功能。技術(shù)路線描述：（1）項(xiàng)目生產(chǎn)方案 由于本項(xiàng)目產(chǎn)品由軟件和硬件兩部分組成，其中硬件部分基本為成熟產(chǎn)品，可以很容易購得，由上游廠商根據(jù)本公司的需求提供；軟件部分才是本項(xiàng)目產(chǎn)品的關(guān)鍵，它通常固化在設(shè)備中，這部分由公司自主開發(fā)；因而本項(xiàng)目產(chǎn)品的生產(chǎn)將采取“硬件外購+軟件自主生產(chǎn)”的方式進(jìn)行。（2）技術(shù)路線a、理論模型的建立b、各功能模塊算法設(shè)計(jì)c、各功能模塊無縫對接d、在設(shè)備中固化入軟件統(tǒng)計(jì)分析模塊數(shù)據(jù)展現(xiàn)模塊DPI協(xié)議識別模塊策略控制模塊QoS流量控制模塊session流建立模塊網(wǎng)絡(luò)報(bào)文入口已識別未識別網(wǎng)絡(luò)報(bào)文出口內(nèi)核實(shí)現(xiàn)e、系統(tǒng)配套試用調(diào)試f、產(chǎn)品功能的完善和最終定型。（3）項(xiàng)目實(shí)現(xiàn)的系統(tǒng)的框架圖項(xiàng)目創(chuàng)新點(diǎn)技術(shù)創(chuàng)新DFA技術(shù)應(yīng)用于DPI引擎對于報(bào)文的識別方法主要使用正則表達(dá)式的匹配方式實(shí)現(xiàn)的，目前國內(nèi)大多數(shù)廠家及國外部分廠家使用的方法的是使用NFA（Nondeterministic finite automaton，不確定有窮自動(dòng)機(jī)）的匹配方法。由于NFA的匹配需要對每一條正則表達(dá)式一條條的匹配，因而存在匹配速度較慢和難于維護(hù)等問題。而 DFA 引擎在任意時(shí)刻必定處于某個(gè)確定的狀態(tài)，而NFA引擎可能處于一組狀態(tài)之中的任何一個(gè)，所以，NFA引擎必須記錄所有的可能路徑（trace multiple possible routes through the NFA），NFA之所以能夠提供Backtrack的功能，原因就在這里。從理論上說，如果我們不需要Backtrack，或者僅僅需要很小級別的Backtrack，完全可以從NFA構(gòu)造出等價(jià)的DFA，再進(jìn)行匹配，這樣能大大提高速度——代價(jià)是，DFA需要更多的空間。 NFA 因?yàn)椴淮_定，所以限制比DFA要少，構(gòu)造起來也比較方便一點(diǎn)，因此每個(gè)字符最多被匹配一次，其匹配速度比NFA要高許多。雖然要把正則表達(dá)式先轉(zhuǎn)化為NFA，再把NFA轉(zhuǎn)換為DFA，其轉(zhuǎn)換時(shí)間相對要長，但是只需在匹配報(bào)文前對正則表達(dá)式編譯一次，因此匹配報(bào)文的總體時(shí)間要比NFA的匹配引擎快很多。但由于DFA的空間要求比較高，因而限制了其技術(shù)的使用，始終不能實(shí)現(xiàn)商業(yè)化，目前該技術(shù)主要使用在一些表達(dá)式的集合匹配算法上面，例如：linux上grep命令和一些簡單的數(shù)據(jù)挖掘上面。針對這種情況，本公司技術(shù)團(tuán)隊(duì)對DFA技術(shù)進(jìn)行了改進(jìn)、創(chuàng)新，對DFA節(jié)點(diǎn)進(jìn)行最小化的處理，大大的較少了內(nèi)存空間的使用，克服了單純使用DFA技術(shù)的缺點(diǎn)，首次實(shí)現(xiàn)了DFA技術(shù)在DPI引擎上的應(yīng)用，其技術(shù)具體實(shí)現(xiàn)過程為：首先將正則表達(dá)式轉(zhuǎn)化到NFA，將NFA的體現(xiàn)方式轉(zhuǎn)換成DFA，最后將DFA進(jìn)行最小化。其中DFA最小化技術(shù)就是本項(xiàng)目最大的技術(shù)創(chuàng)新點(diǎn)之一。DFA最小化技術(shù)實(shí)現(xiàn)原理具體如下：有窮自動(dòng)機(jī)分為確定的有窮自動(dòng)機(jī)DFA和不確定的有窮自動(dòng)機(jī)NFA兩種。定義1DFA ：一個(gè)確定的有窮自動(dòng)機(jī)，M是一個(gè)五元組，M=( K,Σ, f , S , Z)，其中:K是一個(gè)有窮集,其元素稱為狀態(tài)；Σ是一個(gè)有窮字母表,其元素稱為輸入符號；S∈K,稱為初態(tài)。Z204。 K，是終態(tài)集；f是轉(zhuǎn)換函數(shù)，是KΣ→K上的映射，f(ki,a)=kj,(ki∈K,kj∈K)表示狀態(tài)ki，輸入符為a時(shí)，轉(zhuǎn)換為狀態(tài)kj。 定義2無用狀態(tài)：從自動(dòng)機(jī)的開始狀態(tài)出發(fā),任何輸入串也不能到達(dá)的那個(gè)狀態(tài)?；蛘邚倪@個(gè)狀態(tài)沒有通路到達(dá)終態(tài)的狀態(tài)。 定義3等價(jià)狀態(tài)：如果說兩個(gè)狀態(tài)s 和t 是等價(jià)的, 應(yīng)滿足如下條件:(a) 一致性條件：s 和t 必須同時(shí)為終態(tài)或?yàn)榉墙K態(tài)。(b) 蔓延性條件：對于所有輸入符號，狀態(tài)s 和t 必須轉(zhuǎn)換到等價(jià)的狀態(tài)里。 一個(gè)DFAM可以通過消除無用狀態(tài)和合并等價(jià)狀態(tài)而轉(zhuǎn)化為一個(gè)最小化的與之等價(jià)的DFAM’。該過程稱為DFA的最小化。最小化的思想是在不改變 DFA 識別的語言的前提下，合并相應(yīng)的結(jié)點(diǎn)，使合并后的 DFA 與合并前的 DFA 等效，而結(jié)點(diǎn)數(shù)目減少。 但在實(shí)現(xiàn)上，采用是從合到分的方法。先從最精簡的結(jié)構(gòu)出發(fā)，即，整個(gè)系統(tǒng)就兩個(gè)集合，所有的終態(tài)結(jié)點(diǎn)并為一個(gè)結(jié)點(diǎn)，所有的非綜態(tài)結(jié)點(diǎn)合并為一個(gè)結(jié)點(diǎn) 。 然后看這種劃分是否可行，如不可行，再分解出更多的集合。而合并可行的依據(jù)就是集合中的每個(gè)元素通過同一條弧到達(dá)同一個(gè)目標(biāo)集合。 如上圖，首先將所有的非綜態(tài)結(jié)點(diǎn)合并為 I0 。將綜態(tài)結(jié)點(diǎn)合并為 I1 。分別考察兩個(gè)集合。對于 I0 ，通過 0 弧，有如下跳轉(zhuǎn)： S0 224。 S1 ， S2 224。 S1 ， S1 224。 S3 。而 S1 ∈ I0 ， S3 ∈ I1 ，據(jù)此， S1 和 S0 、 S2 要分開位于不同集合。 現(xiàn)假定 I0={ S0 ,S2} ， I1={ S3 ,S4} ， I2 ＝ { S1 } ?？疾?I0 ，同樣是通過 1 弧，則有如下跳轉(zhuǎn)： S0 224。 S2 、 S2 224。 S4 ，而 S2 ∈I 0 ,S4∈I 1 。故， S2 與 S4 分開?？梢钥闯?，只要發(fā)現(xiàn)一條弧不滿足上述條件，就可以將其分離。并非要考察完每條弧。 再來考察 I1 ，通過 0 弧可得： S3 224。 S3 ∈ I1 ， S4 224。 S3 ∈ I1 。通過 1 弧可得： S3 224。 S4 ∈ I1 ， S3 224。 S4 ∈ I1 。顯然， I1 不可再分。 如此重復(fù)，直到每個(gè)集合 Ii ( I=0,1,…) 均不可再分為止。 最小化后的狀態(tài)轉(zhuǎn)換圖如下： DFA應(yīng)用于DPI技術(shù)易于理解、升級方便、維護(hù)簡單，是目前運(yùn)用最有效的流量識別方法。其主要優(yōu)點(diǎn)包括：準(zhǔn)確性高、健壯性好、具有分類功能等。準(zhǔn)確性高是由于該方法執(zhí)行精確特征匹配，因此極少存在誤判問題。健壯性好是由于可以處理數(shù)據(jù)包丟失、重組等，因此能適應(yīng)如今復(fù)雜的網(wǎng)絡(luò)應(yīng)用。具有分類功能是由于深層數(shù)據(jù)包檢測技術(shù)可以依據(jù)不同應(yīng)用的載荷特征來準(zhǔn)確分類各網(wǎng)絡(luò)應(yīng)用，因此可以為實(shí)施流量監(jiān)管策略提供準(zhǔn)確的信息。目前，在網(wǎng)絡(luò)數(shù)據(jù)流量控制與優(yōu)化的相關(guān)產(chǎn)品中，國內(nèi)廠家大多采用DPI引擎技術(shù)，其主要通過源IP 地址、目的IP 地址、源端口、目的端口、會話信息以及對IP 包中的荷載Payload（應(yīng)用層數(shù)據(jù)）深入分析，匹配應(yīng)用協(xié)議的特征庫，可以探測和跟蹤動(dòng)態(tài)端口分配的應(yīng)用，能夠識別變動(dòng)端口的會話流，并能夠?qū)κ褂猛欢丝诘牟煌瑓f(xié)議進(jìn)行自動(dòng)識別，從而可以做到基于真正七層的協(xié)議或應(yīng)用實(shí)現(xiàn)流量整形和帶寬控制，來優(yōu)化用戶的網(wǎng)絡(luò)和應(yīng)用的可用性。但在實(shí)際網(wǎng)絡(luò)中，很多應(yīng)用為了逃避DPI的檢測來達(dá)到對網(wǎng)絡(luò)資源的占用；這些應(yīng)用會對報(bào)文進(jìn)行加密，特別是P2P的應(yīng)用，如：BT、eDonkey等都有加密的流量，這就造成了國內(nèi)目前產(chǎn)品普遍存在網(wǎng)絡(luò)識別率低的問題。針對這種情況，本公司技術(shù)團(tuán)隊(duì)在總結(jié)DPI技術(shù)優(yōu)點(diǎn)的基礎(chǔ)上，結(jié)合DFI的優(yōu)點(diǎn)，提出了“DFI+DPI”相結(jié)合的協(xié)議識別方法。DFI全稱為“Deep Flow I