【正文】 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)畢業(yè)論文 [精品論文 ] 面向網(wǎng)絡(luò)安全監(jiān)控的數(shù)據(jù)流關(guān)鍵技術(shù)研究 關(guān)鍵詞：網(wǎng)絡(luò)安全 網(wǎng)絡(luò)監(jiān)控 數(shù)據(jù)流 數(shù)據(jù)處理 預(yù)測(cè)模型 摘要：隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展和網(wǎng)絡(luò)應(yīng)用的日益廣泛，互聯(lián)網(wǎng)在人們的生活中扮演著越來(lái)越重要的角色。與此同時(shí)，各種網(wǎng)絡(luò)安全事件層出不窮，嚴(yán)重威脅著互聯(lián)網(wǎng)的應(yīng)用和發(fā)展。以安全為目的的網(wǎng)絡(luò)監(jiān)控，在維護(hù)網(wǎng)絡(luò)正常高效運(yùn)行、保障關(guān)鍵設(shè)施和信息系統(tǒng)安全等方面，具有越來(lái)越重要的作用。如何對(duì)分布、海量的網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)實(shí)施有效的網(wǎng)絡(luò)傳輸和高效的在線分析，進(jìn)而為各種應(yīng)用提供進(jìn)一步支持，成為網(wǎng)絡(luò)安全和數(shù)據(jù)處理領(lǐng)域的一個(gè)重大挑戰(zhàn)。 本文以網(wǎng)絡(luò)安全監(jiān)控為背景，針對(duì)網(wǎng)絡(luò)監(jiān)控應(yīng)用特點(diǎn)和當(dāng)前監(jiān)控?cái)?shù)據(jù)處理存在的挑戰(zhàn)性問(wèn)題，從數(shù)據(jù)流處理角度 ，對(duì)分布式網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)處理中幾個(gè)關(guān)鍵問(wèn)題的高效處理技術(shù)進(jìn)行了研究。主要貢獻(xiàn)為： 針對(duì)分布式連續(xù)極值查詢，研究了計(jì)算、存儲(chǔ)、通信高效的處理方法。首先提出了一種數(shù)據(jù)裁剪策略，僅需保存部分關(guān)鍵點(diǎn)便可滿足查詢需要；遠(yuǎn)程節(jié)點(diǎn)采用延遲傳輸算法 DTA，在保證結(jié)果正確性的前提下盡量延遲數(shù)據(jù)傳遞并依據(jù)裁剪策略對(duì)局部數(shù)據(jù)流進(jìn)行過(guò)濾，達(dá)到降低網(wǎng)絡(luò)通信量的目的；集中式節(jié)點(diǎn)采用多極值查詢處理算法 MCEQP，充分利用系統(tǒng)中多個(gè)查詢間可共享的資源，將多個(gè)查詢作為整體進(jìn)行考慮，比對(duì)每個(gè)查詢分別單獨(dú)處理更加高效。理論分析和實(shí)驗(yàn)結(jié) 果表明，當(dāng)數(shù)據(jù)規(guī)模較大時(shí)，裁剪策略可以丟棄約 99％的數(shù)據(jù)，若數(shù)據(jù)滿足獨(dú)立均勻分布，實(shí)際需要保存的關(guān)鍵點(diǎn)個(gè)數(shù)僅為 O(logN)；與傳輸所有數(shù)據(jù)的方法相比， DTA方法僅需不到 10％的通信量； MCEOP方法也比目前已有的基于資源共享技術(shù)的通用方法更加高效。 針對(duì)分布式閾值監(jiān)控，研究了低通信開(kāi)銷(xiāo)的處理方法 CEM。該方法充分利用被監(jiān)控對(duì)象間的相對(duì)關(guān)系，把多個(gè)對(duì)象作為整體進(jìn)行統(tǒng)一處理，將多個(gè)對(duì)象的持續(xù)監(jiān)控變?yōu)閷?duì)一個(gè)代表對(duì)象的監(jiān)控和對(duì)局部約束條件的維護(hù)操作，比分別單獨(dú)監(jiān)控每個(gè)對(duì)象更加高效；只有當(dāng)局部約束被打破時(shí)， 才需要通信并進(jìn)行參數(shù)調(diào)整以重建約束。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，與將對(duì)象分別獨(dú)立監(jiān)控的方法相比， CEM 方法能夠有效降低約 70％的通信開(kāi)銷(xiāo)。 對(duì)網(wǎng)絡(luò)安全監(jiān)控環(huán)境下的 Skyline 查詢進(jìn)行了研究?？紤]網(wǎng)絡(luò)安全監(jiān)控場(chǎng)景與先進(jìn)先出滑動(dòng)窗口單數(shù)據(jù)流場(chǎng)景存在很大差異，原有數(shù)據(jù)流上的連續(xù) Skyline 計(jì)算方法不再適用。針對(duì)這一情況，首先概括出了按任意順序隨機(jī)增刪的多數(shù)據(jù)流場(chǎng)景下的 Skyline 計(jì)算問(wèn)題，然后提出了兩個(gè)解決算法：基本算法 BCSC 和基于網(wǎng)格索引數(shù)據(jù)結(jié)構(gòu)的算法 GICSC。前者是在已有算法基礎(chǔ)上的適 應(yīng)性改造，而后者采用了新穎的數(shù)據(jù)結(jié)構(gòu)以及高效的初始化和動(dòng)態(tài)維護(hù)方法，在保證結(jié)果正確性的前提下僅需對(duì)部分?jǐn)?shù)據(jù)進(jìn)行處理，因此具有更高的效率。根據(jù)數(shù)據(jù)分布和維度的不同， GICSC 每秒能夠處理 103～ 105個(gè)數(shù)據(jù)。由于沒(méi)有對(duì)數(shù)據(jù)流特性進(jìn)行假設(shè)限制，因此 BCSC 和 GICSC 算法具有更廣泛的適應(yīng)性，能夠滿足網(wǎng)絡(luò)安全監(jiān)控中隨機(jī)增刪的多流場(chǎng)景。 對(duì)基于預(yù)測(cè)模型的通用降低通信開(kāi)銷(xiāo)方法進(jìn)行了進(jìn)一步研究。描述了該方法的詳細(xì)體系結(jié)構(gòu)，改進(jìn)了現(xiàn)有的預(yù)測(cè)模型并與之進(jìn)行了比較。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)證明了改進(jìn)后的模型在預(yù)測(cè) 準(zhǔn)確率、降低通信開(kāi)銷(xiāo)等方面的優(yōu)勢(shì)。 基于上述關(guān)鍵技術(shù)的研究探索，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)流處理引擎StarAnalysis+的系統(tǒng)原型，并討論了其在 “ 北京奧運(yùn)網(wǎng)安全態(tài)勢(shì)分析與展示系統(tǒng) ” 中的驗(yàn)證性應(yīng)用等問(wèn)題。 綜上所述，本文的工作針對(duì)網(wǎng)絡(luò)安全監(jiān)控應(yīng)用中亟待解決的數(shù)據(jù)處理問(wèn)題，就幾個(gè)重要的基礎(chǔ)操作進(jìn)行了計(jì)算、存儲(chǔ)、通信高效的關(guān)鍵算法突破研究，同時(shí)提出了基于預(yù)測(cè)模型的通用降低通信開(kāi)銷(xiāo)框架，對(duì)于促進(jìn)大規(guī)模網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)處理的理論研究和實(shí)用化具有一定的理論意義和應(yīng)用價(jià)值。 正文內(nèi)容 隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展和網(wǎng)絡(luò)應(yīng)用的日益廣泛，互聯(lián)網(wǎng)在人們的生活中扮演著越來(lái)越重要的角色。與此同時(shí)，各種網(wǎng)絡(luò)安全事件層出不窮，嚴(yán)重威脅著互聯(lián)網(wǎng)的應(yīng)用和發(fā)展。以安全為目的的網(wǎng)絡(luò)監(jiān)控，在維護(hù)網(wǎng)絡(luò)正常高效運(yùn)行、保障關(guān)鍵設(shè)施和信息系統(tǒng)安全等方面，具有越來(lái)越重要的作用。如何對(duì)分布、海量的網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)實(shí)施有效的網(wǎng)絡(luò)傳輸和高效的在線分析，進(jìn)而為各種應(yīng)用提供進(jìn)一步支持，成為網(wǎng)絡(luò)安全和數(shù)據(jù)處理領(lǐng)域的一個(gè)重大挑戰(zhàn)。 本文以網(wǎng)絡(luò)安全監(jiān)控為背景，針對(duì)網(wǎng)絡(luò)監(jiān)控應(yīng)用特點(diǎn)和當(dāng)前監(jiān)控?cái)?shù)據(jù)處理存在的挑戰(zhàn)性問(wèn)題，從數(shù)據(jù)流處理角度，對(duì) 分布式網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)處理中幾個(gè)關(guān)鍵問(wèn)題的高效處理技術(shù)進(jìn)行了研究。主要貢獻(xiàn)為： 針對(duì)分布式連續(xù)極值查詢，研究了計(jì)算、存儲(chǔ)、通信高效的處理方法。首先提出了一種數(shù)據(jù)裁剪策略，僅需保存部分關(guān)鍵點(diǎn)便可滿足查詢需要；遠(yuǎn)程節(jié)點(diǎn)采用延遲傳輸算法 DTA，在保證結(jié)果正確性的前提下盡量延遲數(shù)據(jù)傳遞并依據(jù)裁剪策略對(duì)局部數(shù)據(jù)流進(jìn)行過(guò)濾，達(dá)到降低網(wǎng)絡(luò)通信量的目的；集中式節(jié)點(diǎn)采用多極值查詢處理算法 MCEQP，充分利用系統(tǒng)中多個(gè)查詢間可共享的資源，將多個(gè)查詢作為整體進(jìn)行考慮，比對(duì)每個(gè)查詢分別單獨(dú)處理更加高效。理論分析和實(shí)驗(yàn)結(jié)果表 明，當(dāng)數(shù)據(jù)規(guī)模較大時(shí)，裁剪策略可以丟棄約 99％的數(shù)據(jù)，若數(shù)據(jù)滿足獨(dú)立均勻分布，實(shí)際需要保存的關(guān)鍵點(diǎn)個(gè)數(shù)僅為O(logN)；與傳輸所有數(shù)據(jù)的方法相比， DTA 方法僅需不到 10％的通信量； MCEOP方法也比目前已有的基于資源共享技術(shù)的通用方法更加高效。 針對(duì)分布式閾值監(jiān)控，研究了低通信開(kāi)銷(xiāo)的處理方法 CEM。該方法充分利用被監(jiān)控對(duì)象間的相對(duì)關(guān)系，把多個(gè)對(duì)象作為整體進(jìn)行統(tǒng)一處理，將多個(gè)對(duì)象的持續(xù)監(jiān)控變?yōu)閷?duì)一個(gè)代表對(duì)象的監(jiān)控和對(duì)局部約束條件的維護(hù)操作，比分別單獨(dú)監(jiān)控每個(gè)對(duì)象更加高效；只有當(dāng)局部約束被打破時(shí)，才需 要通信并進(jìn)行參數(shù)調(diào)整以重建約束。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，與將對(duì)象分別獨(dú)立監(jiān)控的方法相比， CEM 方法能夠有效降低約 70％的通信開(kāi)銷(xiāo)。 對(duì)網(wǎng)絡(luò)安全監(jiān)控環(huán)境下的 Skyline 查詢進(jìn)行了研究?？紤]網(wǎng)絡(luò)安全監(jiān)控場(chǎng)景與先進(jìn)先出滑動(dòng)窗口單數(shù)據(jù)流場(chǎng)景存在很大差異，原有數(shù)據(jù)流上的連續(xù) Skyline 計(jì)算方法不再適用。針對(duì)這一情況，首先概括出了按任意順序隨機(jī)增刪的多數(shù)據(jù)流場(chǎng)景下的 Skyline 計(jì)算問(wèn)題，然后提出了兩個(gè)解決算法：基本算法 BCSC 和基于網(wǎng)格索引數(shù)據(jù)結(jié)構(gòu)的算法 GICSC。前者是在已有算法基礎(chǔ)上的適應(yīng)性 改造，而后者采用了新穎的數(shù)據(jù)結(jié)構(gòu)以及高效的初始化和動(dòng)態(tài)維護(hù)方法，在保證結(jié)果正確性的前提下僅需對(duì)部分?jǐn)?shù)據(jù)進(jìn)行處理，因此具有更高的效率。根據(jù)數(shù)據(jù)分布和維度的不同， GICSC 每秒能夠處理 103～ 105個(gè)數(shù)據(jù)。由于沒(méi)有對(duì)數(shù)據(jù)流特性進(jìn)行假設(shè)限制，因此 BCSC 和 GICSC 算法具有更廣泛的適應(yīng)性，能夠滿足網(wǎng)絡(luò)安全監(jiān)控中隨機(jī)增刪的多流場(chǎng)景。 對(duì)基于預(yù)測(cè)模型的通用降低通信開(kāi)銷(xiāo)方法進(jìn)行了進(jìn)一步研究。描述了該方法的詳細(xì)體系結(jié)構(gòu)，改進(jìn)了現(xiàn)有的預(yù)測(cè)模型并與之進(jìn)行了比較。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)證明了改進(jìn)后的模型在預(yù)測(cè)準(zhǔn)確 率、降低通信開(kāi)銷(xiāo)等方面的優(yōu)勢(shì)。 基于上述關(guān)鍵技術(shù)的研究探索，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)流處理引擎StarAnalysis+的系統(tǒng)原型，并討論了其在 “ 北京奧運(yùn)網(wǎng)安全態(tài)勢(shì)分析與展示系統(tǒng) ” 中的驗(yàn)證性應(yīng)用等問(wèn)題。 綜上所述，本文的工作針對(duì)網(wǎng)絡(luò)安全監(jiān)控應(yīng)用中亟待解決的數(shù)據(jù)處理問(wèn)題，就幾個(gè)重要的基礎(chǔ)操作進(jìn)行了計(jì)算、存儲(chǔ)、通信高效的關(guān)鍵算法突破研究，同時(shí)提出了基于預(yù)測(cè)模型的通用降低通信開(kāi)銷(xiāo)框架，對(duì)于促進(jìn)大規(guī)模網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)處理的理論研究和實(shí)用化具有一定的理論意義和應(yīng)用價(jià)值。 隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展和 網(wǎng)絡(luò)應(yīng)用的日益廣泛，互聯(lián)網(wǎng)在人們的生活中扮演著越來(lái)越重要的角色。與此同時(shí)，各種網(wǎng)絡(luò)安全事件層出不窮，嚴(yán)重威脅著互聯(lián)網(wǎng)的應(yīng)用和發(fā)展。以安全為目的的網(wǎng)絡(luò)監(jiān)控，在維護(hù)網(wǎng)絡(luò)正常高效運(yùn)行、保障關(guān)鍵設(shè)施和信息系統(tǒng)安全等方面，具有越來(lái)越重要的作用。如何對(duì)分布、海量的網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)實(shí)施有效的網(wǎng)絡(luò)傳輸和高效的在線分析，進(jìn)而為各種應(yīng)用提供進(jìn)一步支持，成為網(wǎng)絡(luò)安全和數(shù)據(jù)處理領(lǐng)域的一個(gè)重大挑戰(zhàn)。 本文以網(wǎng)絡(luò)安全監(jiān)控為背景，針對(duì)網(wǎng)絡(luò)監(jiān)控應(yīng)用特點(diǎn)和當(dāng)前監(jiān)控?cái)?shù)據(jù)處理存在的挑戰(zhàn)性問(wèn)題，從數(shù)據(jù)流處理角度，對(duì)分布式網(wǎng)絡(luò)安全監(jiān)控?cái)?shù)據(jù)處理中 幾個(gè)關(guān)鍵問(wèn)題的高效處理技術(shù)進(jìn)行了研究。主要貢獻(xiàn)為： 針對(duì)分布式連續(xù)極值查詢，研究了計(jì)算、存儲(chǔ)、通信高效的處理方法。首先提出了一種數(shù)據(jù)裁剪策略，僅需保存部分關(guān)鍵點(diǎn)便可滿足查詢需要；遠(yuǎn)程節(jié)點(diǎn)采用延遲傳輸算法 DTA，在保證結(jié)果正確性的前提下盡量延遲數(shù)據(jù)傳遞并依據(jù)裁剪策略對(duì)局部數(shù)據(jù)流進(jìn)行過(guò)濾，達(dá)到降低網(wǎng)絡(luò)通信量的目的