【文章內(nèi)容簡介】 流場景下的 Skyline 計算問題，然后提出了兩個解決算法：基本算法 BCSC 和基于網(wǎng)格索引數(shù)據(jù)結(jié)構(gòu)的算法 GICSC。前者是在已有算法基礎(chǔ)上的適應(yīng)性改造，而后者采用了新穎的數(shù)據(jù)結(jié)構(gòu)以及高效的初始化和動態(tài)維護(hù)方法，在保證結(jié)果正確性的前 提下僅需對部分?jǐn)?shù)據(jù)進(jìn)行處理，因此具有更高的效率。根據(jù)數(shù)據(jù)分布和維度的不同， GICSC 每秒能夠處理 103～ 105個數(shù)據(jù)。由于沒有對數(shù)據(jù)流特性進(jìn)行假設(shè)限制，因此 BCSC 和 GICSC 算法具有更廣泛的適應(yīng)性，能夠滿足網(wǎng)絡(luò)安全監(jiān)控中隨機(jī)增刪的多流場景。 對基于預(yù)測模型的通用降低通信開銷方法進(jìn)行了進(jìn)一步研究。描述了該方法的詳細(xì)體系結(jié)構(gòu)，改進(jìn)了現(xiàn)有的預(yù)測模型并與之進(jìn)行了比較。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)證明了改進(jìn)后的模型在預(yù)測準(zhǔn)確率、降低通信開銷等方面的優(yōu)勢。 基于上述關(guān)鍵技術(shù)的研究探索，設(shè)計并實(shí)現(xiàn)了一個 網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)流處理引擎StarAnalysis+的系統(tǒng)原型，并討論了其在 “ 北京奧運(yùn)網(wǎng)安全態(tài)勢分析與展示系統(tǒng) ” 中的驗(yàn)證性應(yīng)用等問題。 綜上所述，本文的工作針對網(wǎng)絡(luò)安全監(jiān)控應(yīng)用中亟待解決的數(shù)據(jù)處理問題，就幾個重要的基礎(chǔ)操作進(jìn)行了計算、存儲、通信高效的關(guān)鍵算法突破研究，同時提出了基于預(yù)測模型的通用降低通信開銷框架，對于促進(jìn)大規(guī)模網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)處理的理論研究和實(shí)用化具有一定的理論意義和應(yīng)用價值。 隨著計算機(jī)技術(shù)的飛速發(fā)展和網(wǎng)絡(luò)應(yīng)用的日益廣泛，互聯(lián)網(wǎng)在人們的生活中扮演著越來越重要的角色。與此同時，各種網(wǎng)絡(luò)安 全事件層出不窮，嚴(yán)重威脅著互聯(lián)網(wǎng)的應(yīng)用和發(fā)展。以安全為目的的網(wǎng)絡(luò)監(jiān)控，在維護(hù)網(wǎng)絡(luò)正常高效運(yùn)行、保障關(guān)鍵設(shè)施和信息系統(tǒng)安全等方面，具有越來越重要的作用。如何對分布、海量的網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)實(shí)施有效的網(wǎng)絡(luò)傳輸和高效的在線分析，進(jìn)而為各種應(yīng)用提供進(jìn)一步支持，成為網(wǎng)絡(luò)安全和數(shù)據(jù)處理領(lǐng)域的一個重大挑戰(zhàn)。 本文以網(wǎng)絡(luò)安全監(jiān)控為背景，針對網(wǎng)絡(luò)監(jiān)控應(yīng)用特點(diǎn)和當(dāng)前監(jiān)控數(shù)據(jù)處理存在的挑戰(zhàn)性問題，從數(shù)據(jù)流處理角度，對分布式網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)處理中幾個關(guān)鍵問題的高效處理技術(shù)進(jìn)行了研究。主要貢獻(xiàn)為： 針對分布式連續(xù)極值查詢， 研究了計算、存儲、通信高效的處理方法。首先提出了一種數(shù)據(jù)裁剪策略，僅需保存部分關(guān)鍵點(diǎn)便可滿足查詢需要；遠(yuǎn)程節(jié)點(diǎn)采用延遲傳輸算法 DTA，在保證結(jié)果正確性的前提下盡量延遲數(shù)據(jù)傳遞并依據(jù)裁剪策略對局部數(shù)據(jù)流進(jìn)行過濾，達(dá)到降低網(wǎng)絡(luò)通信量的目的；集中式節(jié)點(diǎn)采用多極值查詢處理算法 MCEQP，充分利用系統(tǒng)中多個查詢間可共享的資源，將多個查詢作為整體進(jìn)行考慮，比對每個查詢分別單獨(dú)處理更加高效。理論分析和實(shí)驗(yàn)結(jié)果表明，當(dāng)數(shù)據(jù)規(guī)模較大時，裁剪策略可以丟棄約99％的數(shù)據(jù)，若數(shù)據(jù)滿足獨(dú)立均勻分布，實(shí)際需要保存的關(guān)鍵點(diǎn)個數(shù)僅為O(logN)；與傳輸所有數(shù)據(jù)的方法相比， DTA 方法僅需不到 10％的通信量； MCEOP方法也比目前已有的基于資源共享技術(shù)的通用方法更加高效。 針對分布式閾值監(jiān)控，研究了低通信開銷的處理方法 CEM。該方法充分利用被監(jiān)控對象間的相對關(guān)系，把多個對象作為整體進(jìn)行統(tǒng)一處理，將多個對象的持續(xù)監(jiān)控變?yōu)閷σ粋€代表對象的監(jiān)控和對局部約束條件的維護(hù)操作，比分別單獨(dú)監(jiān)控每個對象更加高效；只有當(dāng)局部約束被打破時，才需要通信并進(jìn)行參數(shù)調(diào)整以重建約束。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，與將對象分別獨(dú)立監(jiān)控的方法相比， CEM 方法能夠 有效降低約 70％的通信開銷。 對網(wǎng)絡(luò)安全監(jiān)控環(huán)境下的 Skyline 查詢進(jìn)行了研究?？紤]網(wǎng)絡(luò)安全監(jiān)控場景與先進(jìn)先出滑動窗口單數(shù)據(jù)流場景存在很大差異，原有數(shù)據(jù)流上的連續(xù) Skyline 計算方法不再適用。針對這一情況，首先概括出了按任意順序隨機(jī)增刪的多數(shù)據(jù)流場景下的 Skyline 計算問題，然后提出了兩個解決算法：基本算法 BCSC 和基于網(wǎng)格索引數(shù)據(jù)結(jié)構(gòu)的算法 GICSC。前者是在已有算法基礎(chǔ)上的適應(yīng)性改造，而后者采用了新穎的數(shù)據(jù)結(jié)構(gòu)以及高效的初始化和動態(tài)維護(hù)方法，在保證結(jié)果正確性的前提下僅需對部分?jǐn)?shù)據(jù)進(jìn)行處理， 因此具有更高的效率。根據(jù)數(shù)據(jù)分布和維度的不同， GICSC 每秒能夠處理 103～ 105個數(shù)據(jù)。由于沒有對數(shù)據(jù)流特性進(jìn)行假設(shè)限制，因此 BCSC 和 GICSC 算法具有更廣泛的適應(yīng)性，能夠滿足網(wǎng)絡(luò)安全監(jiān)控中隨機(jī)增刪的多流場景。 對基于預(yù)測模型的通用降低通信開銷方法進(jìn)行了進(jìn)一步研究。描述了該方法的詳細(xì)體系結(jié)構(gòu)，改進(jìn)了現(xiàn)有的預(yù)測模型并與之進(jìn)行了比較。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)證明了改進(jìn)后的模型在預(yù)測準(zhǔn)確率、降低通信開銷等方面的優(yōu)勢。 基于上述關(guān)鍵技術(shù)的研究探索，設(shè)計并實(shí)現(xiàn)了一個網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)流處理引擎StarAnalysis+的系統(tǒng)原型，并討論了其在 “ 北京奧運(yùn)網(wǎng)安全態(tài)勢分析與展示系統(tǒng) ” 中的驗(yàn)證性應(yīng)用等問題。 綜上所述，本文的工作針對網(wǎng)絡(luò)安全監(jiān)控應(yīng)用中亟待解決的數(shù)據(jù)處理問題，就幾個重要的基礎(chǔ)操作進(jìn)行了計算、存儲、通信高效的關(guān)鍵算法突破研究，同時提出了基于預(yù)測模型的通用降低通信開銷框架，對于促進(jìn)大規(guī)模網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)處理的理論研究和實(shí)用化具有一定的理論意義和應(yīng)用價值。 隨著計算機(jī)技術(shù)的飛速發(fā)展和網(wǎng)絡(luò)應(yīng)用的日益廣泛，互聯(lián)網(wǎng)在人們的生活中扮演著越來越重要的角色。與此同時，各種網(wǎng)絡(luò)安全事件層出不窮，嚴(yán)重威脅著互 聯(lián)網(wǎng)的應(yīng)用和發(fā)展。以安全為目的的網(wǎng)絡(luò)監(jiān)控，在維護(hù)網(wǎng)絡(luò)正常高效運(yùn)行、保障關(guān)鍵設(shè)施和信息系統(tǒng)安全等方面，具有越來越重要的作用。如何對分布、海量的網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)實(shí)施有效的網(wǎng)絡(luò)傳輸和高效的在線分析，進(jìn)而為各種應(yīng)用提供進(jìn)一步支持，成為網(wǎng)絡(luò)安全和數(shù)據(jù)處理領(lǐng)域的一個重大挑戰(zhàn)。 本文以網(wǎng)絡(luò)安全監(jiān)控為背景，針對網(wǎng)絡(luò)監(jiān)控應(yīng)用特點(diǎn)和當(dāng)前監(jiān)控數(shù)據(jù)處理存在的挑戰(zhàn)性問題，從數(shù)據(jù)流處理角度，對分布式網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)處理中幾個關(guān)鍵問題的高效處理技術(shù)進(jìn)行了研究。主要貢獻(xiàn)為： 針對分布式連續(xù)極值查詢，研究了計算、存儲、通信高效的 處理方法。首先提出了一種數(shù)據(jù)裁剪策略，僅需保存部分關(guān)鍵點(diǎn)便可滿足查詢需要；遠(yuǎn)程節(jié)點(diǎn)采用延遲傳輸算法 DTA，在保證結(jié)果正確性的前提下盡量延遲數(shù)據(jù)傳遞并依據(jù)裁剪策略對局部數(shù)據(jù)流進(jìn)行過濾，達(dá)到降低網(wǎng)絡(luò)通信量的目的；集中式節(jié)點(diǎn)采用多極值查詢處理算法 MCEQP，充分利用系統(tǒng)中多個查詢間可共享的資源，將多個查詢作為整體進(jìn)行考慮，比對每個查詢分別單獨(dú)處理更加高效。理論分析和實(shí)驗(yàn)結(jié)果表明，當(dāng)數(shù)據(jù)規(guī)模較大時，裁剪策略可以丟棄約99％的數(shù)據(jù)，若數(shù)據(jù)滿足獨(dú)立均勻分布，實(shí)際需要保存的關(guān)鍵點(diǎn)個數(shù)僅為O(logN)；與傳輸所有數(shù)據(jù)的方 法相比， DTA 方法僅需不到 10％的通信量； MCEOP方法也比目前已有的基于資源共享技術(shù)的通用方法更加高效。 針對分布式閾值監(jiān)控，研究了低通信開銷的處理方法 CEM。該方法充分利用被監(jiān)控對象間的相對關(guān)系，把多個對象作為整體進(jìn)行統(tǒng)一處理，將多個對象的持續(xù)監(jiān)控變?yōu)閷σ粋€代表對象的監(jiān)控和對局部約束條件的維護(hù)操作，比分別單獨(dú)監(jiān)控每個對象更加高效；只有當(dāng)局部約束被打破時，才需要通信并進(jìn)行參數(shù)調(diào)整以重建約束。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，與將對象分別獨(dú)立監(jiān)控的方法相比， CEM 方法能夠有效降低約 70％的通信開銷。 對網(wǎng)絡(luò)安全監(jiān)控環(huán)境下的 Skyline 查詢進(jìn)行了研究?？紤]網(wǎng)絡(luò)安全監(jiān)控場景與先進(jìn)先出滑動窗口單數(shù)據(jù)流場景存在很大差異，原有數(shù)據(jù)流上的連續(xù) Skyline 計算方法不再適用。針對這一情況，首先概括出了按任意順序隨機(jī)增刪的多數(shù)據(jù)流場景下的 Skyline 計算問題，然后提出了兩個解決算法：基本算法 BCSC 和基于網(wǎng)格索引數(shù)據(jù)結(jié)構(gòu)的算法 GICSC。前者是在已有算法基礎(chǔ)上的適應(yīng)性改造，而后者采用了新穎的數(shù)據(jù)結(jié)構(gòu)以及高效的初始化和動態(tài)維護(hù)方法，在保證結(jié)果正確性的前提下僅需對部分?jǐn)?shù)據(jù)進(jìn)行處理，因此具有更高的效率。根據(jù)數(shù)據(jù) 分布和維度的不同， GICSC 每秒能夠處理 103～ 105個數(shù)據(jù)。由于沒有對數(shù)據(jù)流特性進(jìn)行假設(shè)限制，因此 BCSC 和 GICSC 算法具有更廣泛的適應(yīng)性，能夠滿足網(wǎng)絡(luò)安全監(jiān)控中隨機(jī)增刪的多流場景。 對基于預(yù)測模型的通用降低通信開銷方法進(jìn)行了進(jìn)一步研究。描述了該方法的詳細(xì)體系結(jié)構(gòu)，改進(jìn)了現(xiàn)有的預(yù)測模型并與之進(jìn)行了比較。理論分析和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)證明了改進(jìn)后的模型在預(yù)測準(zhǔn)確率、降低通信開銷等方面的優(yōu)勢。 基于上述關(guān)鍵技術(shù)的研究探索，設(shè)計并實(shí)現(xiàn)了一個網(wǎng)絡(luò)安全監(jiān)控數(shù)據(jù)流處理引擎StarAnalysis+的系 統(tǒng)原型，并討論了其在 “ 北京奧運(yùn)網(wǎng)安全態(tài)勢分析與展示系統(tǒng) ” 中的驗(yàn)證性應(yīng)用等問題。 綜上所述，本文的工作針對網(wǎng)絡(luò)安全監(jiān)控應(yīng)用中亟待解決的數(shù)據(jù)處理問題，就幾個重要的基礎(chǔ)操作進(jìn)行了計算、存儲、通信高效的關(guān)鍵算法突破研究，同時提出了基于預(yù)測模型的通用