【正文】 聚焦，歐陽(yáng)靜，《云計(jì)算——大數(shù)據(jù)時(shí)代帶來(lái)全球性深刻變革》第4頁(yè)[3]. VAQUERO L M, RODEROMERINO L, CACERES J, etal. A break in the clouds: towards a cloud definition[J]. ACM SIGCOMM Computer Communication Review, 2009, 39(1): 5055.[4]. 中國(guó)改革報(bào)，2013年3月26日第012版，民生視窗中國(guó)是人才大國(guó)，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。我們要從戰(zhàn)略上重視大數(shù)據(jù)的開(kāi)發(fā)利用，將它作為轉(zhuǎn)變經(jīng)濟(jì)增長(zhǎng)方式的有效抓手，但要注意科學(xué)規(guī)劃，切忌一哄而上。當(dāng)前，我國(guó)正處在全面建成小康社會(huì)征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進(jìn)信息網(wǎng)絡(luò)技術(shù)廣泛運(yùn)用，是實(shí)現(xiàn)四化同步發(fā)展的保證。目前，全流量審計(jì)方案具備強(qiáng)大的實(shí)時(shí)檢測(cè)能力與事后回溯能力，并可將安全工作人員的分析能力、計(jì)算機(jī)存儲(chǔ)與運(yùn)算能力組合在一起，是一種較完整的解決方案。借助大數(shù)據(jù)創(chuàng)新處理技術(shù)應(yīng)對(duì)APT安全攻擊。將大數(shù)據(jù)時(shí)代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結(jié)合。包括IBM、EMC、HP、Microsoft等在內(nèi)的IT巨頭，紛紛加速收購(gòu)相關(guān)大數(shù)據(jù)公司進(jìn)行技術(shù)整合，尋找數(shù)據(jù)洪流大潮中新的立足點(diǎn)。實(shí)際上已經(jīng)有一些運(yùn)營(yíng)商借助大數(shù)據(jù)Hadoop云工具管理與分析網(wǎng)絡(luò)中的用戶數(shù)據(jù)，為日常運(yùn)維及制定市場(chǎng)戰(zhàn)略等提供有效支撐。 大數(shù)據(jù)時(shí)代的應(yīng)對(duì)策略大數(shù)據(jù)時(shí)代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計(jì)算，在大數(shù)據(jù)洪流中提升知識(shí)價(jià)值洞察力，實(shí)施高效實(shí)時(shí)個(gè)性化運(yùn)作，建立有效增值的商業(yè)模式，確保應(yīng)對(duì)APT之類的新型安全威脅。大數(shù)據(jù)時(shí)代的基本特征，決定其在技術(shù)與商業(yè)模式上有巨大的創(chuàng)新空間，這將對(duì)可持續(xù)發(fā)展起關(guān)鍵作用。海量數(shù)據(jù)洪流中，在線對(duì)話與在線交易活動(dòng)日益增加，其安全威脅更為嚴(yán)峻；而且現(xiàn)今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓，典型的有APT（Advanced Persistent Threat，高級(jí)持續(xù)性安全威脅）。大數(shù)據(jù)的“四V”特征在數(shù)據(jù)存儲(chǔ)、傳輸、分析、處理等方面均帶來(lái)本質(zhì)變化。因此其應(yīng)對(duì)變化的能力還較弱，這是未來(lái)的工作內(nèi)容之一。我們?cè)谖墨I(xiàn)[41]的研究中也展示了如何基于這種新的數(shù)據(jù)組織方式來(lái)實(shí)現(xiàn)復(fù)雜分析操作———百分位數(shù)的高效計(jì)算問(wèn)題。由此我們可以看出，復(fù)雜的OLAP查詢?cè)贛apReduce框架下也可以獲得接近甚至超越關(guān)系數(shù)據(jù)庫(kù)的性能，其關(guān)鍵在于如何有效地結(jié)合關(guān)系數(shù)據(jù)庫(kù)和MapReduce兩種技術(shù)。在Postprocess階段，主節(jié)點(diǎn)在數(shù)據(jù)節(jié)點(diǎn)上傳的聚集數(shù)據(jù)之上執(zhí)行連接操作。在該框架中，主節(jié)點(diǎn)首先對(duì)查詢進(jìn)行轉(zhuǎn)換，生成一個(gè)MapReduce任務(wù)來(lái)執(zhí)行查詢。Dumbo采用了類似于LinearDB的數(shù)據(jù)組織模式——利用層次編碼技術(shù)將維表信息壓縮進(jìn)事實(shí)表，區(qū)別在于Dumbo采用了更加有效的編碼方式，并針對(duì)Hadoop分布式文件系統(tǒng)的特點(diǎn)對(duì)數(shù)據(jù)的存儲(chǔ)進(jìn)行了優(yōu)化。LinearDB的擴(kuò)展能力、容錯(cuò)能力和高性能在于其巧妙地結(jié)合了關(guān)系數(shù)據(jù)庫(kù)技術(shù)(層次編碼技術(shù)、泛關(guān)系模式)和MapReduce處理模式的設(shè)計(jì)思想，由此，可以看出，結(jié)合方式的不同可以導(dǎo)致系統(tǒng)能力的巨大差異。LinearDB的執(zhí)行代價(jià)主要取決于對(duì)事實(shí)表的Reduce(主要是掃描)操作，因此，LinearDB可以獲得近乎線性的大規(guī)?？蓴U(kuò)展能力?；赥RM執(zhí)行模型，查詢可以劃分為眾多獨(dú)立的子任務(wù)在大規(guī)模機(jī)群上并行執(zhí)行。每個(gè)數(shù)據(jù)節(jié)點(diǎn)并行地掃描、聚集本地?cái)?shù)據(jù)，然后將處理結(jié)果返回給主節(jié)點(diǎn)；(3)Merge。在執(zhí)行層次上，LinearDB吸取了MapReduce處理模式的設(shè)計(jì)思想，將數(shù)據(jù)倉(cāng)庫(kù)查詢的處理抽象為Transform、Reduce、Merge 3個(gè)操作(TRM執(zhí)行模型)：(1)Transform。該模型的設(shè)計(jì)借鑒了泛關(guān)系模型的思想，采用層次編碼技術(shù)[40]將維表層次信息壓縮進(jìn)事實(shí)表，使得事實(shí)表可以獨(dú)立執(zhí)行維表上的謂詞判斷、聚集等操作，從而使連接的數(shù)據(jù)在大規(guī)模機(jī)群上實(shí)現(xiàn)局部性，消除了連接操作。兩個(gè)研究方向：(1)借鑒MapReduce的思想，使OLAP查詢的處理能像MapReduce一樣高度可擴(kuò)展(LinearDB原型)；(2)利用關(guān)系數(shù)據(jù)庫(kù)的技術(shù)，使MapReduce在處理OLAP查詢時(shí)，逼近關(guān)系數(shù)據(jù)庫(kù)的性能(Dumbo原型)[8]。鑒于此，中國(guó)人民大學(xué)高性能數(shù)據(jù)庫(kù)實(shí)驗(yàn)室的研究小組采取了另一種思路：從數(shù)據(jù)的組織和查詢的執(zhí)行兩個(gè)核心層次入手，融合關(guān)系數(shù)據(jù)庫(kù)和MapReduce兩種技術(shù)，設(shè)計(jì)高性能的可擴(kuò)展的抽象數(shù)據(jù)倉(cāng)庫(kù)查詢處理框架。在已經(jīng)投入商業(yè)使用的產(chǎn)品中、絕大部分也是在Hadoop基礎(chǔ)上進(jìn)行功能擴(kuò)展、或者提供與Hadoop的數(shù)據(jù)接口。這些工具有些是完整的處理平臺(tái)、有些則是專門針對(duì)特定的大數(shù)據(jù)處理應(yīng)用。主要的研究成果集中在對(duì)Hadoop平臺(tái)性能的改進(jìn)、高效的查詢處理、索引構(gòu)建和使用、在Hadoop之上構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)系統(tǒng)的連接、數(shù)據(jù)挖掘、推薦系統(tǒng)等。某種程度上可以說(shuō)Hadoop已經(jīng)成為大數(shù)據(jù)處理工具事實(shí)上的標(biāo)準(zhǔn)。Hadoop最先是Doug Cutting模 仿GFS，MapReduce實(shí)現(xiàn)的一個(gè)云計(jì)算開(kāi)源平臺(tái)，后貢獻(xiàn)給Apeche。本節(jié)將對(duì)現(xiàn)今主流的大數(shù)據(jù)處理工具進(jìn)行一個(gè)簡(jiǎn)單的歸納和總結(jié)。云計(jì)算所涉及到的技術(shù)很多，但是通過(guò)Google云計(jì)算技術(shù)的介紹能夠快速、完整地把握云計(jì)算技術(shù)的核心和精髓。難能可貴的是Google并未將這些技術(shù)完全封閉，而是以論文的形式逐步公開(kāi)其實(shí)現(xiàn)。需求推動(dòng)創(chuàng)新，面對(duì)海量的Web數(shù)據(jù)，Google于2006年首先提出了云計(jì)算的概念。正是云計(jì)算技術(shù)在數(shù)據(jù)存儲(chǔ)、管理與分析等方面的支撐，才使得大數(shù)據(jù)有用武之地。最終通過(guò)數(shù)據(jù)分析技術(shù)從數(shù)據(jù)庫(kù)中的大數(shù)據(jù)提取出有益的知識(shí)。為了便于數(shù)據(jù)管理，需要在文件系統(tǒng)之上建立數(shù)據(jù)庫(kù)系統(tǒng)。 關(guān)鍵技術(shù)分析大數(shù)據(jù)價(jià)值的完整體現(xiàn)需要多種技術(shù)的協(xié)同。但是大數(shù)據(jù)時(shí)代的數(shù)據(jù)分析結(jié)果往往也是海量的，同時(shí)結(jié)果之間的關(guān)聯(lián)關(guān)系極其復(fù)雜，采用傳統(tǒng)的解釋方法基本不可行。數(shù)據(jù)解釋的方法很多，比較傳統(tǒng)的就是以文本形式輸出結(jié)果或者直接在電腦終端上顯示結(jié)果。數(shù)據(jù)解釋數(shù)據(jù)分析是大數(shù)據(jù)處理的核心，但是用戶往往更關(guān)心結(jié)果的展示。傳統(tǒng)的分析技術(shù)如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等在大數(shù)據(jù)時(shí)代需要作出調(diào)整。從異構(gòu)數(shù)據(jù)源抽取和集成的數(shù)據(jù)構(gòu)成了數(shù)據(jù)分析的原始數(shù)據(jù)。隨著新的數(shù)據(jù)源的涌現(xiàn)數(shù)據(jù)集成方法也在不斷的發(fā)展之中。同時(shí)還要特別注意前面提及的大數(shù)據(jù)時(shí)代模式和數(shù)據(jù)的關(guān)系，大數(shù)據(jù)時(shí)代的數(shù)據(jù)往往是先有數(shù)據(jù)再有模式，且模式是在不斷的動(dòng)態(tài)演化之中的。要想處理大數(shù)據(jù)，首先必須對(duì)所需數(shù)據(jù)源的數(shù)據(jù)進(jìn)行抽取和集成，從中提取出關(guān)系和實(shí)體，經(jīng)過(guò)關(guān)聯(lián)和聚合之后采用統(tǒng)一定義的結(jié)構(gòu)來(lái)存儲(chǔ)這些數(shù)據(jù)。具體來(lái)說(shuō)可以分為數(shù)據(jù)抽取與集成、數(shù)據(jù)分析以及數(shù)據(jù)解釋。圖 9 大數(shù)據(jù)處理基本流程整個(gè)大數(shù)據(jù)的處理流程可以定義為在合適工具的輔助下，對(duì)廣泛異構(gòu)的數(shù)據(jù)源進(jìn)行抽取和集成，結(jié)果按照一定的標(biāo)準(zhǔn)統(tǒng)一存儲(chǔ)。 大數(shù)據(jù)處理的基本流程大數(shù)據(jù)的數(shù)據(jù)來(lái)源廣泛!應(yīng)用需求和數(shù)據(jù)類型都不盡相同!但是最基本的處理流程一致。Reduce任務(wù)從硬盤上讀取數(shù)據(jù)之后會(huì)根據(jù)Key值進(jìn)行排序，將具有相同Key值的組織在一起。Map任務(wù)從輸入中解析出鏈/值(Key/Value)對(duì)集合。一個(gè)完整的MapReduce過(guò)程如所示。與此同時(shí)很多實(shí)際系統(tǒng)也已開(kāi)發(fā)和得到廣泛的應(yīng)用，比較代表性的開(kāi)源系統(tǒng)如Twitter的Storm、Yahoo的S4以及Linkedin的Kafka等。以PCM(相變存儲(chǔ)器)為代表的儲(chǔ)存級(jí)內(nèi)存設(shè)備的出現(xiàn)或許可以使內(nèi)存未來(lái)不再成為流處理模型的制約。圖 7是流處理中基本的數(shù)據(jù)流模型：圖 7 基本的數(shù)據(jù)流模型數(shù)據(jù)的實(shí)時(shí)處理是一個(gè)很有挑戰(zhàn)性的工作，數(shù)據(jù)流本身具有持續(xù)達(dá)到%速度快且規(guī)模巨大等特點(diǎn)，因此通常不會(huì)對(duì)所有的數(shù)據(jù)進(jìn)行永久化存儲(chǔ)，而且數(shù)據(jù)環(huán)境處在不斷的變化之中，系統(tǒng)很難準(zhǔn)確掌握整個(gè)數(shù)據(jù)的全貌。流處理的處理模式將數(shù)據(jù)視為流，源源不斷的數(shù)據(jù)組成了數(shù)據(jù)流。流處理流處理的基本理念是數(shù)據(jù)的價(jià)值會(huì)隨著時(shí)間的流逝而不斷減少，因此盡可能快地對(duì)最新的數(shù)據(jù)作出分析并給出結(jié)果是所有流數(shù)據(jù)處理模式的共同目標(biāo)。4 大數(shù)據(jù)處理框架 大數(shù)據(jù)處理模式大數(shù)據(jù)的應(yīng)用類型有很多，主要的處理模式可以分為流處理（stream pr