【正文】 示意圖。在執(zhí)行層次上，LinearDB吸取了MapReduce處理模式的設(shè)計思想，將數(shù)據(jù)倉庫查詢的處理抽象為Transform、Reduce、Merge 3個操作(TRM執(zhí)行模型)：(1)Transform。主節(jié)點對查詢進行預(yù)處理，將查詢中作用于維表的操作(主要是謂詞判斷，groupby聚集操作等)轉(zhuǎn)換為事實表上的操作；(2)Reduce。每個數(shù)據(jù)節(jié)點并行地掃描、聚集本地數(shù)據(jù)，然后將處理結(jié)果返回給主節(jié)點；(3)Merge。主節(jié)點對各個數(shù)據(jù)節(jié)點返回的結(jié)果進行合并，并執(zhí)行后續(xù)的過濾、排序等操作?；赥RM執(zhí)行模型，查詢可以劃分為眾多獨立的子任務(wù)在大規(guī)模機群上并行執(zhí)行。執(zhí)行過程中，任何失敗子任務(wù)都可以在其備份節(jié)點重新執(zhí)行，從而獲得較好的容錯能力。LinearDB的執(zhí)行代價主要取決于對事實表的Reduce(主要是掃描)操作，因此，LinearDB可以獲得近乎線性的大規(guī)模可擴展能力。實驗表明，其性能比HadoopDB至少高出一個數(shù)量級。LinearDB的擴展能力、容錯能力和高性能在于其巧妙地結(jié)合了關(guān)系數(shù)據(jù)庫技術(shù)(層次編碼技術(shù)、泛關(guān)系模式)和MapReduce處理模式的設(shè)計思想，由此，可以看出，結(jié)合方式的不同可以導(dǎo)致系統(tǒng)能力的巨大差異。圖 11 對比：一個典型星型模型與其對應(yīng)的無連接雪花模型 DumboDumbo的核心思想是根據(jù)MapReduce的“過濾聚集”的處理模式，對OLAP查詢的處理進行改造，使其適應(yīng)于MapReduce框架。Dumbo采用了類似于LinearDB的數(shù)據(jù)組織模式——利用層次編碼技術(shù)將維表信息壓縮進事實表，區(qū)別在于Dumbo采用了更加有效的編碼方式，并針對Hadoop分布式文件系統(tǒng)的特點對數(shù)據(jù)的存儲進行了優(yōu)化。在執(zhí)行層次上，Dumbo對MapReduce框架進行了擴展，設(shè)計了新的OLAP查詢處理框架——TMRP(TransformMapReduce Postprocess)處理框架(如圖 11圖 12所示)。在該框架中，主節(jié)點首先對查詢進行轉(zhuǎn)換，生成一個MapReduce任務(wù)來執(zhí)行查詢。該任務(wù)在Map階段以流水線方式掃描、聚集本地數(shù)據(jù)，并只將本地的聚集數(shù)據(jù)傳至Reduce階段，來進行數(shù)據(jù)的合并及聚集、排序等操作。在Postprocess階段，主節(jié)點在數(shù)據(jù)節(jié)點上傳的聚集數(shù)據(jù)之上執(zhí)行連接操作。實驗表明，Dumbo性能遠超Hadoop和HadoopDB。由此我們可以看出，復(fù)雜的OLAP查詢在MapReduce框架下也可以獲得接近甚至超越關(guān)系數(shù)據(jù)庫的性能，其關(guān)鍵在于如何有效地結(jié)合關(guān)系數(shù)據(jù)庫和MapReduce兩種技術(shù)。僅僅停留于表層的移植和集成是難以從根本上解決大數(shù)據(jù)分析問題的。我們在文獻[41]的研究中也展示了如何基于這種新的數(shù)據(jù)組織方式來實現(xiàn)復(fù)雜分析操作———百分位數(shù)的高效計算問題。LinearDB和Dumbo雖然基本可以達到預(yù)期的設(shè)計目標，但兩者都需要對數(shù)據(jù)進行預(yù)處理，其預(yù)處理代價是普通加載時間的7倍左右。因此其應(yīng)對變化的能力還較弱，這是未來的工作內(nèi)容之一。圖 12 Dumbo架構(gòu)(深灰色部分是新增模塊,剩余部分是Hadoop自帶模塊)6 大數(shù)據(jù)時代的挑戰(zhàn)與應(yīng)對策略 大數(shù)據(jù)時代面臨的挑戰(zhàn)運營商帶寬能力與對數(shù)據(jù)洪流的適應(yīng)能力面臨前所未有的挑戰(zhàn)，管道化壓力化解及“云－管－端”的有效裝備也均面臨新挑戰(zhàn)。大數(shù)據(jù)的“四V”特征在數(shù)據(jù)存儲、傳輸、分析、處理等方面均帶來本質(zhì)變化。數(shù)據(jù)量的快速增長，對存儲技術(shù)提出了挑戰(zhàn)；同時，需要高速信息傳輸能力支持，與低密度有價值數(shù)據(jù)的快速分析、處理能力。海量數(shù)據(jù)洪流中，在線對話與在線交易活動日益增加，其安全威脅更為嚴峻；而且現(xiàn)今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓，典型的有APT（Advanced Persistent Threat，高級持續(xù)性安全威脅）。大數(shù)據(jù)環(huán)境下通過對用戶數(shù)據(jù)的深度分析，很容易了解用戶行為和喜好，乃至企業(yè)用戶的商業(yè)機密，對個人隱私問題必須引起充分重視。大數(shù)據(jù)時代的基本特征，決定其在技術(shù)與商業(yè)模式上有巨大的創(chuàng)新空間，這將對可持續(xù)發(fā)展起關(guān)鍵作用。大數(shù)據(jù)時代的基本特征及安全挑戰(zhàn)，對政府制訂規(guī)則與監(jiān)管部門發(fā)揮作用提出了新的挑戰(zhàn)。 大數(shù)據(jù)時代的應(yīng)對策略大數(shù)據(jù)時代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計算，在大數(shù)據(jù)洪流中提升知識價值洞察力，實施高效實時個性化運作，建立有效增值的商業(yè)模式，確保應(yīng)對APT之類的新型安全威脅。電信運營商轉(zhuǎn)型中流量經(jīng)營已成共識，即以智能管道與聚合平臺為基礎(chǔ)，以擴大流量規(guī)模、提升流量層次及豐富流量內(nèi)涵作為基本經(jīng)營方向，并以釋放流量價值為基本目標，可見大數(shù)據(jù)和云計算的深度融合與此流量經(jīng)營目標十分吻合。實際上已經(jīng)有一些運營商借助大數(shù)據(jù)Hadoop云工具管理與分析網(wǎng)絡(luò)中的用戶數(shù)據(jù)，為日常運維及制定市場戰(zhàn)略等提供有效支撐。針對大數(shù)據(jù)時代的基本特征，加強全方位創(chuàng)新。包括IBM、EMC、HP、Microsoft等在內(nèi)的IT巨頭，紛紛加速收購相關(guān)大數(shù)據(jù)公司進行技術(shù)整合，尋找數(shù)據(jù)洪流大潮中新的立足點。而涉及人工智能、機器學(xué)習(xí)等新技術(shù)的創(chuàng)新應(yīng)用，已初顯效益。將大數(shù)據(jù)時代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結(jié)合。借助移動互聯(lián)網(wǎng)、大數(shù)據(jù)與云計算的融合、智能運營管道等，建立智能平臺，優(yōu)化配置城市資源，向真正的智慧城市邁進。借助大數(shù)據(jù)創(chuàng)新處理技術(shù)應(yīng)對APT安全攻擊。APT安全攻擊的最主要特征為單點隱蔽能力強、攻擊空間路徑不確定、攻擊渠道不確定；同時APT攻擊一旦入侵成功則長期潛伏，攻擊時間上具有持續(xù)性。目前，全流量審計方案具備強大的實時檢測能力與事后回溯能力，并可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起，是一種較完整的解決方案。7 結(jié)束語大數(shù)據(jù)技術(shù)的運用前景是十分光明的。當前，我國正處在全面建成小康社會征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進信息網(wǎng)絡(luò)技術(shù)廣泛運用，是實現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)是新一代信息技術(shù)的集中反映，是一個應(yīng)用驅(qū)動性很強的服務(wù)領(lǐng)域，是具有無窮潛力的新興產(chǎn)業(yè)領(lǐng)域；目前，其標準和產(chǎn)業(yè)格局尚未形成，這是我國實現(xiàn)跨越式發(fā)展的寶貴機會。我們要從戰(zhàn)略上重視大數(shù)據(jù)的開發(fā)利用，將它作為轉(zhuǎn)變經(jīng)濟增長方式的有效抓手，但要注意科學(xué)規(guī)劃，切忌一哄而上。大數(shù)據(jù)時代呼喚創(chuàng)新型人才。中國是人才大國，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。1 / 24參 考 文 獻[1]. 統(tǒng)計與管理，2013年6月，熱點透視，河北統(tǒng)計局，李永宏，《大數(shù)據(jù)與云計算》首段[2]. 中國改革報，2013年3月26日第012版，民生視窗聚焦，歐陽靜，《云計算——大數(shù)據(jù)時代帶來全球性深刻變革》第4頁[3]. VAQUERO L M, RODEROMERINO L, CACERES J, etal. A break in the clouds: towards a cloud definition[J]. ACM SIGCOMM Computer Communication Review, 2009, 39(1): 5055.[4]. 中國改革報，2013年3月26日第012版，民生視窗聚焦，歐陽靜，《云計算——大數(shù)據(jù)時代帶來全球性深刻變革》第2頁[5]. 戰(zhàn)略與決策研究，中國科學(xué)院計算技術(shù)研究所 北京，李國杰、程學(xué)旗，《大數(shù)據(jù)研究：未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考》[6]. 計算機研究與發(fā)展，2013年，50(1)：146169，中國人民大學(xué)信息學(xué)院，孟小峰 慈祥，《大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)》[7]. 計算機學(xué)報，2011年10月，第34卷 第10期，中國人民大學(xué)信息學(xué)院 北京，王珊 王會舉 覃雄派 周烜，《架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望》[8]. 南京郵電大學(xué)，碩士學(xué)位論文，2013年2月，鄧謙，《基于Hadoop的云計算安全機制研究》[9]. 國金證券，2012年1月4日，大數(shù)據(jù)專題，行業(yè)公司專題報告，趙?國?棟，《大?數(shù)?據(jù)?時?代?的?三?大?發(fā)?展?趨?勢?及?投?資?方?向?》[10]. 信息工程大學(xué)，博士學(xué)位論文，2013年4月，劉婷婷，《面向云計算的數(shù)據(jù)安全保護關(guān)鍵技術(shù)研究》[11]. 醫(yī)學(xué)信息雜志，2013年第34卷第5期 ，武漢郵電科學(xué)研究院，高漢松、肖凌、許德瑋、桑梓勤，《基于云計算的醫(yī)療大數(shù)據(jù)挖掘平臺》