【正文】 “大數(shù)據(jù)”的認(rèn)識與思考 劉姝祎目錄1“大數(shù)據(jù)”的時代背景 4“大數(shù)據(jù)”的概念 4“大數(shù)據(jù)”產(chǎn)生的背景 4“大數(shù)據(jù)”的特征 5“大數(shù)據(jù)”的發(fā)展階段 5“大數(shù)據(jù)”帶來的機(jī)遇 62“大數(shù)據(jù)”的關(guān)鍵技術(shù) 9“大數(shù)據(jù)”的采集和預(yù)處理 9“大數(shù)據(jù)”存儲技術(shù) 10“大數(shù)據(jù)”分析技術(shù) 10“大數(shù)據(jù)”與云計算 113大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用 12 12“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用 13：立體的大數(shù)據(jù)生態(tài)系統(tǒng) 14 14 15 164問題與挑戰(zhàn) 18 18 18 18 18 19 19 195對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議 20 20 21 221“大數(shù)據(jù)”的時代背景“大數(shù)據(jù)”的概念紐約時報在2012年宣布“大數(shù)據(jù)時代”已經(jīng)降臨，“大數(shù)據(jù)”成為了時下最火熱的詞匯。顧名思義，大數(shù)據(jù)是“無法任意時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的大量而復(fù)雜的數(shù)據(jù)集合”。Gartner認(rèn)為大數(shù)據(jù)是“需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)”?！按髷?shù)據(jù)”的要義是盡可能地收集眾多可以相互疊加補(bǔ)充的信息，據(jù)以完成對“未來”的預(yù)測。這些數(shù)據(jù)可能有些混亂，甚至?xí)霈F(xiàn)紕漏，但數(shù)據(jù)量的“多“和時間的“即刻”可以彌補(bǔ)數(shù)據(jù)質(zhì)量的瑕疵，“大數(shù)據(jù)”將以最快的速度“預(yù)測”出最“可靠”的答案，指引人們迅速采取行動?！按髷?shù)據(jù)”產(chǎn)生的背景大數(shù)據(jù)的應(yīng)用和技術(shù)是在互聯(lián)網(wǎng)快速發(fā)展中誕生的，起點可追溯到 2000 年前后。當(dāng)時互聯(lián)網(wǎng)網(wǎng)頁爆發(fā)式增長，每天新增約 700 萬個網(wǎng)頁，到 2000 年底全球網(wǎng)頁數(shù)達(dá)到 40 億，用戶檢索信息越來越不方便。谷歌等公司率先建立了覆蓋數(shù)十億網(wǎng)頁的索引庫，開始提供較為精確的搜索服務(wù)，大大提升了人們使用互聯(lián)網(wǎng)的效率，這是大數(shù)據(jù)應(yīng)用的起點。當(dāng)時搜索引擎要存儲和處理的數(shù)據(jù)，不僅數(shù)量之大前所未有，而且以非結(jié)構(gòu)化數(shù)據(jù)為主，傳統(tǒng)技術(shù)無法應(yīng)對。為此，谷歌提出了一套以分布式為特征的全新技術(shù)體系，即后來陸續(xù)公開的分布式文件系統(tǒng)(GFS， Google File System)、分布式并行計算(MapReduce)和分布式數(shù)據(jù)庫(BigTable)等技術(shù)，以較低的成本實現(xiàn)了之前技術(shù)無法達(dá)到的規(guī)模。這些技術(shù)奠定了當(dāng)前大數(shù)據(jù)技術(shù)的基礎(chǔ)，可以認(rèn)為是大數(shù)據(jù)技術(shù)的源頭。伴隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的崛起，這種創(chuàng)新的海量數(shù)據(jù)處理技術(shù)在電子商務(wù)、定向廣告、智能推薦、社交網(wǎng)絡(luò)等方面得到應(yīng)用，取得巨大的商業(yè)成功。這啟發(fā)全社會開始重新審視數(shù)據(jù)的巨大價值，于是金融、電信等擁有大量數(shù)據(jù)的行業(yè)開始嘗試這種新的理念和技術(shù)，取得初步成效。與此同時，業(yè)界也在不斷對谷歌提出的技術(shù)體系進(jìn)行擴(kuò)展，使之能在更多的場景下使用。2011 年，麥肯錫、世界經(jīng)濟(jì)論壇等知名機(jī)構(gòu)對這種數(shù)據(jù)驅(qū)動的創(chuàng)新進(jìn)行了研究總結(jié)，隨即在全世界興起了一股大數(shù)據(jù)熱潮。2012年3月，美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展計劃》，同時組建大數(shù)據(jù)高級指導(dǎo)小組，以協(xié)調(diào)政府在數(shù)據(jù)領(lǐng)域的兩億多美元投資。根據(jù)這一計劃，美國希望利用大數(shù)據(jù)技術(shù)再多個領(lǐng)域?qū)崿F(xiàn)突破，包括科研教學(xué)、環(huán)境保護(hù)、國土安全等，此舉標(biāo)志著，美國把應(yīng)對大數(shù)據(jù)技術(shù)革命帶來的機(jī)遇和挑戰(zhàn)，提高到國家戰(zhàn)略層面，形成了全體動員格局。隨后，英國、法國、日本等各國都相繼將大數(shù)據(jù)計劃作為國家戰(zhàn)略型計劃提上日程。值得一提的是，由中國各級政府主導(dǎo)的大數(shù)據(jù)計劃也已經(jīng)全面展開，“大數(shù)據(jù)”已成為推動我國經(jīng)濟(jì)和科技發(fā)展的重要力量?！按髷?shù)據(jù)”的特征“大數(shù)據(jù)”具有4V的特點：一是數(shù)據(jù)容量巨大（Volume）。國際數(shù)據(jù)公司（IDC）的研究報告稱，（2的70次方），并預(yù)測到2020年，全球?qū)碛?5ZB的數(shù)據(jù)量。二是數(shù)據(jù)類型眾多（Variety）。相對于過往以文本形式為主的結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)時代的數(shù)據(jù)類型涵蓋了圖片、音頻、視頻、網(wǎng)絡(luò)日志和地理位置信息等種類繁多的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。 三是數(shù)據(jù)價值密度低（Value）。舉例而言，在一個連續(xù)監(jiān)控三個小時的視頻中，能夠提供有效信息幫助刑偵人員破案的畫面可能只有三五秒。四是處理數(shù)據(jù)的速度要求非常快（Velocity）。一方面，面對如此巨大的數(shù)據(jù)量，處理效率至關(guān)重要，另一方面，越來越多的處理需要在瞬間完成以便做出及時的反應(yīng)。在此基礎(chǔ)上，阿里巴巴延伸至3個維度—可實時性、可解釋性、數(shù)據(jù)準(zhǔn)確性穩(wěn)定性，這三個維度是決定數(shù)據(jù)是否有價值的關(guān)鍵。 “大數(shù)據(jù)”的發(fā)展階段每種技術(shù)都有自己的生命周期，Gartner曾經(jīng)指出新技術(shù)生命周期的5個階段，即技術(shù)萌芽期（technology trigger）、期望膨脹期（Peak of Inflated Expectations）、泡沫化的谷底期 （Through of Disillusionment）、穩(wěn)步爬升的光明期 （Slope of Enlightement），最后才能進(jìn)入成熟使用期 （Plateau of Productivity）。如下圖11所示圖11大數(shù)據(jù)生命周期圖而大數(shù)據(jù)正是出于期望膨脹期，預(yù)計通過近兩年的發(fā)展，大數(shù)據(jù)將會在2016年達(dá)到泡沫化的低谷期，之后在510年的時間內(nèi)經(jīng)歷穩(wěn)步爬上的光明期，到2020年后將會到達(dá)實質(zhì)的成熟使用期?！按髷?shù)據(jù)”帶來的機(jī)遇（1）新一代信息技術(shù)融合應(yīng)用新焦點對大數(shù)據(jù)的處理和分析正成為未來新一代信息技術(shù)融合應(yīng)用的核心支撐結(jié)點。物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)字家庭、社會化網(wǎng)絡(luò)等都是新一代信息技術(shù)具體的應(yīng)用形態(tài)，大數(shù)據(jù)伴隨這些應(yīng)用不斷增長，云計算則為這些海量的、多樣化的大數(shù)據(jù)提供存儲和運算的支撐平臺。以大數(shù)據(jù)為結(jié)點，各項新一代信息技術(shù)應(yīng)用產(chǎn)生的信息將不斷匯集，并通過對不同來源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結(jié)果反饋或交叉反饋到物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、數(shù)字家庭、社會化網(wǎng)絡(luò)等應(yīng)用中，又進(jìn)一步改善使用體驗，并創(chuàng)造出巨大的商業(yè)價值、經(jīng)濟(jì)價值和社會價值。（2）信息產(chǎn)業(yè)持續(xù)高速增長的新引擎大數(shù)據(jù)因其巨大的商業(yè)價值和市場需求正在推動著信息產(chǎn)業(yè)持續(xù)高速增長。隨著行業(yè)用戶對大數(shù)據(jù)價值的認(rèn)可程度增加，市場需求將出現(xiàn)井噴，面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)將會不斷涌現(xiàn)，大數(shù)據(jù)將為信息產(chǎn)業(yè)打開一個高增長的新市場。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)面臨的有效存儲、快速讀寫、實時分析等挑戰(zhàn)，將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計算等市場。在軟件與服務(wù)領(lǐng)域，因為大數(shù)據(jù)中蘊含的巨大價值，帶來對數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場的空前繁榮。（3）用戶提升競爭能力的新動力對大數(shù)據(jù)的利用將成為企業(yè)提高