【文章內(nèi)容簡介】 據(jù)作為一種資源來輔助解決其他諸多領域的問題。處理工具。捕撈“池塘”中的“魚”，一種漁網(wǎng)或少數(shù)幾種基本就可以應對，也就是所謂的One size fits all。但是在“大?！敝?，不可能存在一種漁網(wǎng)能夠捕獲所有的魚類，也就是說No size fits all。從“池塘”到“大?！辈粌H僅是規(guī)模的變大。傳統(tǒng)的數(shù)據(jù)庫代表著數(shù)據(jù)工程(data engineering)的處理方式，大數(shù)據(jù)時代的數(shù)據(jù)已不僅僅只是工程處理的對象，需要采取新的數(shù)據(jù)思維來應對。圖靈獎獲得者、著名數(shù)據(jù)庫專家Jim Gray博士觀察并總結(jié)人類自古以來，在科學研究上，先后歷經(jīng)了實驗、理論和計算3種范式。當數(shù)據(jù)量不斷增長和累積到今天，傳統(tǒng)的3種范式在科學研究，特別是一些新的研究領域已經(jīng)無法很好地發(fā)揮作用，需要有一種全新的第4種范式來指導新形勢下的科學研究?；谶@種考慮，Jim Gray提出了一種新的數(shù)據(jù)探索型研究方式，被他自己稱之為科學研究的“第4種范式”（The Fourth Paradigm）。4種范式的比較如表 1所示。第4種范式的實質(zhì)就是從以計算為中心轉(zhuǎn)變到以數(shù)據(jù)處理為中心，也就是我們所說的數(shù)據(jù)思維。這種方式需要我們從根本上轉(zhuǎn)變思維。正如前面提到的“捕魚”，在大數(shù)據(jù)時代，數(shù)據(jù)不再僅僅是“捕撈”的對象，而應當轉(zhuǎn)變成一種基礎資源，用數(shù)據(jù)這種資源來協(xié)同解決其他諸多領域的問題。計算社會科學(putational social science)基于特定社會需求，在特定的社會理論指導下，收集$整理和分析數(shù)據(jù)足跡(data print)，以便進行社會解釋$監(jiān)控$預測與規(guī)劃的過程和活動。計算社會科學是一種典型的需要采用第4種范式來作指導的科學研究領域。Watts在《Nature》雜志上的文章“A twentyfirst century science”也指出，借助于社交網(wǎng)絡和計算機分析技術(shù)，21世紀的社會科學有可能實現(xiàn)定量化的研究，從而成為一門真正的自然科學。表 1 科學發(fā)現(xiàn)的4中范式 大數(shù)據(jù)與云計算的關(guān)系近幾年來，云計算受到學術(shù)界和工業(yè)界的熱捧，隨后，大數(shù)據(jù)橫空出世，更是炙手可熱。那么，大數(shù)據(jù)和云計算之間是什么關(guān)系呢？從整體上看，大數(shù)據(jù)與云計算是相輔相成的大數(shù)據(jù)著眼于“數(shù)據(jù)”，關(guān)注實際業(yè)務，提供數(shù)據(jù)采集分析挖掘，看重的是信息積淀，即數(shù)據(jù)存儲能力。云計算著眼于“計算”，關(guān)注IT解決方案，提供IT基礎架構(gòu)，看重的是計算能力，即數(shù)據(jù)處理能力。沒有大數(shù)據(jù)的信息積淀，則云計算的計算能力再強大，也難以找到用武之地；沒有云計算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。從技術(shù)上看，大數(shù)據(jù)根植于云計算云計算關(guān)鍵技術(shù)中的海量數(shù)據(jù)存儲技術(shù)、海量數(shù)據(jù)管理技術(shù)、MapReduce編程模型，都是大數(shù)據(jù)技術(shù)的基礎（如圖 4所示）。圖 4 大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)與云計算有相同，也有差異（如圖 5所示）。圖 5 大數(shù)據(jù)與云計算的異同云計算與大數(shù)據(jù)的不同之處在于應用的不同，主要在兩個方面：第一，在概念上兩者有所不同，云計算改變了 IT，而大數(shù)據(jù)則改變了業(yè)務。然而大數(shù)據(jù)必須有云作為基礎架構(gòu)，才能得以順暢運營。 第二，大數(shù)據(jù)和云計算的目標受眾不同，云計算是賣給 CIO 的技術(shù)和產(chǎn)品，是一個進階的 IT解決方案。而大數(shù)據(jù)是賣給 CEO、賣給業(yè)務層的產(chǎn)品，大數(shù)據(jù)的決策者是業(yè)務層。由于他們能直接感受到來自市場競爭的壓力，必須在業(yè)務上以更有競爭力的方式戰(zhàn)勝對手。大數(shù)據(jù)技術(shù)與云計算相結(jié)合會帶來什么？如圖 6所示圖 6 大數(shù)據(jù)與云計算結(jié)合3 大數(shù)據(jù)的特征、作用及分析 大數(shù)據(jù)的特征一是數(shù)據(jù)體量巨大。百度資料表明，（1PB=1024TB），這些數(shù)據(jù)如果打印出來將超過5千億張A4紙。有資料證實，到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量僅為200PB。二是數(shù)據(jù)類型多樣。現(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個性化數(shù)據(jù)占絕對多數(shù)。三是處理速度快。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息。四是價值密度低。以視頻為例，一小時的視頻，在不間斷的監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。 大數(shù)據(jù)的作用第一，對大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應用的結(jié)點。移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡、數(shù)字家庭、電子商務等是新一代信息技術(shù)的應用形態(tài)，這些應用不斷產(chǎn)生大數(shù)據(jù)。云計算為這些海量、多樣化的大數(shù)據(jù)提供存儲和運算平臺。通過對不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應用中，將創(chuàng)造出巨大的經(jīng)濟和社會價值。大數(shù)據(jù)具有催生社會變革的能量。但釋放這種能量，需要嚴謹?shù)臄?shù)據(jù)治理、富有洞見的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境(Ramayya Krishnan,卡內(nèi)基梅隆大學海因茲學院院長)。第二，大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎。面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務、新業(yè)態(tài)會不斷涌現(xiàn)。在硬件與集成設備領域，大數(shù)據(jù)將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務器、內(nèi)存計算等市場。在軟件與服務領域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。第三，大數(shù)據(jù)利用將成為提高核心競爭力的關(guān)鍵因素。各行各業(yè)的決策正在從“業(yè)務驅(qū)動”轉(zhuǎn)變“數(shù)據(jù)驅(qū)動”。對大數(shù)據(jù)的分析可以使零售商實時掌握市場動態(tài)并迅速做出應對；可以為商家制定更加精準有效的營銷策略提供決策支持；可以幫助企業(yè)為消費者提供更加及時和個性化的服務；在醫(yī)療領域，可提高診斷準確性和藥物有效性；在公共事業(yè)領域，大數(shù)據(jù)也開始發(fā)揮促進經(jīng)濟發(fā)展、維護社會穩(wěn)定等方面的重要作用。第四，大數(shù)據(jù)時代科學研究的方法手段將發(fā)生重大改變。例如，抽樣調(diào)查是社會科學的基本研究方法。在大數(shù)據(jù)時代，可通過實時監(jiān)測、跟蹤研究對象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對策。 大數(shù)據(jù)的分析從所周知，大數(shù)據(jù)已經(jīng)不簡簡單單是數(shù)據(jù)大的事實了，而最重要的現(xiàn)實是對大數(shù)據(jù)進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那么越來越多的應用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基于如此的認識，大數(shù)據(jù)分析普遍存在的方法理論有哪些呢？1. 可視化分析。大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時還有普通用戶，但是他們二者對于大數(shù)據(jù)分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現(xiàn)大數(shù)據(jù)特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。2. 數(shù)據(jù)挖掘算法。大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學的呈現(xiàn)出數(shù)據(jù)本身具備的特點，也正是因為這些被全世界統(tǒng)計學家所公認的各種統(tǒng)計方法（可以稱之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認的價值。另外一個方面也是因為有這些數(shù)據(jù)挖掘的算法才能更快速的處理大數(shù)據(jù)，如果一個算法得花上好幾年才能得出結(jié)論，那大數(shù)據(jù)的價值也就無從說起了。3. 預測性分析。大數(shù)據(jù)分析最終要的應用領域之一就是預測性分析，從大數(shù)據(jù)中挖掘出特點，通過科學的建立模型，之后便可以通過模型帶入新的數(shù)據(jù)，從而預測未來的數(shù)據(jù)。4. 語義引擎。非結(jié)構(gòu)化數(shù)據(jù)的多元化給數(shù)據(jù)分析帶來新的挑戰(zhàn)，我們需要一套工具系統(tǒng)的去分析，提煉數(shù)據(jù)。語義引擎需要設計到有足夠的人工智能以足以從數(shù)據(jù)中主動地提取信息。5. 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無論是在學術(shù)研究還是在商業(yè)應用領域，都能夠保證分析結(jié)果的真實和有價值。大數(shù)據(jù)分析的基礎就是以上五個方面，當然更加深入大數(shù)據(jù)分析的話，還有很多很多更加有特點的、更加深入的、更加專業(yè)的大數(shù)據(jù)分析方法。4 大數(shù)據(jù)處理框架 大數(shù)據(jù)處理模式大數(shù)據(jù)的應用類型有很多，主要的處理模式可以分為流處理（stream process）和批處理（batch processing）兩 種。批處理是先存儲后處理（storethenprocess），而流處理則是直接處理（straightthrough processing）[7]。流處理流處理的基本理念是數(shù)據(jù)的價值會隨著時間的流逝而不斷減少，因此盡可能快地對最新的數(shù)據(jù)作出分析并給出結(jié)果是所有流數(shù)據(jù)處理模式的共同目標。需要采用