【文章內(nèi)容簡(jiǎn)介】 據(jù)作為一種資源來(lái)輔助解決其他諸多領(lǐng)域的問(wèn)題。處理工具。捕撈“池塘”中的“魚(yú)”，一種漁網(wǎng)或少數(shù)幾種基本就可以應(yīng)對(duì)，也就是所謂的One size fits all。但是在“大海”中，不可能存在一種漁網(wǎng)能夠捕獲所有的魚(yú)類，也就是說(shuō)No size fits all。從“池塘”到“大海”不僅僅是規(guī)模的變大。傳統(tǒng)的數(shù)據(jù)庫(kù)代表著數(shù)據(jù)工程(data engineering)的處理方式，大數(shù)據(jù)時(shí)代的數(shù)據(jù)已不僅僅只是工程處理的對(duì)象，需要采取新的數(shù)據(jù)思維來(lái)應(yīng)對(duì)。圖靈獎(jiǎng)獲得者、著名數(shù)據(jù)庫(kù)專家Jim Gray博士觀察并總結(jié)人類自古以來(lái)，在科學(xué)研究上，先后歷經(jīng)了實(shí)驗(yàn)、理論和計(jì)算3種范式。當(dāng)數(shù)據(jù)量不斷增長(zhǎng)和累積到今天，傳統(tǒng)的3種范式在科學(xué)研究，特別是一些新的研究領(lǐng)域已經(jīng)無(wú)法很好地發(fā)揮作用，需要有一種全新的第4種范式來(lái)指導(dǎo)新形勢(shì)下的科學(xué)研究。基于這種考慮，Jim Gray提出了一種新的數(shù)據(jù)探索型研究方式，被他自己稱之為科學(xué)研究的“第4種范式”（The Fourth Paradigm）。4種范式的比較如表 1所示。第4種范式的實(shí)質(zhì)就是從以計(jì)算為中心轉(zhuǎn)變到以數(shù)據(jù)處理為中心，也就是我們所說(shuō)的數(shù)據(jù)思維。這種方式需要我們從根本上轉(zhuǎn)變思維。正如前面提到的“捕魚(yú)”，在大數(shù)據(jù)時(shí)代，數(shù)據(jù)不再僅僅是“捕撈”的對(duì)象，而應(yīng)當(dāng)轉(zhuǎn)變成一種基礎(chǔ)資源，用數(shù)據(jù)這種資源來(lái)協(xié)同解決其他諸多領(lǐng)域的問(wèn)題。計(jì)算社會(huì)科學(xué)(putational social science)基于特定社會(huì)需求，在特定的社會(huì)理論指導(dǎo)下，收集$整理和分析數(shù)據(jù)足跡(data print)，以便進(jìn)行社會(huì)解釋$監(jiān)控$預(yù)測(cè)與規(guī)劃的過(guò)程和活動(dòng)。計(jì)算社會(huì)科學(xué)是一種典型的需要采用第4種范式來(lái)作指導(dǎo)的科學(xué)研究領(lǐng)域。Watts在《Nature》雜志上的文章“A twentyfirst century science”也指出，借助于社交網(wǎng)絡(luò)和計(jì)算機(jī)分析技術(shù)，21世紀(jì)的社會(huì)科學(xué)有可能實(shí)現(xiàn)定量化的研究，從而成為一門(mén)真正的自然科學(xué)。表 1 科學(xué)發(fā)現(xiàn)的4中范式 大數(shù)據(jù)與云計(jì)算的關(guān)系近幾年來(lái)，云計(jì)算受到學(xué)術(shù)界和工業(yè)界的熱捧，隨后，大數(shù)據(jù)橫空出世，更是炙手可熱。那么，大數(shù)據(jù)和云計(jì)算之間是什么關(guān)系呢？從整體上看，大數(shù)據(jù)與云計(jì)算是相輔相成的大數(shù)據(jù)著眼于“數(shù)據(jù)”，關(guān)注實(shí)際業(yè)務(wù)，提供數(shù)據(jù)采集分析挖掘，看重的是信息積淀，即數(shù)據(jù)存儲(chǔ)能力。云計(jì)算著眼于“計(jì)算”，關(guān)注IT解決方案，提供IT基礎(chǔ)架構(gòu)，看重的是計(jì)算能力，即數(shù)據(jù)處理能力。沒(méi)有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大，也難以找到用武之地；沒(méi)有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。從技術(shù)上看，大數(shù)據(jù)根植于云計(jì)算云計(jì)算關(guān)鍵技術(shù)中的海量數(shù)據(jù)存儲(chǔ)技術(shù)、海量數(shù)據(jù)管理技術(shù)、MapReduce編程模型，都是大數(shù)據(jù)技術(shù)的基礎(chǔ)（如圖 4所示）。圖 4 大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)與云計(jì)算有相同，也有差異（如圖 5所示）。圖 5 大數(shù)據(jù)與云計(jì)算的異同云計(jì)算與大數(shù)據(jù)的不同之處在于應(yīng)用的不同，主要在兩個(gè)方面：第一，在概念上兩者有所不同，云計(jì)算改變了 IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營(yíng)。 第二，大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同，云計(jì)算是賣(mài)給 CIO 的技術(shù)和產(chǎn)品，是一個(gè)進(jìn)階的 IT解決方案。而大數(shù)據(jù)是賣(mài)給 CEO、賣(mài)給業(yè)務(wù)層的產(chǎn)品，大數(shù)據(jù)的決策者是業(yè)務(wù)層。由于他們能直接感受到來(lái)自市場(chǎng)競(jìng)爭(zhēng)的壓力，必須在業(yè)務(wù)上以更有競(jìng)爭(zhēng)力的方式戰(zhàn)勝對(duì)手。大數(shù)據(jù)技術(shù)與云計(jì)算相結(jié)合會(huì)帶來(lái)什么？如圖 6所示圖 6 大數(shù)據(jù)與云計(jì)算結(jié)合3 大數(shù)據(jù)的特征、作用及分析 大數(shù)據(jù)的特征一是數(shù)據(jù)體量巨大。百度資料表明，（1PB=1024TB），這些數(shù)據(jù)如果打印出來(lái)將超過(guò)5千億張A4紙。有資料證實(shí)，到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量?jī)H為200PB。二是數(shù)據(jù)類型多樣?，F(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕對(duì)多數(shù)。三是處理速度快。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息。四是價(jià)值密度低。以視頻為例，一小時(shí)的視頻，在不間斷的監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。 大數(shù)據(jù)的作用第一，對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)。移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量、多樣化的大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算平臺(tái)。通過(guò)對(duì)不同來(lái)源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，將創(chuàng)造出巨大的經(jīng)濟(jì)和社會(huì)價(jià)值。大數(shù)據(jù)具有催生社會(huì)變革的能量。但釋放這種能量，需要嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)治理、富有洞見(jiàn)的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境(Ramayya Krishnan,卡內(nèi)基梅隆大學(xué)海因茲學(xué)院院長(zhǎng))。第二，大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎。面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng)。在軟件與服務(wù)領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。第三，大數(shù)據(jù)利用將成為提高核心競(jìng)爭(zhēng)力的關(guān)鍵因素。各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)變“數(shù)據(jù)驅(qū)動(dòng)”。對(duì)大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)；可以為商家制定更加精準(zhǔn)有效的營(yíng)銷策略提供決策支持；可以幫助企業(yè)為消費(fèi)者提供更加及時(shí)和個(gè)性化的服務(wù)；在醫(yī)療領(lǐng)域，可提高診斷準(zhǔn)確性和藥物有效性；在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開(kāi)始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會(huì)穩(wěn)定等方面的重要作用。第四，大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。例如，抽樣調(diào)查是社會(huì)科學(xué)的基本研究方法。在大數(shù)據(jù)時(shí)代，可通過(guò)實(shí)時(shí)監(jiān)測(cè)、跟蹤研究對(duì)象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對(duì)策。 大數(shù)據(jù)的分析從所周知，大數(shù)據(jù)已經(jīng)不簡(jiǎn)簡(jiǎn)單單是數(shù)據(jù)大的事實(shí)了，而最重要的現(xiàn)實(shí)是對(duì)大數(shù)據(jù)進(jìn)行分析，只有通過(guò)分析才能獲取很多智能的，深入的，有價(jià)值的信息。那么越來(lái)越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說(shuō)是決定最終信息是否有價(jià)值的決定性因素?；谌绱说恼J(rèn)識(shí)，大數(shù)據(jù)分析普遍存在的方法理論有哪些呢？1. 可視化分析。大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時(shí)還有普通用戶，但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿軌蛑庇^的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說(shuō)話一樣簡(jiǎn)單明了。2. 數(shù)據(jù)挖掘算法。大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)的各種統(tǒng)計(jì)方法（可以稱之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認(rèn)的價(jià)值。另外一個(gè)方面也是因?yàn)橛羞@些數(shù)據(jù)挖掘的算法才能更快速的處理大數(shù)據(jù)，如果一個(gè)算法得花上好幾年才能得出結(jié)論，那大數(shù)據(jù)的價(jià)值也就無(wú)從說(shuō)起了。3. 預(yù)測(cè)性分析。大數(shù)據(jù)分析最終要的應(yīng)用領(lǐng)域之一就是預(yù)測(cè)性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過(guò)科學(xué)的建立模型，之后便可以通過(guò)模型帶入新的數(shù)據(jù)，從而預(yù)測(cè)未來(lái)的數(shù)據(jù)。4. 語(yǔ)義引擎。非結(jié)構(gòu)化數(shù)據(jù)的多元化給數(shù)據(jù)分析帶來(lái)新的挑戰(zhàn)，我們需要一套工具系統(tǒng)的去分析，提煉數(shù)據(jù)。語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。5. 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。大數(shù)據(jù)分析離不開(kāi)數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無(wú)論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實(shí)和有價(jià)值。大數(shù)據(jù)分析的基礎(chǔ)就是以上五個(gè)方面，當(dāng)然更加深入大數(shù)據(jù)分析的話，還有很多很多更加有特點(diǎn)的、更加深入的、更加專業(yè)的大數(shù)據(jù)分析方法。4 大數(shù)據(jù)處理框架 大數(shù)據(jù)處理模式大數(shù)據(jù)的應(yīng)用類型有很多，主要的處理模式可以分為流處理（stream process）和批處理（batch processing）兩 種。批處理是先存儲(chǔ)后處理（storethenprocess），而流處理則是直接處理（straightthrough processing）[7]。流處理流處理的基本理念是數(shù)據(jù)的價(jià)值會(huì)隨著時(shí)間的流逝而不斷減少，因此盡可能快地對(duì)最新的數(shù)據(jù)作出分析并給出結(jié)果是所有流數(shù)據(jù)處理模式的共同目標(biāo)。需要采用