【正文】 ocess）和批處理（batch processing）兩 種。大數(shù)據(jù)分析離不開(kāi)數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無(wú)論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實(shí)和有價(jià)值。語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。4. 語(yǔ)義引擎。3. 預(yù)測(cè)性分析。大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)的各種統(tǒng)計(jì)方法（可以稱之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認(rèn)的價(jià)值。大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時(shí)還有普通用戶，但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿軌蛑庇^的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說(shuō)話一樣簡(jiǎn)單明了。那么越來(lái)越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說(shuō)是決定最終信息是否有價(jià)值的決定性因素。在大數(shù)據(jù)時(shí)代，可通過(guò)實(shí)時(shí)監(jiān)測(cè)、跟蹤研究對(duì)象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對(duì)策。第四，大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)變“數(shù)據(jù)驅(qū)動(dòng)”。在軟件與服務(wù)領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。梅隆大學(xué)海因茲學(xué)院院長(zhǎng))。大數(shù)據(jù)具有催生社會(huì)變革的能量。云計(jì)算為這些海量、多樣化的大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算平臺(tái)。 大數(shù)據(jù)的作用第一，對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)。四是價(jià)值密度低。三是處理速度快。二是數(shù)據(jù)類型多樣。百度資料表明，（1PB=1024TB），這些數(shù)據(jù)如果打印出來(lái)將超過(guò)5千億張A4紙。由于他們能直接感受到來(lái)自市場(chǎng)競(jìng)爭(zhēng)的壓力，必須在業(yè)務(wù)上以更有競(jìng)爭(zhēng)力的方式戰(zhàn)勝對(duì)手。 第二，大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同，云計(jì)算是賣給 CIO 的技術(shù)和產(chǎn)品，是一個(gè)進(jìn)階的 IT解決方案。圖 5 大數(shù)據(jù)與云計(jì)算的異同云計(jì)算與大數(shù)據(jù)的不同之處在于應(yīng)用的不同，主要在兩個(gè)方面：第一，在概念上兩者有所不同，云計(jì)算改變了 IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。從技術(shù)上看，大數(shù)據(jù)根植于云計(jì)算云計(jì)算關(guān)鍵技術(shù)中的海量數(shù)據(jù)存儲(chǔ)技術(shù)、海量數(shù)據(jù)管理技術(shù)、MapReduce編程模型，都是大數(shù)據(jù)技術(shù)的基礎(chǔ)（如圖 4所示）。基礎(chǔ)架構(gòu)，看重的是計(jì)算能力，即數(shù)據(jù)處理能力。解決方案，提供云計(jì)算著眼于“計(jì)算”，關(guān)注表 1 科學(xué)發(fā)現(xiàn)的4中范式 大數(shù)據(jù)與云計(jì)算的關(guān)系近幾年來(lái)，云計(jì)算受到學(xué)術(shù)界和工業(yè)界的熱捧，隨后，大數(shù)據(jù)橫空出世，更是炙手可熱。計(jì)算社會(huì)科學(xué)是一種典型的需要采用第4種范式來(lái)作指導(dǎo)的科學(xué)研究領(lǐng)域。正如前面提到的“捕魚(yú)”，在大數(shù)據(jù)時(shí)代，數(shù)據(jù)不再僅僅是“捕撈”的對(duì)象，而應(yīng)當(dāng)轉(zhuǎn)變成一種基礎(chǔ)資源，用數(shù)據(jù)這種資源來(lái)協(xié)同解決其他諸多領(lǐng)域的問(wèn)題。第4種范式的實(shí)質(zhì)就是從以計(jì)算為中心轉(zhuǎn)變到以數(shù)據(jù)處理為中心，也就是我們所說(shuō)的數(shù)據(jù)思維?；谶@種考慮，Jim Gray提出了一種新的數(shù)據(jù)探索型研究方式，被他自己稱之為科學(xué)研究的“第4種范式”（The Fourth Paradigm）。圖靈獎(jiǎng)獲得者、著名數(shù)據(jù)庫(kù)專家Jim Gray博士觀察并總結(jié)人類自古以來(lái)，在科學(xué)研究上，先后歷經(jīng)了實(shí)驗(yàn)、理論和計(jì)算3種范式。從“池塘”到“大?！辈粌H僅是規(guī)模的變大。捕撈“池塘”中的“魚(yú)”，一種漁網(wǎng)或少數(shù)幾種基本就可以應(yīng)對(duì)，也就是所謂的One size fits all。而在大數(shù)據(jù)時(shí)代，要將數(shù)據(jù)作為一種資源來(lái)輔助解決其他諸多領(lǐng)域的問(wèn)題。而在“大?！敝校棒~(yú)”除了是捕撈對(duì)象之外，還可以通過(guò)某些“魚(yú)”的存在來(lái)判斷其他種類的“魚(yú)”是否存在。處理對(duì)象。這就好比先有少量的魚(yú)類，隨著時(shí)間推移，魚(yú)的種類和數(shù)量都在不斷地增長(zhǎng)。這就好比是先選好合適的“池塘”，然后才會(huì)向其中投放適合在該“池塘”環(huán)境生長(zhǎng)的“魚(yú)”。模式（schema）和數(shù)據(jù)的關(guān)系。過(guò)去的“池塘”中，數(shù)據(jù)的種類單一，往往僅僅有一種或少數(shù)幾種，這些數(shù)據(jù)又以結(jié)構(gòu)化數(shù)據(jù)為主?！俺靥痢钡奶幚韺?duì)象通常以MB為基本單位，而“大?！眲t常常GB，甚至是TB，PB為基本處理單位?！俺靥痢焙汀按蠛！弊钊菀装l(fā)現(xiàn)的區(qū)別就是規(guī)模?！安遏~(yú)”環(huán)境條件的變化導(dǎo)致了“捕魚(yú)”方式的根本性差異。如果要用簡(jiǎn)單的方式來(lái)比較傳統(tǒng)的數(shù)據(jù)庫(kù)和大數(shù)據(jù)的區(qū)別，我們認(rèn)為“池塘捕魚(yú)”和“大海捕魚(yú)”是個(gè)很好的類比。大數(shù)據(jù)的出現(xiàn)必將顛覆傳統(tǒng)的數(shù)據(jù)管理方式。這顛覆了千百年來(lái)人類的思維慣例，對(duì)人類的認(rèn)知和與世界交流的方式提出了全新的挑戰(zhàn)。舍恩伯格明確指出，大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是，放棄對(duì)因果關(guān)系的渴求，而取而代之關(guān)注相關(guān)關(guān)系。維克托另外，數(shù)據(jù)自身的狀態(tài)與價(jià)值也往往隨時(shí)空變化而發(fā)生演變，數(shù)據(jù)的涌現(xiàn)特征明顯。同時(shí)，由于數(shù)據(jù)顯性或隱性的網(wǎng)絡(luò)化存在，使得數(shù)據(jù)之間的復(fù)雜關(guān)聯(lián)無(wú)所不在。其次，大數(shù)據(jù)類型繁多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。首先，數(shù)據(jù)集合的規(guī)模不斷擴(kuò)大，已從GB到TB再到PB級(jí)，甚至開(kāi)始以EB和ZB 來(lái)計(jì)數(shù)。一般意義上，大數(shù)據(jù)是指無(wú)法在可容忍的時(shí)間內(nèi)用傳統(tǒng)IT技術(shù)和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。工業(yè)設(shè)備的監(jiān)控也是大數(shù)據(jù)的重要來(lái)源。Google 公司通過(guò)大規(guī)模集群和MapReduce 軟件，每月處理的數(shù)據(jù)量超過(guò)400PB；百度每天大約要處理幾十 PB 數(shù)據(jù)；Facebook 注冊(cè)用戶超過(guò) 10億，每月上傳的照片超過(guò)10億張，每天生成300TB 以上的日志數(shù)據(jù)； 億，在線商品超過(guò) 億，每天交易數(shù)千萬(wàn)筆，產(chǎn)生約20TB數(shù)據(jù)。但近年來(lái)大數(shù)據(jù)的飆升主要還是來(lái)自日常生活，特別是互聯(lián)網(wǎng)公司的服務(wù)。以數(shù)據(jù)為中心的傳統(tǒng)學(xué)科（如基因組學(xué)、蛋白組學(xué)，天體物理學(xué)和腦科學(xué)等）的研究產(chǎn)生了越來(lái)越多的數(shù)據(jù)。大數(shù)據(jù)的時(shí)代已然來(lái)臨，并給各行各業(yè)帶來(lái)了根本性變革。隨著物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、社會(huì)化網(wǎng)絡(luò)的快速發(fā)展，企業(yè)數(shù)據(jù)的增長(zhǎng)迅速，半結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù)呈幾何倍數(shù)增長(zhǎng)。云計(jì)算為大數(shù)據(jù)提供的存儲(chǔ)的空間和訪問(wèn)的渠道。2 大數(shù)據(jù)概述云計(jì)算的蓬勃發(fā)展，客觀上開(kāi)起來(lái)大數(shù)據(jù)時(shí)代的大門。(2). 主機(jī)服務(wù)提供商會(huì)維護(hù)用戶文件服務(wù)器的安全和更新問(wèn)題。能夠兼容不同硬件廠商的產(chǎn)品，兼容低配置機(jī)器和外設(shè)而獲得高性能計(jì)算。添置一臺(tái)性能更高的大型機(jī)，或者添置一臺(tái)性能相同的大型機(jī)的費(fèi)用都比添加幾臺(tái) PC 的費(fèi)用高得多。云計(jì)算不針對(duì)特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行?，F(xiàn)代分布式系統(tǒng)具有高度容錯(cuò)機(jī)制，控制核反應(yīng)堆主要采用分布式來(lái)實(shí)現(xiàn)高可靠性。(4). 高可靠性。應(yīng)用在“云”中某處運(yùn)行，但實(shí)際上用戶無(wú)需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置。云計(jì)算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。如工業(yè)企業(yè)應(yīng)用，管理部門和現(xiàn)場(chǎng)不在同一個(gè)地方的應(yīng)用。由于“云”的特殊容錯(cuò)措施可以采用極其廉價(jià)的節(jié)點(diǎn)來(lái)構(gòu)成云，“云”的自動(dòng)化集中式管理使大量企業(yè)無(wú)需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升，因此用戶可以充分享受“云”的低成本優(yōu)勢(shì)。典型的SaaS服務(wù)有Salesforce公司的CRM系統(tǒng)，Google Docs等。終端用戶不具有網(wǎng)絡(luò)、操作系統(tǒng)、存儲(chǔ)等底層云基礎(chǔ)設(shè)施的控制權(quán)，也不能控制應(yīng)用的執(zhí)行過(guò)程，只有非常有限的與應(yīng)用相關(guān)的配置能力。SaaS一般面向終端用戶，特別是“瘦終端”。典型的PaaS平臺(tái)有Google的MapReduce框架，應(yīng)用執(zhí)行環(huán)境Google App Engine，微軟公司的Microsoft Azure Services。IaaS可以提供高速網(wǎng)絡(luò)和通信服務(wù)，這種服務(wù)也被稱為CaaS(Communication as a Service)，提供網(wǎng)絡(luò)和通信資源的典型服務(wù)有OpenFlow。IaaS提供存儲(chǔ)資源的服務(wù)能夠?yàn)橛脩籼峁┖Ａ繑?shù)據(jù)存儲(chǔ)和訪問(wèn)服務(wù)，這種存儲(chǔ)服務(wù)也被單獨(dú)稱為DaaS(Data as a Service)。圖 2 云計(jì)算平臺(tái)的體系結(jié)構(gòu)IaaS將計(jì)算、存儲(chǔ)、通信資源封裝為服務(wù)提供給云用戶，用戶相當(dāng)于使用裸機(jī)，能夠部署和運(yùn)行任意軟件。這三種服務(wù)模式分別是基礎(chǔ)設(shè)施即服務(wù)IaaS(Infrastructure as a Service)、平臺(tái)即服務(wù)PaaS(Platform as a Service)以及軟件即