【正文】 據(jù)量激增。它要收集超過100TB的數(shù)據(jù)，并且是高速、實時數(shù)據(jù)流；或者是從小數(shù)據(jù)開始，但數(shù)據(jù)每年會增長60%以上。處理，顯示出了前所未有的價值。只不過，目前物聯(lián)網(wǎng)、移動通訊、互聯(lián)網(wǎng)每時每刻都在不斷滋生潮水般的海量數(shù)據(jù)，人類的信息數(shù)據(jù)在以幾何指數(shù)形式激增。托夫勒在其《第三次浪潮》一書中已經(jīng)提到“大數(shù)據(jù)”一詞。大數(shù)據(jù)的來源也有別于傳統(tǒng)的數(shù)據(jù)庫，顯示出了跨領域、跨門類、多類別的整合氣魄和越界意識，如果說非結構化數(shù)據(jù)、半結構化數(shù)據(jù)一直沒有被納入經(jīng)典數(shù)據(jù)庫技術SQL的視野，那么大數(shù)據(jù)的數(shù)據(jù)則源自多種數(shù)據(jù)源，是一種綜合數(shù)據(jù)，兼收并蓄了結構化數(shù)據(jù)、半結構化數(shù)據(jù)、非結構化數(shù)據(jù)等各種類別和格式的數(shù)據(jù)，尤其是包含了大量的視頻音頻數(shù)據(jù)。隨著信息技術的進一步發(fā)展，更大的數(shù)據(jù)集合會不斷出現(xiàn)，今日所謂的“大數(shù)據(jù)”勢必相形見絀?！按髷?shù)據(jù)”時代（“Age of Big Data”）這一說法的流行得力于全球知名咨詢公司麥肯錫的倡導，英國牛津大學教授維克托目前，大數(shù)據(jù)在現(xiàn)實世界中已有著非常廣泛的分布和應用，包括醫(yī)療信息、視頻監(jiān)控、移動設備、智能設備、非傳統(tǒng)IT設備、傳統(tǒng)IT信息的非傳統(tǒng)應用以及特定行業(yè)需求等。手機電視、視頻通話、手機音樂下載、手機游戲、手機IM、移動搜索、移動支付等移動數(shù)據(jù)業(yè)務開始帶給用戶新的體驗。簡單地說，移動互聯(lián)網(wǎng)能讓用戶在移動中通過移動設備（如手機、iPod等移動終端）隨時、隨地訪問Internet、獲取信息，進行商務、娛樂等各種網(wǎng)絡服務。近年來，電子數(shù)據(jù)交換的管道進一步從私人線路和增值網(wǎng)擴展到互聯(lián)網(wǎng)上。從這個角度看，電子商務有可能像過去二三百年間對發(fā)端于西方國家的許多重大技術進步的應用那樣，在推動人類物質文明進步的同時，也導致發(fā)達國家與發(fā)展中國家之間在經(jīng)濟發(fā)展和企業(yè)經(jīng)營等方面差距的進一步擴大。組織結構的設立和辦公、生產(chǎn)經(jīng)營場所的界定，使管理者得以結合等級制進行現(xiàn)場管理控制，控制的主要對象之一，是可以觀測到的員工行為。這就促使企業(yè)特別是以往針對本地市場的中小企業(yè)去考慮更為復雜的營銷戰(zhàn)略問題。而目前這個數(shù)字還在以每年50%的速度增長，到2020年，全球每年產(chǎn)生的數(shù)字信息將達到40ZB（1ZB=1024EB），估計是地球上所有沙粒數(shù)量的57倍。Volume指的是數(shù)據(jù)量龐大。作為繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)的又一次顛覆性技術浪潮，大數(shù)據(jù)被人們視為智慧城市的源泉、精準營銷的根基，其與傳統(tǒng)BI究竟有何區(qū)別？未來企業(yè)應該如何挖掘海量數(shù)據(jù)背后的潛在價值？自2009年以來，從IBM、甲骨文到谷歌、亞馬遜、Face book，從IDC、Gartner到麥肯錫、普華永道、埃森哲，從《紐約時報》到《福布斯》、《財富》周刊，從《科學》、《自然》雜志到MIT《斯隆管理評論》——產(chǎn)業(yè)巨頭的實踐探索、連篇累牘的新聞報道，令“大數(shù)據(jù)”概念深入人心。一方面，互聯(lián)網(wǎng)在產(chǎn)生文字資訊的同時，也不斷產(chǎn)出與以往不同的數(shù)據(jù)：照片、視頻、微博等；另一方面，IT遍及工作生活的每個角落，各種各樣的傳感器、監(jiān)控器也不斷產(chǎn)生新的數(shù)據(jù)，各種機器資訊數(shù)據(jù)的形式日趨復雜多樣，從結構化數(shù)據(jù)到非結構化數(shù)據(jù)不斷轉化，催生了對大數(shù)據(jù)技術的強烈需求。由此看來，“虛擬購物”能夠克服傳統(tǒng)市場研究手段的缺點，對企業(yè)營銷大有裨益。從一定意義上講，電子商務的國際化發(fā)展，預示著未來企業(yè)經(jīng)營革命的方向。然而對于在電子商務方面起步較晚的發(fā)展中國家如中國及其企業(yè)來說，這一機遇同時也是嚴峻的挑戰(zhàn)。與此同時，諸如Usenet、ll TNET，經(jīng)由各自的電腦系統(tǒng)以共用的交易標準進行商業(yè)信息的交換，這就是電子數(shù)據(jù)交換。企業(yè)界和一般消費者對新一代基于互聯(lián)網(wǎng)信息技術的逐步接受，也成為電子商務應用的另一種不容忽視的推動力。中國社會化媒體幾乎都可以從國外找到原型，從You tube到優(yōu)酷、土豆，從Twitter到新浪、騰訊微博，以及各種消費點評、問答百科、位置服務等，這些媒體為普通用戶提供了極大的互動交流空間。這種爆炸性增長的數(shù)據(jù)量對于企業(yè)發(fā)展來說，是一筆取之不盡、用之不竭的財富。其中，內(nèi)容挖掘是對網(wǎng)頁文本和媒體數(shù)據(jù)的獲取，用于研究用戶活動狀態(tài)和特征；結構挖掘是對網(wǎng)頁鏈接結構進行分析，用于評估網(wǎng)頁的資源量；使用挖掘則是通過挖掘網(wǎng)頁訪問的日志記錄，以便提供個性化的產(chǎn)品和服務以此來研究電子商務的大數(shù)據(jù)時代。過去幾年全世界產(chǎn)生的數(shù)據(jù)量甚至超過了歷史上4萬年來產(chǎn)生的數(shù)據(jù)量的總和。而大數(shù)據(jù)則要求窮盡一切相關樣本，搜集盡可能全面的數(shù)據(jù)，大數(shù)據(jù)的數(shù)據(jù)集擁有的不是支離破碎的割裂數(shù)據(jù)，不是數(shù)據(jù)片段，而是完整的數(shù)據(jù)。大數(shù)據(jù)的要害不在于數(shù)據(jù)存儲技術的升級躍進，大數(shù)據(jù)的“大”不是指存儲和備份的數(shù)據(jù)大，在根本上它是指處理數(shù)據(jù)所使用的模式“大”。一夜之間，人類儼然進入了一個全新的“大數(shù)據(jù)”時代。在過去，存儲的主要是模擬數(shù)據(jù)，報紙、書籍、圖片、磁帶等媒介是信息存儲的主要載體，甚至在2000年的時候，數(shù)字存儲信息仍只占全球數(shù)據(jù)量的四分之一；當時，另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。在維基百科中關于大數(shù)據(jù)的定義為:大數(shù)據(jù)是指利用常用軟件工具來獲取、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集。這些特性使得大數(shù)據(jù)區(qū)別于傳統(tǒng)的數(shù)據(jù)概念。早期，人們對事物的認知受限于獲取、分析數(shù)據(jù)的能力，一直利用采樣的方法，以少量的數(shù)據(jù)來近似的描述事物的全貌，樣本的數(shù)量可以根據(jù)數(shù)據(jù)獲取、處理能力來設定。這種關注結構化信息，強調(diào)大眾化、標準化的屬性使得處理傳統(tǒng)數(shù)據(jù)的復雜程度一般呈線性增長，新增的數(shù)據(jù)可以通過常規(guī)的技術手段處理。同時，數(shù)據(jù)不是靜止不動的，而是在互聯(lián)網(wǎng)絡中不斷流動，且通常這樣的數(shù)據(jù)的價值是隨著時間的推移而迅速降低的，如果數(shù)據(jù)尚未得到有效的處理，就失去了價值，大量的數(shù)據(jù)就沒有意義。首先，檔案館信息資源總量龐大且增長迅速。大數(shù)據(jù)時代，檔案館維護和傳承記憶的功能將更加重要，構建一個“基于互聯(lián)網(wǎng)的，以檔案數(shù)字資源為主體，以文本、圖片、音頻、視頻等為形式，為中華民族集體記憶的建構和傳承提供文獻支撐的‘中國記憶’數(shù)字將成為檔案人新的目標與使命。人才瓶頸在檔案事業(yè)快速發(fā)展的今天，我國的檔案人才隊伍建設卻不盡如人意。需求旺盛隨著信息環(huán)境的變化和社會檔案意識的覺醒，用戶的檔案信息需求層面不斷加深，需求領域也不斷拓展。這些政策性文件及講話，將為大數(shù)據(jù)在檔案館中的應用帶來更多的政策支持，也為大數(shù)據(jù)時代檔案館的發(fā)展帶來更多機遇。因此，數(shù)字化時代，檔案館如何實現(xiàn)“數(shù)據(jù)化生存”，將是不得不慎重考慮的難題。要買商品，必先瀏覽，對比，詢價；要搞活動，必先征集、討論、策劃；互聯(lián)網(wǎng)上恰恰保留了大量的前兆性的數(shù)據(jù)，通過對這些數(shù)據(jù)的收集和分析，互聯(lián)網(wǎng)企業(yè)具備了預判物理世界中，人類未來行為的能力。海關是賣了貨,出去以后再獲得數(shù)據(jù)；而我們提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了。 推動大數(shù)據(jù)技術在各行業(yè)普及的原動力，來自于企業(yè)改善自身經(jīng)營水平、提升經(jīng)營效率的需要。 這一輪的變革，事關絕大多數(shù)企業(yè)的命運。第二，行業(yè)會垂直整合。加快研發(fā)大數(shù)據(jù)關鍵技術，布局大數(shù)據(jù)產(chǎn)業(yè)鏈，推動大數(shù)據(jù)示范應用，對搶占新一輪信息產(chǎn)業(yè)發(fā)展制高點，具有重要意義。尤為致命的是，大多數(shù)中小企業(yè)認為大數(shù)據(jù)是Google、Amazon、Facebook、阿里巴巴、京東商城等公司才關心的技術。此外，挖掘大數(shù)據(jù)的價值類似沙里淘金，由于大數(shù)據(jù)價值密度低的特性更加增添了數(shù)據(jù)收集工作的巨大性和繁重性。這一方面降低了情報分析的時效，另一方面也丟失了非結構化數(shù)據(jù)隱含的關系，而這些關系很有可能是非常重要的情報。在大數(shù)據(jù)時代，數(shù)據(jù)逐漸成為企業(yè)最重要的資產(chǎn)之一，決策行為將日益基于數(shù)據(jù)分析做出，而不是像過去更多憑借經(jīng)驗和直覺。信息加總和數(shù)據(jù)整合，對隱私的穿透力不僅僅是“1＋1＝2”的，很多時候，是大于 2 的。包括IBM 、EMC 、HP、Microsoft等在內(nèi)的IT 巨頭，紛紛加速收購相關大數(shù)據(jù)公司進行技術整合，尋找數(shù)據(jù)洪流大潮中新的立足點。而研究顯示，這些信息只能滿足企業(yè)正常營銷管理需求中15%的量能，并不夠給出一個重要洞察和發(fā)現(xiàn)規(guī)律。據(jù)稱，集成整合了Essbase服務技術的Oracle大數(shù)據(jù)平臺，已經(jīng)能為用戶提供面向策略級、未知信息分析預測能力和個性化自助式定制等。實現(xiàn)點對點智能廣告模式。而如今有了RTB，廣告需要盯住的不是滿地跑的”學生”，而是那個喜歡看廣告的目標客戶；廣告市場上賣的也不是傳統(tǒng)意義上的廣告位，而是訪問這個廣告位的具體用戶。因為系統(tǒng)早已計算好，如果顧客的購物車中有不少啤酒、紅酒和沙拉，那么80%的可能需要買配酒小菜和相關佐料。大數(shù)據(jù)的IT基礎云計算架構云計算是新型分布式網(wǎng)絡計算架構，特別適合向各種網(wǎng)絡應用提供計算、存儲、網(wǎng)絡、軟件等在線服務，NIST認為這種架構具有5個關鍵功能、3種服務模式和4種部署式。從HDFS角度來看，Hadoop的節(jié)點由存儲并提供定位塊服務的數(shù)據(jù)節(jié)點（data node）和管理分布式文件系統(tǒng)命名空間的命名節(jié)點（name node）組成，HDFS主從結構的體系架構設計大大簡化了分布式系統(tǒng)架構。幾種大數(shù)據(jù)處理模式的比較分析見表1，可見，Map Reduce大數(shù)據(jù)處理模式具有相對顯著的優(yōu)勢。7億戶，在線商品數(shù)達到8億件，最多每天有6000萬人訪問淘寶網(wǎng)，平均每分鐘出售4。淘寶每天數(shù)以千萬計的交易產(chǎn)生大量的交易時間、商品價格、購買數(shù)量等交易數(shù)據(jù)和利益相關方的年齡、職業(yè)、地址等個人特征信息，從這些海量數(shù)據(jù)中，淘寶實時準確地進行各類店鋪排名和個性化智能推薦；進行用戶行為數(shù)據(jù)分析，得到電商用戶所需的個性化信息與產(chǎn)品，便于開展精準營銷；商家根據(jù)歷史信息和”淘寶指數(shù)”進行生產(chǎn)、進銷存計劃；買家得以獲得更符合個性化需求的商品信。所有信息資源都托管在云端，由云計算強大的服務器集群和虛擬化技術提供冗余、災備、數(shù)據(jù)備份和自動故障恢復等功能，專業(yè)的IT管理團隊負責維護電商企業(yè)數(shù)據(jù)，提供專業(yè)化的信息安全與保密方案。大數(shù)據(jù)時代，數(shù)據(jù)采集是至關重要的。第一類是針對消費者，提供各類商品及店鋪信息、促銷信息等，方便其購物與消費；第二類是針對店鋪以及賣方，提供消費者的消費行為、網(wǎng)絡使用行為、媒體接觸及使用行為、市場發(fā)展及行業(yè)競爭數(shù)據(jù)與信息等，協(xié)助其掌握店鋪管理動態(tài)和商品銷售效果；第三類是可以提供給社會及第三方機構，提供銷售數(shù)據(jù)、購買數(shù)據(jù)、交易數(shù)據(jù)、消費者行為數(shù)據(jù)等，幫助其了解電商企業(yè)以及淘寶的發(fā)展。其中包含了品牌、店鋪、產(chǎn)品的排行榜，購買人群的特征分析(年齡、性別、購買時段、地域等等)。阿里金融——純粹基于互聯(lián)網(wǎng)信用的小額信貸平臺。在數(shù)據(jù)戰(zhàn)略架構上，阿里早在3年前就開始布局。當前大數(shù)據(jù)面前有數(shù)據(jù)質量、數(shù)據(jù)安全和數(shù)據(jù)化運營三座大山，阿里大數(shù)據(jù)戰(zhàn)略的發(fā)展則必須要翻山越嶺。以防范數(shù)據(jù)外泄問題為初衷的”聚石塔”產(chǎn)品，雖然要求應用開發(fā)商將數(shù)據(jù)庫放在聚石塔里，但其仍可以直接通過數(shù)據(jù)導出和數(shù)據(jù)庫遷移等方式將數(shù)據(jù)拿出來，更有甚者根本就不把數(shù)據(jù)庫放在聚石塔里，而是低成本自建數(shù)據(jù)庫，對數(shù)據(jù)實施完全掌控。納漢.“大數(shù)據(jù)”,2012(2):30~31[7],2012[8],2010[9],2012(20):23~24[10],2012(9):71~72[11]. 2013[12]王珊,王會舉,覃雄派等. 架構大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望. 計算機學報, 2011(10): 1741~1752[13] ,且行且思[J].程序員,2013(2).[14] :淘寶數(shù)據(jù)王國的構建[J].廣告大觀(媒介版),2012(9).[15] [J].程序員,2013(2).[16] [J].張江新經(jīng)濟,2013(2)30。阿里擁有大量交易信息，比搜索信息復雜同時含金量高，所以要求其具備雄厚的數(shù)據(jù)加工能力。阿里作為交易平臺，本身就是一個海量的數(shù)據(jù)庫，擁有豐富而全面的信息。2011年淘寶收購CNZZ網(wǎng)絡技術服務公司，第二年CNZZ推出”云推薦”內(nèi)容推薦引擎。阿里金融是大數(shù)據(jù)衍生產(chǎn)品開發(fā)的一個范例，它不僅使交易數(shù)據(jù)容易標準化，還將非結構性數(shù)據(jù)一并錄入到數(shù)據(jù)庫中，類似賣家和買家的聊天記錄、評價、店鋪信用等。聚石塔——提供數(shù)據(jù)存儲、數(shù)據(jù)計算服務的數(shù)據(jù)產(chǎn)品。淘數(shù)據(jù)——阿里嚴格意義上的第一個數(shù)據(jù)產(chǎn)品。據(jù)他透露，阿里集團擁有的數(shù)據(jù)達到30P(1P=100萬GB)。目前淘寶網(wǎng)的消費投訴率不到1%，低于實體零售商。在大數(shù)據(jù)時代，大數(shù)據(jù)成為國家和企業(yè)的核心資產(chǎn)，大數(shù)據(jù)藍海成為未來競爭的制高點。電商系統(tǒng)必須具備無以倫比的快速彈性處理能力，能夠處理突發(fā)的訪問量、海量訂單和客戶瀏覽請求，而且需要根據(jù)需求和業(yè)務量的上漲不斷擴容服務器和增加數(shù)據(jù)存儲設備。商品的豐富性直接影響電商的競爭力，而海量的商品數(shù)目、繁雜的分類體系以及復雜的非結構化的商品屬性數(shù)據(jù)等都需要IT基礎設施具備足夠的靈活性和強大的檢索能力。傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)實時響應能力較高，但對于TB級或PB級別的大數(shù)據(jù)集，數(shù)據(jù)挖掘的檢索速度則急劇下降，但引入HDFS與RDBMS相結合的機制可以充分利用兩者的優(yōu)勢，實現(xiàn)高效率的數(shù)據(jù)挖掘與決策支持。大數(shù)據(jù)處理模式從傳統(tǒng)的數(shù)據(jù)庫集群演進到云計算Map Reduce大規(guī)模并行處理架構，實現(xiàn)任務的分解處理和結果合并，從而實現(xiàn)對可處理數(shù)據(jù)規(guī)模的無限擴展，大數(shù)據(jù)處理技術已被認為是繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術變革。后互聯(lián)網(wǎng)時代，PC服務器成為電商企業(yè)最廣泛使用的IT基礎設施，隨著業(yè)務量的發(fā)展，電商企業(yè)大量使用了PC服務器集群技術和小型機技術，用于滿足日益增長的在線業(yè)務交易量。Ad Exchange為出價高的DSP匹配相關廣告代碼，并最終作出廣告。眾所周知，時下市場上大部分廣告并非”點對點”模式，而是”主從”模式。通過獲取更豐富的消費者數(shù)據(jù)，包括網(wǎng)站瀏覽數(shù)據(jù)、社交數(shù)據(jù)和地理追蹤數(shù)據(jù)等，可以繪制出更完整的消費者行為描述。在幾年之前，其可能被束之高閣，價值亦無法被有效挖掘。將大數(shù)據(jù)時代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結合。（2）企業(yè)應該從技術層面上采用先進的隱私保護技術進一步加強用戶的隱私保護，解決由于過度開發(fā)或者深度營銷可能造成的用戶隱私侵犯等等問題。然而，目前絕大多數(shù)中小型企業(yè)都沒有專門的競爭情報部門和情報分析專家，即使是在一些大型的企業(yè)中，具有競爭情報職能的部門也常常處于分散、被動、輔助的地位。也就