【正文】 ，顯示出了跨領(lǐng)域、跨門類、多類別的整合氣魄和越界意識，如果說非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)一直沒有被納入經(jīng)典數(shù)據(jù)庫技術(shù)SQL的視野，那么大數(shù)據(jù)的數(shù)據(jù)則源自多種數(shù)據(jù)源，是一種綜合數(shù)據(jù)，兼收并蓄了結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等各種類別和格式的數(shù)據(jù)，尤其是包含了大量的視頻音頻數(shù)據(jù)。誕生在20世紀(jì)70年代的傳統(tǒng)數(shù)據(jù)庫是小型的、單一的、孤立的，基于小范圍的抽樣樣本統(tǒng)計。隨著信息技術(shù)的進(jìn)一步發(fā)展，更大的數(shù)據(jù)集合會不斷出現(xiàn)，今日所謂的“大數(shù)據(jù)”勢必相形見絀。多個數(shù)據(jù)集一整合，就會形成PB級，甚至以E、Z等為計量單位的數(shù)據(jù)量。“大數(shù)據(jù)”時代（“Age of Big Data”）這一說法的流行得力于全球知名咨詢公司麥肯錫的倡導(dǎo)，英國牛津大學(xué)教授維克托網(wǎng)絡(luò)數(shù)據(jù)挖掘是計算機(jī)科學(xué)研究的重要內(nèi)容，包括內(nèi)容挖掘、結(jié)構(gòu)挖掘和使用挖掘3種類型。目前，大數(shù)據(jù)在現(xiàn)實世界中已有著非常廣泛的分布和應(yīng)用，包括醫(yī)療信息、視頻監(jiān)控、移動設(shè)備、智能設(shè)備、非傳統(tǒng)IT設(shè)備、傳統(tǒng)IT信息的非傳統(tǒng)應(yīng)用以及特定行業(yè)需求等。在大數(shù)據(jù)時代浪潮中，時間每過去3分鐘，6000萬張照片，支付寶上將產(chǎn)生4400萬人民幣的交易額。手機(jī)電視、視頻通話、手機(jī)音樂下載、手機(jī)游戲、手機(jī)IM、移動搜索、移動支付等移動數(shù)據(jù)業(yè)務(wù)開始帶給用戶新的體驗。諸如新浪微博、街旁、米聊等，甚至是開心網(wǎng)、優(yōu)酷也都紛紛推出自己的手機(jī)客戶端。簡單地說，移動互聯(lián)網(wǎng)能讓用戶在移動中通過移動設(shè)備（如手機(jī)、iPod等移動終端）隨時、隨地訪問Internet、獲取信息，進(jìn)行商務(wù)、娛樂等各種網(wǎng)絡(luò)服務(wù)。與此同時，服務(wù)器及相關(guān)技術(shù)的出現(xiàn)，為企業(yè)提供了在互聯(lián)網(wǎng)上傳輸內(nèi)容豐富、栩栩如生的多媒體信息的手段，從而得以在網(wǎng)絡(luò)上開展內(nèi)外部經(jīng)營管理活動，如生產(chǎn)經(jīng)營管理、人力資源管理、財務(wù)管理、營銷、咨詢服務(wù)等。近年來，電子數(shù)據(jù)交換的管道進(jìn)一步從私人線路和增值網(wǎng)擴(kuò)展到互聯(lián)網(wǎng)上。至80年代中期，美國國家科學(xué)基金會利用ARPANET的模式形成了自己的電腦網(wǎng)絡(luò)NSFNE，并逐漸與ARpA NET合并。從這個角度看，電子商務(wù)有可能像過去二三百年間對發(fā)端于西方國家的許多重大技術(shù)進(jìn)步的應(yīng)用那樣，在推動人類物質(zhì)文明進(jìn)步的同時，也導(dǎo)致發(fā)達(dá)國家與發(fā)展中國家之間在經(jīng)濟(jì)發(fā)展和企業(yè)經(jīng)營等方面差距的進(jìn)一步擴(kuò)大。但是在外聯(lián)網(wǎng)這種松散的“虛擬”聯(lián)盟體系中，一個企業(yè)很難對其伙伴企業(yè)施加那些在合資合作企業(yè)和一般戰(zhàn)略聯(lián)盟中行之有效的控制手段，整個外聯(lián)網(wǎng)運作的成敗主要取決于各成員企業(yè)之間的相互信任和溝通。組織結(jié)構(gòu)的設(shè)立和辦公、生產(chǎn)經(jīng)營場所的界定，使管理者得以結(jié)合等級制進(jìn)行現(xiàn)場管理控制，控制的主要對象之一，是可以觀測到的員工行為。當(dāng)這些信息被輸入先進(jìn)的生產(chǎn)經(jīng)營系統(tǒng)時，就可以用批量處理的效率去提供滿足不同顧客需求的產(chǎn)品、服務(wù)，實現(xiàn)比批量生產(chǎn)更勝一籌的批量個人化。這就促使企業(yè)特別是以往針對本地市場的中小企業(yè)去考慮更為復(fù)雜的營銷戰(zhàn)略問題?！疤摂M購物”能獲得較為可靠、準(zhǔn)確的市場信息，其記錄數(shù)據(jù)與實際購物數(shù)據(jù)之間的相關(guān)系數(shù)大多在90%以上。而目前這個數(shù)字還在以每年50%的速度增長，到2020年，全球每年產(chǎn)生的數(shù)字信息將達(dá)到40ZB（1ZB=1024EB），估計是地球上所有沙粒數(shù)量的57倍。Variety則是指數(shù)據(jù)的多樣性、復(fù)雜性。Volume指的是數(shù)據(jù)量龐大。十年之前，電影《天下無賊》中的經(jīng)典對白“21世紀(jì)什么最貴？人才”被人們爭相傳頌；十年之后，這個問題的答案與時俱進(jìn)地變?yōu)楫?dāng)前市場熱點——數(shù)據(jù)！當(dāng)然，此數(shù)據(jù)已非傳統(tǒng)意義的數(shù)據(jù)，而是海量、爆發(fā)式增長的“大數(shù)據(jù)”。作為繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)的又一次顛覆性技術(shù)浪潮，大數(shù)據(jù)被人們視為智慧城市的源泉、精準(zhǔn)營銷的根基，其與傳統(tǒng)BI究竟有何區(qū)別？未來企業(yè)應(yīng)該如何挖掘海量數(shù)據(jù)背后的潛在價值？自2009年以來，從IBM、甲骨文到谷歌、亞馬遜、Face book，從IDC、Gartner到麥肯錫、普華永道、埃森哲，從《紐約時報》到《福布斯》、《財富》周刊，從《科學(xué)》、《自然》雜志到MIT《斯隆管理評論》——產(chǎn)業(yè)巨頭的實踐探索、連篇累牘的新聞報道，令“大數(shù)據(jù)”概念深入人心。如今有許多企業(yè)已面臨單日數(shù)據(jù)量以數(shù)十、數(shù)百TB（萬億字節(jié)，1TB=1024GB）的速度增加，而近幾年累加的總數(shù)據(jù)量也達(dá)到了PB(1000個TB)甚至EB(一百萬個TB)等級，這樣的數(shù)據(jù)量令傳統(tǒng)的數(shù)據(jù)庫不堪重負(fù)。一方面，互聯(lián)網(wǎng)在產(chǎn)生文字資訊的同時，也不斷產(chǎn)出與以往不同的數(shù)據(jù)：照片、視頻、微博等；另一方面，IT遍及工作生活的每個角落，各種各樣的傳感器、監(jiān)控器也不斷產(chǎn)生新的數(shù)據(jù)，各種機(jī)器資訊數(shù)據(jù)的形式日趨復(fù)雜多樣，從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù)不斷轉(zhuǎn)化，催生了對大數(shù)據(jù)技術(shù)的強(qiáng)烈需求。“在大數(shù)據(jù)時代，信息將呈爆發(fā)式增長，而數(shù)據(jù)價值密度非常低，找到有價值的數(shù)據(jù)如同大海撈針，通過怎樣的產(chǎn)品平臺和方式提煉數(shù)據(jù)價值，是關(guān)乎公共事業(yè)發(fā)展和企業(yè)生存的大計，值得大家從戰(zhàn)略角度去思索??”在2012年百度世界營銷分論壇上，百度商業(yè)產(chǎn)品與技術(shù)執(zhí)行總監(jiān)鄭子斌關(guān)于“大數(shù)據(jù)”時代的見解，贏得了產(chǎn)業(yè)界的廣泛認(rèn)同。由此看來，“虛擬購物”能夠克服傳統(tǒng)市場研究手段的缺點，對企業(yè)營銷大有裨益。根據(jù)目前對“在線購物”所進(jìn)行的研究，企業(yè)與顧客在互聯(lián)網(wǎng)上的交易一般是起源于顧客對企業(yè)或產(chǎn)品、服務(wù)的尋找，即對互聯(lián)網(wǎng)上相關(guān)企業(yè)或產(chǎn)品、服務(wù)信息的瀏覽或訪問。從一定意義上講，電子商務(wù)的國際化發(fā)展，預(yù)示著未來企業(yè)經(jīng)營革命的方向。此時企業(yè)的經(jīng)營效率將更多地取決于組織內(nèi)部的合作溝通情況，而合作溝通又與組織成員之間的信任程度密切相關(guān)。然而對于在電子商務(wù)方面起步較晚的發(fā)展中國家如中國及其企業(yè)來說，這一機(jī)遇同時也是嚴(yán)峻的挑戰(zhàn)。電子商務(wù)的起源可以追溯到互聯(lián)網(wǎng)(Internet)和電子數(shù)據(jù)交換的出現(xiàn)。與此同時，諸如Usenet、ll TNET，經(jīng)由各自的電腦系統(tǒng)以共用的交易標(biāo)準(zhǔn)進(jìn)行商業(yè)信息的交換，這就是電子數(shù)據(jù)交換。用戶急劇增多。企業(yè)界和一般消費者對新一代基于互聯(lián)網(wǎng)信息技術(shù)的逐步接受，也成為電子商務(wù)應(yīng)用的另一種不容忽視的推動力。終端、網(wǎng)絡(luò)與應(yīng)用是移動互聯(lián)網(wǎng)的3個要素。中國社會化媒體幾乎都可以從國外找到原型，從You tube到優(yōu)酷、土豆，從Twitter到新浪、騰訊微博，以及各種消費點評、問答百科、位置服務(wù)等，這些媒體為普通用戶提供了極大的互動交流空間。大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。這種爆炸性增長的數(shù)據(jù)量對于企業(yè)發(fā)展來說，是一筆取之不盡、用之不竭的財富。近年來，伴隨著互聯(lián)網(wǎng)、3S技術(shù)(GPS、GIS、RS)、以及智能手機(jī)的迅速發(fā)展，人文社會科學(xué)領(lǐng)域的研究數(shù)據(jù)獲取與處理已經(jīng)出現(xiàn)了新的趨向。其中，內(nèi)容挖掘是對網(wǎng)頁文本和媒體數(shù)據(jù)的獲取，用于研究用戶活動狀態(tài)和特征；結(jié)構(gòu)挖掘是對網(wǎng)頁鏈接結(jié)構(gòu)進(jìn)行分析，用于評估網(wǎng)頁的資源量；使用挖掘則是通過挖掘網(wǎng)頁訪問的日志記錄，以便提供個性化的產(chǎn)品和服務(wù)以此來研究電子商務(wù)的大數(shù)據(jù)時代。邁爾過去幾年全世界產(chǎn)生的數(shù)據(jù)量甚至超過了歷史上4萬年來產(chǎn)生的數(shù)據(jù)量的總和。IT業(yè)界通常將大數(shù)據(jù)的特征概括為四個“V”：體量（volumes）巨、類別（variety）多、速度（Velocity）快、價值（Value）大。而大數(shù)據(jù)則要求窮盡一切相關(guān)樣本，搜集盡可能全面的數(shù)據(jù)，大數(shù)據(jù)的數(shù)據(jù)集擁有的不是支離破碎的割裂數(shù)據(jù)，不是數(shù)據(jù)片段，而是完整的數(shù)據(jù)。這使其信息占有量和信息復(fù)雜度為傳統(tǒng)數(shù)據(jù)庫所無法比擬。大數(shù)據(jù)的要害不在于數(shù)據(jù)存儲技術(shù)的升級躍進(jìn)，大數(shù)據(jù)的“大”不是指存儲和備份的數(shù)據(jù)大，在根本上它是指處理數(shù)據(jù)所使用的模式“大”。在20世紀(jì)90年代，“數(shù)據(jù)倉庫之父”比爾一夜之間，人類儼然進(jìn)入了一個全新的“大數(shù)據(jù)”時代。根據(jù)市場調(diào)研公司IDC的報告，全球信息總量每過兩年就會增長一倍。在過去，存儲的主要是模擬數(shù)據(jù)，報紙、書籍、圖片、磁帶等媒介是信息存儲的主要載體，甚至在2000年的時候，數(shù)字存儲信息仍只占全球數(shù)據(jù)量的四分之一；當(dāng)時，另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。但大數(shù)據(jù)潮流的深層根源顯然還是利潤最大化的商業(yè)沖動，大數(shù)據(jù)產(chǎn)業(yè)說到底不過是數(shù)字經(jīng)濟(jì)、知識經(jīng)濟(jì)的最新形態(tài)，這也是“大數(shù)據(jù)”這個為管理咨詢公司、經(jīng)濟(jì)學(xué)家、IT界巨頭歡欣鼓舞的概念招人質(zhì)疑的重要原因。在維基百科中關(guān)于大數(shù)據(jù)的定義為:大數(shù)據(jù)是指利用常用軟件工具來獲取、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集。這個定義給出了量化標(biāo)準(zhǔn)，但只強(qiáng)調(diào)數(shù)據(jù)量大，種類多，增長快等數(shù)據(jù)本身的特征。這些特性使得大數(shù)據(jù)區(qū)別于傳統(tǒng)的數(shù)據(jù)概念。早期的單位化數(shù)據(jù)，對原始事物進(jìn)行了一定程度的抽象，數(shù)據(jù)維度低，數(shù)據(jù)類型簡單，多采用表格的形式來收集、存儲、整理，數(shù)據(jù)的單位、量綱和意義基本統(tǒng)一，存儲、處理的只是數(shù)值而已，因此數(shù)據(jù)量有限，增長速度慢而隨著應(yīng)用的發(fā)展，數(shù)據(jù)維度越來越高，描述相同事物所需的數(shù)據(jù)量越來越大。早期，人們對事物的認(rèn)知受限于獲取、分析數(shù)據(jù)的能力，一直利用采樣的方法，以少量的數(shù)據(jù)來近似的描述事物的全貌，樣本的數(shù)量可以根據(jù)數(shù)據(jù)獲取、處理能力來設(shè)定。數(shù)據(jù)類型繁多，復(fù)雜多變是大數(shù)據(jù)的重要特性。這種關(guān)注結(jié)構(gòu)化信息，強(qiáng)調(diào)大眾化、標(biāo)準(zhǔn)化的屬性使得處理傳統(tǒng)數(shù)據(jù)的復(fù)雜程度一般呈線性增長，新增的數(shù)據(jù)可以通過常規(guī)的技術(shù)手段處理。在數(shù)據(jù)激增的同時，新的數(shù)據(jù)類型層出不窮，已經(jīng)很難用一種或幾種規(guī)定的模式來表征日趨復(fù)雜、多樣的數(shù)據(jù)形式，這樣的數(shù)據(jù)已經(jīng)不能用傳統(tǒng)的數(shù)據(jù)庫表格來整齊的排列、表示。同時，數(shù)據(jù)不是靜止不動的，而是在互聯(lián)網(wǎng)絡(luò)中不斷流動，且通常這樣的數(shù)據(jù)的價值是隨著時間的推移而迅速降低的，如果數(shù)據(jù)尚未得到有效的處理，就失去了價值，大量的數(shù)據(jù)就沒有意義。傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，依據(jù)特定的應(yīng)用，對事物進(jìn)行了相應(yīng)的抽象，每一條數(shù)據(jù)都包含該應(yīng)用需要考量的信息，而大數(shù)據(jù)為了獲取事物的全部細(xì)節(jié)，不對事物進(jìn)行抽象、歸納等處理，直接采用原始的數(shù)據(jù)，保留了數(shù)據(jù)的原貌，且通常不對數(shù)據(jù)進(jìn)行采樣，直接采用全體數(shù)據(jù)，由于減少了采樣和抽象，呈現(xiàn)所有數(shù)據(jù)和全部細(xì)節(jié)信息，可以分析更多的信息，但也引入了大量沒有意義的信息，甚至是錯誤的信息，因此相對于特定的應(yīng)用，大數(shù)據(jù)關(guān)注的非結(jié)構(gòu)化數(shù)據(jù)的價值密度偏低，以當(dāng)前廣泛應(yīng)用的監(jiān)控視頻為例，在連續(xù)不間斷監(jiān)控過程中，大量的視頻數(shù)據(jù)被存儲下來，許多數(shù)據(jù)可能是無用，對于某一特定的應(yīng)用，比如獲取犯罪嫌疑人的體貌特征，有效的視頻數(shù)據(jù)可能僅僅有一兩秒，大量不相關(guān)的視頻信息增加了獲取這有效的一兩秒數(shù)據(jù)的難度。首先，檔案館信息資源總量龐大且增長迅速。再次，檔案館數(shù)據(jù)資源價值很高。大數(shù)據(jù)時代，檔案館維護(hù)和傳承記憶的功能將更加重要，構(gòu)建一個“基于互聯(lián)網(wǎng)的，以檔案數(shù)字資源為主體，以文本、圖片、音頻、視頻等為形式，為中華民族集體記憶的建構(gòu)和傳承提供文獻(xiàn)支撐的‘中國記憶’數(shù)字將成為檔案人新的目標(biāo)與使命。認(rèn)識問題作為一個檔案大國，幾千年檔案工作的歷史積淀在我國形成了豐富多彩的檔案文化，也形成了一套獨特的檔案思維模式。人才瓶頸在檔案事業(yè)快速發(fā)展的今天，我國的檔案人才隊伍建設(shè)卻不盡如人意?！按髷?shù)據(jù)泡沫如果現(xiàn)在存在的話，恐怕并非數(shù)據(jù)的作用被過分夸大，而主要是由于真正具備資質(zhì)的數(shù)據(jù)科學(xué)家數(shù)量不足導(dǎo)致的。需求旺盛隨著信息環(huán)境的變化和社會檔案意識的覺醒，用戶的檔案信息需求層面不斷加深，需求領(lǐng)域也不斷拓展。隨著用戶信息素養(yǎng)的不斷提高，檔案用戶已從信息服務(wù)的“被動接受者”轉(zhuǎn)換為“主動選擇者”，他們更希望獲得一種為自己量身定做的個性化信息服務(wù)。這些政策性文件及講話，將為大數(shù)據(jù)在檔案館中的應(yīng)用帶來更多的政策支持，也為大數(shù)據(jù)時代檔案館的發(fā)展帶來更多機(jī)遇。然而，數(shù)據(jù)分析技術(shù)的發(fā)展，對國家安全及用戶隱私產(chǎn)生了極大威脅，數(shù)據(jù)持有人可以從歷史數(shù)據(jù)中推測判斷出行為人的下一步動作——個人行動軌跡、行為軌跡，甚至思維軌跡。因此，數(shù)字化時代，檔案館如何實現(xiàn)“數(shù)據(jù)化生存”，將是不得不慎重考慮的難題。我們不得不接受這個現(xiàn)實，每個人在互聯(lián)網(wǎng)進(jìn)入到大數(shù)據(jù)時代，都將是透明性存在。要買商品，必先瀏覽，對比，詢價；要搞活動，必先征集、討論、策劃；互聯(lián)網(wǎng)上恰恰保留了大量的前兆性的數(shù)據(jù)，通過對這些數(shù)據(jù)的收集和分析，互聯(lián)網(wǎng)企業(yè)具備了預(yù)判物理世界中，人類未來行為的能力。第一篇報告——《大數(shù)據(jù)時代即將到來》，之所以用時代這個詞作為標(biāo)題，是因為大數(shù)據(jù)是歷史上首個可以預(yù)測人類短期行為的技術(shù)。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù)；而我們提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了。詢盤指數(shù)是前兆性的，前期詢盤指數(shù)活躍，就會保證后期一定的成交量。 推動大數(shù)據(jù)技術(shù)在各行業(yè)普及的原動力，來自于企業(yè)改善自身經(jīng)營水平、提升經(jīng)營效率的需要。這句話有兩層含義。 這一輪的變革，事關(guān)絕大多數(shù)企業(yè)的命運。時代變了，判斷企業(yè)價值的標(biāo)準(zhǔn)、判斷軟件價值的標(biāo)準(zhǔn)也變了。第二，行業(yè)會垂直整合。第3章 電子商務(wù)大數(shù)據(jù)時代面對的問題與挑戰(zhàn)大數(shù)據(jù)作為新興產(chǎn)業(yè)熱點，在美國政府“大數(shù)據(jù)”計劃的引導(dǎo)和IBM、甲骨文、EMC等跨國企業(yè)的推動下，成為繼云計算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一亮點。加快研發(fā)大數(shù)據(jù)關(guān)鍵技術(shù)，布局大數(shù)據(jù)產(chǎn)業(yè)鏈，推動大數(shù)據(jù)示范應(yīng)用，對搶占新一輪信息產(chǎn)業(yè)發(fā)展制高點，具有重要意義。作為構(gòu)筑在數(shù)據(jù)分析和信息處理基礎(chǔ)上的競爭情報，它的發(fā)展將面臨著全新的信息空間所帶來的機(jī)遇和挑戰(zhàn)。尤為致命的是，大多數(shù)中小企業(yè)認(rèn)為大數(shù)據(jù)是Google、Amazon、Facebook、阿里巴巴、京東商城等公司才關(guān)心的技術(shù)。數(shù)據(jù)就是電子商務(wù)企業(yè)的財富和金礦，誰擁有大數(shù)據(jù)，誰就有制勝的砝碼，誰就可能成為大贏家。此外，挖掘大數(shù)據(jù)的價值類似沙里淘金，由于大數(shù)據(jù)價值密度低的特性更加增添了數(shù)據(jù)收集工作的巨大性和繁重性。其次，企業(yè)需要重構(gòu)其IT架構(gòu)，加大基礎(chǔ)設(shè)施的承載能力，租用足夠的空間，進(jìn)一步加強(qiáng)信息化投資和建設(shè)，適應(yīng)大數(shù)據(jù)時代的要求。這一方面降低了情報分析的時效，另一方面也丟失了非結(jié)構(gòu)化數(shù)據(jù)隱含的關(guān)系，而這些關(guān)系很有可能是非常重要的情報。該報告的第一個挑戰(zhàn)就是“數(shù)據(jù)”問題，即：“如何收集、保存、維護(hù)、管理、分析、共享正在呈指數(shù)級別增長的數(shù)據(jù)是我們必須面對的一個重要挑戰(zhàn)”