【文章內容簡介】 了一種新的產業(yè)資源，通過盡力搜集整理全面數(shù)據(jù)、完整數(shù)據(jù)、綜合數(shù)據(jù)并對數(shù)據(jù)進行深度智能分析和建模，可以顯示出各種事物的潛在關聯(lián)，挖掘出各種以往不為人知的相關性，判斷事物發(fā)生的概率，預測事物變化的走向，預見某種社會趨勢，從而使魚龍混雜的信息在大數(shù)據(jù)時代的社會管理、商業(yè)營銷、產業(yè)開發(fā)、文化創(chuàng)意、醫(yī)療保健等方面更能發(fā)揮見微知著的預見性價值，據(jù)此各行各 業(yè)都可以有的放矢地制定新策略，成就新創(chuàng)意，開發(fā)新產品，推出新業(yè)務。雖然早在 1980 年著名未來學家阿爾文托夫勒在其《第三次浪潮》一書中已經(jīng)提到“大數(shù)據(jù)”一詞。在 20 世紀 90 年代，“數(shù)據(jù)倉庫之父”比爾伊蒙（ Bill In mon）更明確提出了“大數(shù)據(jù)”的概念。但在當時“大數(shù)據(jù)”的說法并沒有引起世人的高度關注。最近幾年大數(shù)據(jù)一說不脛而走，顯然與信息量的持續(xù)攀升、大數(shù)據(jù)的俯拾即是、云計算的大量運用息息相關。一夜之間，人類儼然進入了一個全新的“大數(shù)據(jù)”時代。實際上，大數(shù)據(jù)時代的到來早有征兆。 20世紀 80、 90 年代 所謂的信息爆炸可謂是今日的大數(shù)據(jù)潮流的先聲。只不過，目前物聯(lián)網(wǎng)、移動通訊、互聯(lián)網(wǎng)每時每刻都在不斷滋生潮水般的海量數(shù)據(jù)，人類的信息數(shù)據(jù)在以幾何指數(shù)形式激增。根據(jù)市場調研公司 IDC 的報告，全球信息總量每過兩年就會增長一倍。據(jù)統(tǒng)計， 1 分鐘內，微博網(wǎng)站推特上新發(fā)信息超過 10 萬條，臉譜上的瀏覽量超過600 萬，蘋果應用商店下載次數(shù)以萬計，淘寶可賣出幾萬件商品，百度能產生百萬次搜索記錄。而以往的數(shù)字化信息存儲和處理能力嚴重限制了信息的采集、存儲量。這些 TB 級、 PB 級海量數(shù)據(jù)的存儲、挖掘、處理、分析、利用對于以往時代來說是 不可想象的。在過去，存儲的主要是模擬數(shù)據(jù)，報紙、書籍、圖片、磁帶等媒介是信息存儲的主要載體，甚至在 2020 年的時候，數(shù)字存儲信息仍只占全球數(shù)據(jù)量的四分之一；當時，另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。 P23 數(shù)據(jù)處理技術和處理能力的局限使大量在交通、醫(yī)療、商業(yè)、管理中產生的數(shù)據(jù)資料都難以得到長期有效的存儲。直到 MPP、 MapReduce、Hadoop 平臺、云計算等新的數(shù)據(jù)處理技術誕生后，海量的大數(shù)據(jù)才被深度挖掘 。 處理，顯示出了前所未有的價值。但大數(shù)據(jù)潮流的深層根源顯然還是利潤最大化的商業(yè)沖動，大數(shù)據(jù)產業(yè)說到底不過是數(shù)字經(jīng)濟、知識經(jīng)濟的最新形態(tài)，這也是“大數(shù)據(jù)”這個為管理咨詢公司、經(jīng)濟學家、 IT 界巨頭歡欣鼓舞的概念招人 本科生畢業(yè)設計（論文） 8 質疑的重要原因。但是商業(yè)化潮流既可能導致文化的沙化、社會的急功近利、商業(yè)的唯利是圖，也會成為文化創(chuàng)新的不竭動力，開啟知識創(chuàng)造的新天地和新境界。事實上，正是近年來數(shù)字化領域的商業(yè)逐利沖動驅使商家不斷改換思路，升級設備，實現(xiàn)數(shù)字技術創(chuàng)新，提升數(shù)字服務水準，開辟新的產業(yè)領域，開發(fā)新的文化產品，開創(chuàng)了蔚為潮流的大數(shù)據(jù)產業(yè)，也開啟了有別于互聯(lián)網(wǎng)時代的“數(shù)字化生存“的新境界 。 電子商務大數(shù)據(jù)時代的特點 大數(shù)據(jù)是一個較為抽象的概念，正如信息學領域大多數(shù)新興概念，大數(shù)據(jù)至今尚無確切、統(tǒng)一的定義。在維基百科中關于大數(shù)據(jù)的定義為 :大數(shù)據(jù)是指利用常用軟件工具來獲取、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集。個人認為，這并不是一個精確的定義，因為無法確定常用軟件工具的范圍，可容忍時間也是個概略的描述。 IDC 在對大數(shù)據(jù)作出的定義為 :大數(shù)據(jù)一般會涉及 2 種或 2 種以上數(shù)據(jù)形式。它要收集超過 100TB 的數(shù)據(jù)，并且是高速、實時數(shù)據(jù)流 ； 或者是從小數(shù)據(jù)開始，但數(shù)據(jù)每年會增長 60%以上。這個定義給出了 量化標準，但只強調數(shù)據(jù)量大，種類多，增長快等數(shù)據(jù)本身的特征。研究機構 Gartner 給出了這樣的定義 :大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。這也是一個描述性的定義，在對數(shù)據(jù)描述的基礎上加入了處理此類數(shù)據(jù)的一些特征，用這些特征來描述大數(shù)據(jù)。當前，較為統(tǒng)一的認識是大數(shù)據(jù)有四個基本特征 :數(shù)據(jù)規(guī)模大 (Volume)，數(shù)據(jù)種類多(Variety)，數(shù)據(jù)要求處理速度快 (Velocity)，數(shù)據(jù)價值密度低 (Value)，即所謂的四 V 特性。這些特性使得大數(shù)據(jù)區(qū) 別于傳統(tǒng)的數(shù)據(jù)概念。大數(shù)據(jù)的概念與“海量數(shù)據(jù)”不同，后者只強調數(shù)據(jù)的量，而大數(shù)據(jù)不僅用來描述大量的數(shù)據(jù)，還更進一步指出數(shù)據(jù)的復雜形式、數(shù)據(jù)的快速時間特性以及對數(shù)據(jù)的分析、處理等專業(yè)化處理，最終獲得有價值信息的能力。 數(shù)據(jù)量大 大數(shù)據(jù)聚合在一起的數(shù)據(jù)量是非常大的，根據(jù) IDC 的定義至少要有超過 100TB的可供分析的數(shù)據(jù)，數(shù)據(jù)量大是大數(shù)據(jù)的基本屬性。導致數(shù)據(jù)規(guī)模激增的原因有很多，首先是隨著互聯(lián)網(wǎng)絡的廣泛應用，使用網(wǎng)絡的人、企業(yè)、機構增多，數(shù)據(jù)獲取、分享變得相對容易，以前，只有少量的機構可以通過調查、取樣 的方法獲取數(shù)據(jù)，同時發(fā)布數(shù)據(jù)的機構也很有限，人們難以短期內獲取大量的數(shù)據(jù)，而現(xiàn)在用戶可以通過網(wǎng)絡非常方便的獲取數(shù)據(jù)，同時用戶在有意的分享和無意的點擊、瀏覽都可以快速的提供大量數(shù)據(jù) ； 其次是隨著各種傳感器數(shù)據(jù)獲取能力的大幅提高，使得人們獲取的數(shù)據(jù)越來越接近原始事物本身，描述同一事物的數(shù)據(jù)量激增。 本科生畢業(yè)設計（論文） 9 早期的單位化數(shù)據(jù)，對原始事物進行了一定程度的抽象，數(shù)據(jù)維度低，數(shù)據(jù)類型簡單，多采用表格的形式來收集、存儲、整理，數(shù)據(jù)的單位、量綱和意義基本統(tǒng)一，存儲、處理的只是數(shù)值而已，因此數(shù)據(jù)量有限，增長速度慢而隨著應用的發(fā)展，數(shù)據(jù)維 度越來越高，描述相同事物所需的數(shù)據(jù)量越來越大。以當前最為普遍的網(wǎng)絡數(shù)據(jù)為例，早期網(wǎng)絡上的數(shù)據(jù)以文本和一維的音頻為主，維度低，單位數(shù)據(jù)量小。近年來，圖像、視頻等二維數(shù)據(jù)大規(guī)模涌現(xiàn)，而隨著三維掃描設備以及Kinect 等動作捕捉設備的普及，數(shù)據(jù)越來越接近真實的世界，數(shù)據(jù)的描述能力不斷增強，而數(shù)據(jù)量本身必將以幾何級數(shù)增長。此外，數(shù)據(jù)量大還體現(xiàn)在人們處理數(shù)據(jù)的方法和理念發(fā)生了根本的改變。早期，人們對事物的認知受限于獲取、分析數(shù)據(jù)的能力，一直利用采樣的方法，以少量的數(shù)據(jù)來近似的描述事物的全貌，樣本的數(shù)量可以根據(jù)數(shù)據(jù)獲取 、處理能力來設定。不管事物多么復雜，通過采樣得到部分樣本，數(shù)據(jù)規(guī)模變小，就可以利用當時的技術手段來進行數(shù)據(jù)管理和分析，如何通過正確的采樣方法以最小的數(shù)據(jù)量盡可能分析整體屬性成了當時的重要問題。隨著技術的發(fā)展，樣本數(shù)目逐漸逼近原始的總體數(shù)據(jù)，且在某些特定的應用領域，采樣數(shù)據(jù)可能遠不能描述整個事物，可能丟掉大量重要細節(jié)，甚至可能得到完全相反的結論，因此，當今有直接處理所有數(shù)據(jù)而不是只考慮采樣數(shù)據(jù)的的趨勢。使用所有的數(shù)據(jù)可以帶來更高的精確性，從更多的細節(jié)來解釋事物屬性，同時必然使得要處理數(shù)據(jù)量顯著增多。 數(shù)據(jù)類型多樣 數(shù)據(jù)類型繁多，復雜多變是大數(shù)據(jù)的重要特性。以往的數(shù)據(jù)盡管數(shù)量龐大，但通常是事先定義好的結構化數(shù)據(jù)。結構化數(shù)據(jù)是將事物向便于人類和計算機存儲、處理、查詢的方向抽象的結果，結構化在抽象的過程中，忽略一些在特定的應用下可以不考慮的細節(jié)，抽取了有用的信息。處理此類結構化數(shù)據(jù)，只需事先分析好數(shù)據(jù)的意義以數(shù)據(jù)間的相關屬性，構造表結構來表示數(shù)據(jù)的屬性，數(shù)據(jù)都以表格的形式保存在數(shù)據(jù)庫中，數(shù)據(jù)格式統(tǒng)一，以后不管再產生多少數(shù)據(jù)，只需根據(jù)其屬性，將數(shù)據(jù)存儲在合適的位置，就可以方便的處理、查詢，一般不需要為新增的數(shù) 據(jù)顯著的更改數(shù)據(jù)聚集、處理、查詢方法，限制數(shù)據(jù)處理能力的只是運算速度和存儲空間。這種關注結構化信息，強調大眾化、標準化的屬性使得處理傳統(tǒng)數(shù)據(jù)的復雜程度一般呈線性增長，新增的數(shù)據(jù)可以通過常規(guī)的技術手段處理。而隨著互聯(lián)網(wǎng)絡與傳感器的飛速發(fā)展，非結構化數(shù)據(jù)大量涌現(xiàn)，非結構化數(shù)據(jù)沒有統(tǒng)一的結構屬性，難以用表結構來表示，在記錄數(shù)據(jù)數(shù)值的同時還需要存儲數(shù)據(jù)的結構，增加了數(shù)據(jù)存儲、處理的難度。而時下在網(wǎng)絡上流動著的數(shù)據(jù)大部分是非結構化數(shù)據(jù)，人們上網(wǎng)不只是看看新聞，發(fā)送文字郵件，還會上傳下載照片、視頻、發(fā)送微博等非結構化數(shù) 據(jù)，同時，遍及工作、生活中各個角落的傳 本科生畢業(yè)設計（論文） 10 感器也時刻不斷的產生各種半結構化、非結構化數(shù)據(jù)，這些結構復雜，種類多樣，同時規(guī)模又很大的半結構化、非結構化數(shù)據(jù)逐漸成為主流數(shù)據(jù)。如上所述，非結構化數(shù)據(jù)量已占到數(shù)據(jù)總量的 75%以上，且非結構化數(shù)據(jù)的增長速度比結構化數(shù)據(jù)快 10 倍到 50 倍。在數(shù)據(jù)激增的同時，新的數(shù)據(jù)類型層出不窮，已經(jīng)很難用一種或幾種規(guī)定的模式來表征日趨復雜、多樣的數(shù)據(jù)形式，這樣的數(shù)據(jù)已經(jīng)不能用傳統(tǒng)的數(shù)據(jù)庫表格來整齊的排列、表示。大數(shù)據(jù)正是在這樣的背景下產生的，大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)處理最大的不同就是重點關注非結構化 信息，大數(shù)據(jù)關注包含大量細節(jié)信息的非結構化數(shù)據(jù)，強調小眾化，體驗化的特性使得傳統(tǒng)的數(shù)據(jù)處理方式面臨巨大的挑戰(zhàn)。 數(shù)據(jù)處理速度快 要求數(shù)據(jù)的快速處理，是大數(shù)據(jù)區(qū)別于傳統(tǒng)海量數(shù)據(jù)處理的重要特性之一。隨著各種傳感器和互聯(lián)網(wǎng)絡等信息獲取、傳播技術的飛速發(fā)展普及，數(shù)據(jù)的產生、發(fā)布越來越容易，產生數(shù)據(jù)的途徑增多，個人甚至成為了數(shù)據(jù)產生的主體之一，數(shù)據(jù)呈爆炸的形式快速增長，新數(shù)據(jù)不斷涌現(xiàn)，快速增長的數(shù)據(jù)量要求數(shù)據(jù)處理的速度也要相應的提升，才能使得大量的數(shù)據(jù)得到有效的利用，否則不斷激增的數(shù)據(jù)不但不能為解決問題帶來 優(yōu)勢，反而成了快速解決問題的負擔。同時，數(shù)據(jù)不是靜止不動的，而是在互聯(lián)網(wǎng)絡中不斷流動，且通常這樣的數(shù)據(jù)的價值是隨著時間的推移而迅速降低的，如果數(shù)據(jù)尚未得到有效的處理，就失去了價值，大量的數(shù)據(jù)就沒有意義。此外，在許多應用中要求能夠實時處理新增的大量數(shù)據(jù)，比如有大量在線交互的電子商務應用，就具有很強的時效性，大數(shù)據(jù)以數(shù)據(jù)流的形式產生、快速流動、迅速消失，且數(shù)據(jù)流量通常不是平穩(wěn)的，會在某些特定的時段突然激增，數(shù)據(jù)的涌現(xiàn)特征明顯，而用戶對于數(shù)據(jù)的響應時間通常非常敏感，心理學實驗證實，從用戶體驗的角度，瞬間 (moment， 3秒鐘 )是可以容忍的最大極限，對于大數(shù)據(jù)應用而言，很多情況下都必須要在 1 秒鐘或者瞬間內形成結果，否則處理結果就是過時和無效的，這種情況下，大數(shù)據(jù)要求快速、持續(xù)的實時處理。對不斷激增的海量數(shù)據(jù)數(shù)據(jù)的實時處理要求，是大數(shù)據(jù)與傳統(tǒng)海量數(shù)據(jù)處理技術的關鍵差別之一。 數(shù)據(jù)價值密度低 數(shù)據(jù)價值密度低是大數(shù)據(jù)關注的非結構化數(shù)據(jù)的重要屬性。傳統(tǒng)的結構化數(shù)據(jù)，依據(jù)特定的應用，對事物進行了相應的抽象，每一條數(shù)據(jù)都包含該應用需要考量的信息，而大數(shù)據(jù)為了獲取事物的全部細節(jié)，不對事物進行抽象、歸納等處理，直接采用原始 的數(shù)據(jù)，保留了數(shù)據(jù)的原貌，且通常不對數(shù)據(jù)進行采樣，直接采用全體數(shù)據(jù)，由于減少了采樣和抽象，呈現(xiàn)所有數(shù)據(jù)和全部細節(jié)信息，可以分 本科生畢業(yè)設計（論文） 11 析更多的信息，但也引入了大量沒有意義的信息，甚至是錯誤的信息，因此相對于特定的應用，大數(shù)據(jù)關注的非結構化數(shù)據(jù)的價值密度偏低，以當前廣泛應用的監(jiān)控視頻為例，在連續(xù)不間斷監(jiān)控過程中，大量的視頻數(shù)據(jù)被存儲下來，許多數(shù)據(jù)可能是無用，對于某一特定的應用，比如獲取犯罪嫌疑人的體貌特征，有效的視頻數(shù)據(jù)可能僅僅有一兩秒，大量不相關的視頻信息增加了獲取這有效的一兩秒數(shù)據(jù)的難度。但是大數(shù)據(jù)的數(shù)據(jù)密度低是指 相對于特定的應用，有效的信息相對于數(shù)據(jù)整體是偏少的，信息有效與否也是相對的，對于某些應用是無效的信息對于另外一些應用則成為最關鍵的信息，數(shù)據(jù)的價值也是相對的，有時一條微不足道的細節(jié)數(shù)據(jù)可能造成巨大的影響，比如網(wǎng)絡中的一條幾十個字符的微博，就可能通過轉發(fā)而快速擴散，導致相關的信息大量涌現(xiàn)，其價值不可估量。因此為了保證對于新產生的應用有足夠的有效信息，通常必須保存所有數(shù)據(jù)，這樣就使得一方面是數(shù)據(jù)的絕對數(shù)量激增，一方面是數(shù)據(jù)包含有效信息量的比例不斷減少，數(shù)據(jù)價值密度偏低。 電子商務大數(shù)據(jù)時代的 SWOT分析 優(yōu)勢分析 資源優(yōu)勢 對檔案館而言，其最大的優(yōu)勢在于所擁有的資源。首先，檔案館信息資源總量龐大且增長迅速。 2020 年，全國各級國家檔案館共保存檔案 億卷，較上年增加 1769 萬卷，增幅達 10%，而到 2020 年各級國家檔案館館藏已達 億卷，到2020 年各級國家檔案館館藏將達到 6 億多卷。其次，檔案館數(shù)據(jù)資源種類繁多。在檔案館的數(shù)據(jù)資源中，既有數(shù)字化的紙質檔案、接收進館的電子文件、音視頻檔案等，也有用戶利用信息、服務數(shù)據(jù)等數(shù)據(jù)資源。再次，檔案館數(shù)據(jù)資源價值很高。與其它數(shù)據(jù)資源等相比，“檔案是一 種最真實、最可靠、最具權威性與憑證性的原生信息資源”，這就使得數(shù)據(jù)洪流時代檔案的價值與作用更加凸顯。 行業(yè)領先 首先，各級國家檔案館是集中統(tǒng)一保管黨和國家檔案的科學文化事業(yè)機構，是永久保管檔案的基地，是社會各界利用檔案史料的中心。作為一種機構性存在與制度性安排，檔案館的公共性、服務性、公平性、永久性等特征，使得檔案館成為人們心目中最系統(tǒng)、最值得信賴的數(shù)據(jù)資源庫。大數(shù)據(jù)時代，檔案館維護和傳承記憶的功能將更加重要，構建一個“基于互聯(lián)網(wǎng)的，以檔案數(shù)字資源為主體，以文本、圖片、音頻、視頻等為形式，為中華民族集體 記憶的建構和傳承提供文獻支撐的‘中國記憶’數(shù)字將成為檔案人新的目標與使命。其次，檔案館在數(shù)據(jù)處理上具有豐富的經(jīng)驗?？疾鞌?shù)據(jù)生命周期，涉及到數(shù)據(jù)生成、采集、傳輸、處 本科生畢業(yè)設計（論文） 12 理、分析、應用等階段，而這也恰恰是檔案館熟悉的業(yè)務范疇。因此，檔案館可以通過模擬或借鑒傳統(tǒng)檔案處理的整套業(yè)務規(guī)范或流