【正文】 國運(yùn)輸行業(yè)制定了 T l)cc 交易標(biāo)準(zhǔn) ， 率先應(yīng)用這一先進(jìn)的商務(wù)手段。前者為電子商務(wù)的推廣應(yīng)用奠定了基礎(chǔ) ； 后者是電子商務(wù)的初始應(yīng)用方式 ， 至今仍是電子商務(wù)的重要組成部分。實(shí)際上 ， 發(fā)達(dá)國家的企業(yè)在應(yīng)用電子商務(wù)以后 ， 經(jīng)營過程的資源處理活動(dòng)相對減少 ，信息處理活動(dòng)相對增加 ； 能源應(yīng)用相對減少 ， 知識應(yīng)用相對增加。類似的情況也出現(xiàn)在企業(yè)間及企業(yè)外部管理方面。電子商務(wù)也對企業(yè)管理產(chǎn)生影響。這與以往市場交易的起始方向似正相反 ，從而帶來營銷及相應(yīng)經(jīng)營規(guī)則的重大改變 ： 其一 ， 根據(jù)顧客的訪問信息 ， 企業(yè)可以更明確地界定潛在市場。但電子商務(wù)對營銷的影響并不局限在市場研究的范圍內(nèi)。 電子商務(wù)的發(fā)展現(xiàn)狀 隨著電子商務(wù)的發(fā)展 ， 企業(yè)開始應(yīng)用“虛擬購物”手段在眾多購物場所開展逼近現(xiàn)實(shí)的市場研究 ， 以期借助電腦系統(tǒng)在信息處理方面的優(yōu)勢 ， 用靈 活、科學(xué)的方法去觀察和分析消費(fèi)行為 ， 加速市場研究過程。當(dāng)前，從搜索引擎 、社交網(wǎng)絡(luò)的普及，到“人手一機(jī)”的智能移動(dòng)終端應(yīng)用，全球互聯(lián)網(wǎng)上的信息總量正以每年 30%～ 50%的增速不斷爆漲。 Velocity 指企業(yè)數(shù)據(jù)增加的速度越來越快。顧名思義，“大數(shù)據(jù) ”的精髓在于“大”，其不僅說明數(shù)據(jù)的數(shù)量龐大，還意味著數(shù)據(jù)種類繁多、結(jié)構(gòu)復(fù)雜，變化速度飛快。 致謝 ................................................................................................... 錯(cuò)誤 !未定義書簽。 本科生畢業(yè)設(shè)計(jì)（論文） I 目 錄 摘要 ................................................................................................... 錯(cuò)誤 !未定義書簽。 參考文獻(xiàn) ......................................................................................................................... 30 本科生畢業(yè)設(shè)計(jì)（論文） 1 第 1章 緒論 選題背景與意義 根據(jù) IDC 機(jī)構(gòu)的定義，“大數(shù)據(jù)”是指為了更經(jīng)濟(jì)、更有效地從高頻率、大容量、不同結(jié)構(gòu)類型的數(shù)據(jù)中獲取有價(jià)值的信息而設(shè)計(jì)的新一代架構(gòu)技術(shù)，人們用它來描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展創(chuàng)新。大數(shù)據(jù)呈現(xiàn)三種特性： Volume（極多的數(shù)據(jù)量）、 Velocity（極快的處理速度）、 Variety（極繁的數(shù)據(jù)種類）。諸如移動(dòng)“大數(shù) 據(jù)”成就“智慧營銷”產(chǎn)業(yè)聚焦 Estate Focus、社交網(wǎng)絡(luò)的廣泛應(yīng)用，使得數(shù)據(jù)增加的速度比傳統(tǒng)的應(yīng)用程式快了很多，而在數(shù)據(jù)迅猛增生的背后，處理、分析的能力和速度必須緊跟其后加以完善。人們每天在Facebook 分享幾億條內(nèi)容，在 Twitter 轉(zhuǎn)發(fā) 15TB 信息，在淘寶瀏覽十億條店鋪、 本科生畢業(yè)設(shè)計(jì)（論文） 2 商品，創(chuàng)造上億的成交、收藏紀(jì)錄及 3000 多萬條傳感器資訊 ??IDC 發(fā)布的數(shù)字宇宙研究報(bào)告顯示， 2020 年全球創(chuàng)造的信息數(shù)量達(dá)到 1800EB，如果把這些數(shù)據(jù)刻錄到 CD 碟片中，這些碟片可環(huán)繞地球 30 圈。根據(jù)哈佛商學(xué)院研究人員對多種產(chǎn)品銷售的分析。互聯(lián)網(wǎng)是一個(gè)國際性的開放系統(tǒng) ， 企業(yè)一旦涉足其中 ， 就要面對世界各國的潛在顧客即訪問者 ， 于是自覺或不覺地成為進(jìn)行國際營銷的國際性企業(yè)。營銷的重點(diǎn) ， 是最大限度地令訪問者成為消費(fèi)者 ， 該項(xiàng)工作也可望因企業(yè)在互聯(lián)網(wǎng)上對多媒體展示內(nèi)容的巧妙運(yùn)用而達(dá)到很高的成功率 ； 其二 ， 在顧客對企業(yè)的訪問過程中 ， 雙方在互聯(lián)網(wǎng)上必然產(chǎn)生交互作用 ， 企業(yè)因此及時(shí)獲得顧客對其產(chǎn)品、 服務(wù)的信息反饋。在企業(yè)內(nèi)部管理方面 ， 管理人員以往注重對企業(yè)施加充分的控制以完成效率目標(biāo)。由于外聯(lián)網(wǎng)的出現(xiàn) ， 多個(gè)企業(yè)得以共享國際化、專業(yè)化程度高、靈活性強(qiáng)、反應(yīng)速度快等好處。這種向信息、知識密集型經(jīng)營轉(zhuǎn)換的直接結(jié)果 ， 是越來越多的行業(yè)出現(xiàn)了類似于“馬太效應(yīng)”的報(bào)酬遞增竟?fàn)帣C(jī)制。 60 年代末期 ， 美國國防部高級項(xiàng)目管理處建立了聯(lián)接美國各大學(xué)與國防工業(yè)合同商之間的電腦網(wǎng)絡(luò) ARPANE， 繼而開發(fā)了該網(wǎng)絡(luò)的標(biāo)準(zhǔn)通訊協(xié)議 TCP/IP。其后美國國家標(biāo)準(zhǔn)局在 T l)CC 的基礎(chǔ)上制定了 ANslX12 交易標(biāo)準(zhǔn) ，并負(fù)責(zé)對增值網(wǎng)的合格認(rèn)證工作 ， 促進(jìn)了電子數(shù)據(jù)交換在多個(gè)產(chǎn)業(yè)部門的應(yīng)用。 1993 年 9 月 ， 美國克林頓政府發(fā)布規(guī)劃信息高速公路的行動(dòng)綱領(lǐng) ， 將電子商務(wù)、遠(yuǎn)程教學(xué)、電子醫(yī)療列為 三大信息支柱項(xiàng)目 ， 一系列旨在加速信息高速公路建設(shè)的公共政策也相繼出臺 ， 這對推廣電子商務(wù)的應(yīng)用有很大的幫助。電子商務(wù)的一般框 架可圖示如下 ： 圖 1 電子 商務(wù)的概念框架 電子商務(wù)的移動(dòng)互聯(lián)時(shí)代 移動(dòng)互聯(lián)網(wǎng)是一個(gè)全國性的、以寬帶 IP為技術(shù)核心的，可同時(shí)提供語音、傳真、數(shù)據(jù)、圖像、多媒體等高品質(zhì)電信服務(wù)的新一代開放的電信基礎(chǔ)網(wǎng)絡(luò)。中國目前 約有 億的手機(jī)用戶、 億的手機(jī)網(wǎng)民，新興且前景光明的移動(dòng)互聯(lián)網(wǎng)成為眾企業(yè)垂涎的蛋糕。移動(dòng)互聯(lián)網(wǎng)應(yīng)用繽紛多彩，娛樂、商務(wù)、信息服務(wù) 等各種各樣應(yīng)用開始滲入人們的基本生活。 本科生畢業(yè)設(shè)計(jì)（論文） 5 與傳 統(tǒng)數(shù)據(jù)相比較，大數(shù)據(jù)包含數(shù)據(jù)交換、互聯(lián)、質(zhì)量、安全等數(shù)據(jù)體系建設(shè)以及建設(shè)上層數(shù)據(jù)應(yīng)用的整個(gè)生態(tài)圈。 2020 年，電商的競爭很大程度上就是大數(shù)據(jù)的競爭，大數(shù)據(jù)將貫穿整個(gè)電商的業(yè)務(wù)流程，成為公司核心競爭力。這些技術(shù)可以作為大數(shù)據(jù)時(shí)代城市時(shí)空間行為研究數(shù)據(jù)的重要來源，將有利于擴(kuò)大研究的范圍，并增加研究結(jié)果的精確性。如何挖掘海量數(shù)據(jù)的潛在價(jià)值，為城市治理、市民生活、企業(yè)營銷提供可靠的決策建議，是智慧城市發(fā)展所面臨的重要課題，亦是企業(yè)在未來市場競爭中搶占先機(jī)的關(guān)鍵 。所謂大數(shù)據(jù)，也就是大型數(shù)據(jù)集，一般在 10TB 規(guī)模左右。大數(shù)據(jù)的說法正是在與傳統(tǒng)數(shù)據(jù)庫的比照中形成的，也注定只能是一個(gè)暫時(shí)性的權(quán)宜說法。大數(shù)據(jù)和傳統(tǒng)所說的數(shù)據(jù)庫有所不同。大數(shù)據(jù)之大還在于氣魄大、境界大。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫的差異還在于它并不是一個(gè)整齊排列，有著固定層次結(jié)構(gòu)、劃一技術(shù)標(biāo)準(zhǔn)、反饋遲滯后延的物態(tài)化的實(shí)體，而是一個(gè)靈活、越界、即時(shí)、交互、綜合的動(dòng)態(tài)過程，可以在瞬間完成信息分析，形成數(shù)據(jù)圖譜，滿足社會各界人士的實(shí)時(shí)性需求。雖然早在 1980 年著名未來學(xué)家阿爾文但在當(dāng)時(shí)“大數(shù)據(jù)”的說法并沒有引起世人的高度關(guān)注。 20世紀(jì) 80、 90 年代 所謂的信息爆炸可謂是今日的大數(shù)據(jù)潮流的先聲。而以往的數(shù)字化信息存儲和處理能力嚴(yán)重限制了信息的采集、存儲量。直到 MPP、 MapReduce、Hadoop 平臺、云計(jì)算等新的數(shù)據(jù)處理技術(shù)誕生后，海量的大數(shù)據(jù)才被深度挖掘 。事實(shí)上，正是近年來數(shù)字化領(lǐng)域的商業(yè)逐利沖動(dòng)驅(qū)使商家不斷改換思路，升級設(shè)備，實(shí)現(xiàn)數(shù)字技術(shù)創(chuàng)新，提升數(shù)字服務(wù)水準(zhǔn)，開辟新的產(chǎn)業(yè)領(lǐng)域，開發(fā)新的文化產(chǎn)品，開創(chuàng)了蔚為潮流的大數(shù)據(jù)產(chǎn)業(yè)，也開啟了有別于互聯(lián)網(wǎng)時(shí)代的“數(shù)字化生存“的新境界 。 IDC 在對大數(shù)據(jù)作出的定義為 :大數(shù)據(jù)一般會涉及 2 種或 2 種以上數(shù)據(jù)形式。這也是一個(gè)描述性的定義，在對數(shù)據(jù)描述的基礎(chǔ)上加入了處理此類數(shù)據(jù)的一些特征，用這些特征來描述大數(shù)據(jù)。 數(shù)據(jù)量大 大數(shù)據(jù)聚合在一起的數(shù)據(jù)量是非常大的，根據(jù) IDC 的定義至少要有超過 100TB的可供分析的數(shù)據(jù)，數(shù)據(jù)量大是大數(shù)據(jù)的基本屬性。近年來，圖像、視頻等二維數(shù)據(jù)大規(guī)模涌現(xiàn)，而隨著三維掃描設(shè)備以及Kinect 等動(dòng)作捕捉設(shè)備的普及，數(shù)據(jù)越來越接近真實(shí)的世界，數(shù)據(jù)的描述能力不斷增強(qiáng)，而數(shù)據(jù)量本身必將以幾何級數(shù)增長。隨著技術(shù)的發(fā)展，樣本數(shù)目逐漸逼近原始的總體數(shù)據(jù)，且在某些特定的應(yīng)用領(lǐng)域，采樣數(shù)據(jù)可能遠(yuǎn)不能描述整個(gè)事物，可能丟掉大量重要細(xì)節(jié)，甚至可能得到完全相反的結(jié)論，因此，當(dāng)今有直接處理所有數(shù)據(jù)而不是只考慮采樣數(shù)據(jù)的的趨勢。結(jié)構(gòu)化數(shù)據(jù)是將事物向便于人類和計(jì)算機(jī)存儲、處理、查詢的方向抽象的結(jié)果，結(jié)構(gòu)化在抽象的過程中，忽略一些在特定的應(yīng)用下可以不考慮的細(xì)節(jié)，抽取了有用的信息。而時(shí)下在網(wǎng)絡(luò)上流動(dòng)著的數(shù)據(jù)大部分是非結(jié)構(gòu)化數(shù)據(jù)，人們上網(wǎng)不只是看看新聞，發(fā)送文字郵件，還會上傳下載照片、視頻、發(fā)送微博等非結(jié)構(gòu)化數(shù) 據(jù)，同時(shí)，遍及工作、生活中各個(gè)角落的傳 本科生畢業(yè)設(shè)計(jì)（論文） 10 感器也時(shí)刻不斷的產(chǎn)生各種半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，這些結(jié)構(gòu)復(fù)雜，種類多樣，同時(shí)規(guī)模又很大的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)逐漸成為主流數(shù)據(jù)。 數(shù)據(jù)處理速度快 要求數(shù)據(jù)的快速處理，是大數(shù)據(jù)區(qū)別于傳統(tǒng)海量數(shù)據(jù)處理的重要特性之一。對不斷激增的海量數(shù)據(jù)數(shù)據(jù)的實(shí)時(shí)處理要求，是大數(shù)據(jù)與傳統(tǒng)海量數(shù)據(jù)處理技術(shù)的關(guān)鍵差別之一。因此為了保證對于新產(chǎn)生的應(yīng)用有足夠的有效信息，通常必須保存所有數(shù)據(jù)，這樣就使得一方面是數(shù)據(jù)的絕對數(shù)量激增，一方面是數(shù)據(jù)包含有效信息量的比例不斷減少，數(shù)據(jù)價(jià)值密度偏低。其次，檔案館數(shù)據(jù)資源種類繁多。 行業(yè)領(lǐng)先 首先，各級國家檔案館是集中統(tǒng)一保管黨和國家檔案的科學(xué)文化事業(yè)機(jī)構(gòu)，是永久保管檔案的基地，是社會各界利用檔案史料的中心?？疾鞌?shù)據(jù)生命周期，涉及到數(shù)據(jù)生成、采集、傳輸、處 本科生畢業(yè)設(shè)計(jì)（論文） 12 理、分析、應(yīng)用等階段，而這也恰恰是檔案館熟悉的業(yè)務(wù)范疇。二是泛大數(shù)據(jù)化，即不加鑒別地收集保存數(shù)據(jù)，從而使檔案館陷入數(shù)據(jù)沼澤，進(jìn)而喪失自己的特色，顯然這也是檔案館無法承受的。以 2020 年為例，全國各?。ǔ_灣外）、自治區(qū)、直轄市各級檔案館中具備博士學(xué)位且畢業(yè)于檔案學(xué)專業(yè)的工作人員為零，具備碩士學(xué)位且畢業(yè)于檔案學(xué)專業(yè)的工作人員只有 26 人，具備學(xué)士學(xué)位且畢業(yè)于檔案學(xué)專業(yè)的工作人員只有 1598 人。從目前來看，大數(shù)據(jù)成功的案例無 不是特定的項(xiàng)目，例如“啤酒與尿布”，因此，現(xiàn)階段檔案館人員最需要的是懂得用戶的需求，因?yàn)閿?shù)據(jù)越大，用戶的個(gè)性需求就越多樣，服務(wù)切口就越小。隨著社會檔案意識的增強(qiáng)，“用戶關(guān)注的已不再是簡單的獲取文獻(xiàn)，而是如何從繁雜的信息環(huán)境中捕獲和析取解決所面臨問題的信息內(nèi)容，并將這些信息融化或重組為相應(yīng)的知識 或解決方案”。 政策導(dǎo)向 2020 年國家檔案局《數(shù)字檔案館建設(shè)指南》頒布，提出運(yùn)用多種技術(shù)手段“采集具有重要保存價(jià)值的各類數(shù)字信息，進(jìn)行資源整合”、“對數(shù)字檔案信息進(jìn)行深度挖掘，開展增值服務(wù)”、“開展檔案利用訪問量統(tǒng) 計(jì)、分布分析、輿情分析等工作”。從基礎(chǔ)技 術(shù)角度而言，當(dāng)前檔案館廣泛應(yīng)用的關(guān)系型數(shù)據(jù)庫（ SQL）技術(shù)，經(jīng)過長期實(shí)踐與完善，在維護(hù)數(shù)據(jù)安全方面已經(jīng)設(shè)置了嚴(yán)格的訪問控制和隱私管理工具，而大數(shù)據(jù)依托的基礎(chǔ)技術(shù)是非關(guān)系型數(shù)據(jù)庫（ No SQL），其在成熟度和可訪問性方面都不如傳統(tǒng)數(shù)據(jù)庫技術(shù)。以網(wǎng)絡(luò)為例，網(wǎng)絡(luò)信息資源的豐富使用戶足不出戶就可以獲取所需的信息，用戶對檔案館的穩(wěn)定性與忠誠度下降。我們在享受便利的同時(shí)，也無償貢獻(xiàn) 了自己的“行蹤”。但在互聯(lián)網(wǎng)上卻是“處處行跡處處痕”。事實(shí)上大數(shù)據(jù)的來源非常廣泛，天上的衛(wèi)星、地上汽車、埋在土壤里面的各類傳感器，無時(shí)無刻不在生成大量的數(shù)據(jù)。大數(shù)據(jù)技術(shù)技術(shù)讓我們看到解決未來預(yù)測問題的一絲曙光。統(tǒng)計(jì)歷史上所有買家、賣家的詢價(jià)和成交的數(shù)據(jù)，可以形成詢盤指數(shù)和成交指數(shù)。這種統(tǒng)計(jì)和分析，如果缺少大數(shù)據(jù)技術(shù)的支持，是難以完成的。索尼公司的創(chuàng)始人出井伸之解釋索尼衰落的根本原因時(shí)，說了一段發(fā)人深省的話：“新一代基于互聯(lián)網(wǎng) DNA企業(yè)的核心能力在于利用新模式和新技術(shù)更加貼近消費(fèi)者、深刻理解需求、高效分析信息并做出預(yù)判，所有傳統(tǒng)的產(chǎn)品公司都只能淪為這種新型用戶平臺級公司的附庸，其衰落不是管理能扭 轉(zhuǎn)的。第二，互聯(lián)網(wǎng)公司強(qiáng)項(xiàng)恰恰是天然的貼近消費(fèi)者，了解消費(fèi)者。第一，對大數(shù)據(jù)不關(guān)心，不了解。我們判斷公司價(jià)值的標(biāo)準(zhǔn)是其擁有數(shù)據(jù)的規(guī)模、活性，以及收集、運(yùn)用數(shù)據(jù)的能力。第三，數(shù)據(jù)將成為資產(chǎn)。 IDC 則預(yù) 測大數(shù)據(jù)技術(shù)與服務(wù)市場將從 2020 年的 32 億美元攀升至 2020 年的 169 億美元。隨著國內(nèi)外產(chǎn)業(yè)發(fā)展風(fēng)起云涌，大數(shù)據(jù)時(shí)代的浪潮奔騰而至，上海在相關(guān)領(lǐng)域積累了哪些先發(fā)優(yōu)勢？在大數(shù)據(jù)應(yīng)用及產(chǎn)業(yè)化實(shí)踐方面有怎樣的發(fā)展思路？上海市經(jīng)濟(jì)和信息化委員會主任李耀新所描繪的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展藍(lán)圖，將為產(chǎn)業(yè)界帶來重要啟發(fā)。作為企業(yè)智囊團(tuán)的競爭情報(bào)，應(yīng)該主動(dòng)地?fù)肀н@種變化，構(gòu)建基于大數(shù)據(jù)的競爭情報(bào)體系。如果采取無所作為、固守原狀的鴕鳥政策，那么企業(yè)競爭情報(bào)工作將會失去未來的發(fā)展機(jī)會，甚至?xí)ゴ嬖诘囊饬x。當(dāng)今極速爆炸的信息量遠(yuǎn)遠(yuǎn)超越了大部分企業(yè) IT架構(gòu)和基礎(chǔ)設(shè)施的承載能力，其實(shí)時(shí)性要求也大大超越了現(xiàn)有的計(jì)算能力。對于中小型電子商務(wù)企業(yè)來說，擁有大數(shù)據(jù)的挑戰(zhàn)將顯得更加的突出和嚴(yán)峻。首先在存儲上就是一個(gè)非常嚴(yán)重的問題。也就是說，未來的信息提 煉需要 IT 技術(shù)人員和行業(yè)專家的共同合作。僅僅坐擁大數(shù)據(jù)并不夠，對大數(shù)據(jù)的分析和挖掘能力已成為企業(yè)的核心競爭力。然而，目前絕大多數(shù)中小型企業(yè)都沒有專門的競爭情報(bào)部門和情報(bào)分析專家，即使是在一些大型的企業(yè)中，具有競爭情報(bào)職能的部門也常常處于分散、被動(dòng)、輔助的地位。然而這些數(shù)據(jù)經(jīng)常包含消費(fèi)者的真實(shí)信息，如在淘寶網(wǎng)上交易時(shí)的真實(shí)姓名、家庭住址以及銀行賬號等重要的真實(shí)信息，逐漸引起了我們對個(gè)人隱私的擔(dān)憂。 （ 2）企業(yè)應(yīng)該從技術(shù)層面上采用先進(jìn)的隱私保護(hù)技