【正文】 。在大數(shù)據(jù)時代，數(shù)據(jù)逐漸成為企業(yè)最重要的資產(chǎn)之一，決策行為將日益基于數(shù)據(jù)分析做出，而不是像過去更多憑借經(jīng)驗和直覺。大數(shù)據(jù)時代，網(wǎng)絡(luò)用戶在互聯(lián)網(wǎng)的評論、圖片、視頻、個人信息、興趣愛好、交易信息、訪問的網(wǎng)站等等均被企業(yè)記錄在案。信息加總和數(shù)據(jù)整合，對隱私的穿透力不僅僅是“1＋1＝2”的，很多時候，是大于 2 的。大數(shù)據(jù)時代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計算，在大數(shù)據(jù)洪流中提升知識價值洞察力，實施高效實時個性化運作，建立有效增值的商業(yè)模式，確保應(yīng)對A PT 之類的新型安全威脅。包括IBM 、EMC 、HP、Microsoft等在內(nèi)的IT 巨頭，紛紛加速收購相關(guān)大數(shù)據(jù)公司進行技術(shù)整合，尋找數(shù)據(jù)洪流大潮中新的立足點。借助大數(shù)據(jù)創(chuàng)新處理技術(shù)應(yīng)對APT 安全攻擊。而研究顯示，這些信息只能滿足企業(yè)正常營銷管理需求中15%的量能，并不夠給出一個重要洞察和發(fā)現(xiàn)規(guī)律。對營銷決策數(shù)據(jù)進行更好的優(yōu)化。據(jù)稱，集成整合了Essbase服務(wù)技術(shù)的Oracle大數(shù)據(jù)平臺，已經(jīng)能為用戶提供面向策略級、未知信息分析預(yù)測能力和個性化自助式定制等。如果某個客人是某酒店的老主顧，那么該大數(shù)據(jù)系統(tǒng)就會向酒店提供個性化服務(wù)，清楚告知酒店經(jīng)理人這位客人的習(xí)慣和喜好，如是否喜歡景觀房間、是否吸煙、是否喜歡大床、喜歡什么樣的早餐，甚至從事什么工作、有哪些商務(wù)需求等等。實現(xiàn)點對點智能廣告模式。然而隨著大數(shù)據(jù)的發(fā)展，產(chǎn)業(yè)界樂觀地預(yù)期：這些錢或許將被一一撿回來。而如今有了RTB，廣告需要盯住的不是滿地跑的”學(xué)生”，而是那個喜歡看廣告的目標客戶；廣告市場上賣的也不是傳統(tǒng)意義上的廣告位，而是訪問這個廣告位的具體用戶。更好地進行顧問式營銷。因為系統(tǒng)早已計算好，如果顧客的購物車中有不少啤酒、紅酒和沙拉，那么80%的可能需要買配酒小菜和相關(guān)佐料。電子商務(wù)中數(shù)據(jù)倉庫系統(tǒng)的發(fā)展當前，電子商務(wù)的數(shù)據(jù)大規(guī)模存在且持續(xù)增長，表現(xiàn)大數(shù)據(jù)技術(shù)與應(yīng)用為大規(guī)模、分布式、異構(gòu)性，使得電商數(shù)據(jù)倉庫系統(tǒng)發(fā)生了顯著變化：數(shù)據(jù)量由TB級升至PB級，并仍在持續(xù)爆炸式增長。大數(shù)據(jù)的IT基礎(chǔ)云計算架構(gòu)云計算是新型分布式網(wǎng)絡(luò)計算架構(gòu)，特別適合向各種網(wǎng)絡(luò)應(yīng)用提供計算、存儲、網(wǎng)絡(luò)、軟件等在線服務(wù)，NIST認為這種架構(gòu)具有5個關(guān)鍵功能、3種服務(wù)模式和4種部署式。數(shù)據(jù)庫集群是將集群技術(shù)引入數(shù)據(jù)庫。從HDFS角度來看，Hadoop的節(jié)點由存儲并提供定位塊服務(wù)的數(shù)據(jù)節(jié)點（data node）和管理分布式文件系統(tǒng)命名空間的命名節(jié)點（name node）組成，HDFS主從結(jié)構(gòu)的體系架構(gòu)設(shè)計大大簡化了分布式系統(tǒng)架構(gòu)。Map Reduce將數(shù)據(jù)處理任務(wù)抽象為一系列的map（映射）和reduce（化簡）操作對，分別完成數(shù)據(jù)的過濾和聚集操作，并通過簡單的界面進行管理。幾種大數(shù)據(jù)處理模式的比較分析見表1，可見，Map Reduce大數(shù)據(jù)處理模式具有相對顯著的優(yōu)勢。另外，還能實現(xiàn)信息推送服務(wù)、熱點信息推送、信息推薦等新型信息檢索服務(wù)。7億戶，在線商品數(shù)達到8億件，最多每天有6000萬人訪問淘寶網(wǎng)，平均每分鐘出售4。這種豐富的IT基礎(chǔ)設(shè)施和彈性處理能力能夠廉價、快捷地輸出給中小企業(yè)。淘寶每天數(shù)以千萬計的交易產(chǎn)生大量的交易時間、商品價格、購買數(shù)量等交易數(shù)據(jù)和利益相關(guān)方的年齡、職業(yè)、地址等個人特征信息，從這些海量數(shù)據(jù)中，淘寶實時準確地進行各類店鋪排名和個性化智能推薦；進行用戶行為數(shù)據(jù)分析，得到電商用戶所需的個性化信息與產(chǎn)品，便于開展精準營銷；商家根據(jù)歷史信息和”淘寶指數(shù)”進行生產(chǎn)、進銷存計劃；買家得以獲得更符合個性化需求的商品信。電商系統(tǒng)不可能防止外部數(shù)據(jù)商挖掘個人信息，各社交網(wǎng)站均不同程度地開放用戶所產(chǎn)生的實時數(shù)據(jù)，外部數(shù)據(jù)提供商能夠通過收集、監(jiān)測、分析這些數(shù)據(jù)得出用戶的信息體系，常規(guī)的安全方案與措施無法滿足大數(shù)據(jù)時代數(shù)據(jù)非線性增長的需求，用戶隱私安全問題將更為顯著。所有信息資源都托管在云端，由云計算強大的服務(wù)器集群和虛擬化技術(shù)提供冗余、災(zāi)備、數(shù)據(jù)備份和自動故障恢復(fù)等功能，專業(yè)的IT管理團隊負責維護電商企業(yè)數(shù)據(jù)，提供專業(yè)化的信息安全與保密方案。在去年9月份的網(wǎng)商大會上，馬云則將阿里巴巴的未來定位為”平臺、金融和數(shù)據(jù)”三大核心業(yè)務(wù)。大數(shù)據(jù)時代，數(shù)據(jù)采集是至關(guān)重要的。根據(jù)最新數(shù)據(jù)顯示，目前淘寶網(wǎng)擁有近5億的注冊用戶數(shù)，在線商品數(shù)量超過8億件，頁面瀏覽量達到20億規(guī)模，每天產(chǎn)生4億條產(chǎn)品訊息。第一類是針對消費者，提供各類商品及店鋪信息、促銷信息等，方便其購物與消費；第二類是針對店鋪以及賣方，提供消費者的消費行為、網(wǎng)絡(luò)使用行為、媒體接觸及使用行為、市場發(fā)展及行業(yè)競爭數(shù)據(jù)與信息等，協(xié)助其掌握店鋪管理動態(tài)和商品銷售效果；第三類是可以提供給社會及第三方機構(gòu)，提供銷售數(shù)據(jù)、購買數(shù)據(jù)、交易數(shù)據(jù)、消費者行為數(shù)據(jù)等，幫助其了解電商企業(yè)以及淘寶的發(fā)展。2009年4月和12月，商業(yè)智能部團隊又開發(fā)出可以預(yù)警的”KPI系統(tǒng)”和提供給業(yè)務(wù)部門使用的”數(shù)據(jù)門戶”。其中包含了品牌、店鋪、產(chǎn)品的排行榜，購買人群的特征分析(年齡、性別、購買時段、地域等等)。通過聚石塔，商家不僅可享受虛擬主機及云數(shù)據(jù)庫等基礎(chǔ)云技術(shù)、數(shù)據(jù)推送、數(shù)據(jù)集成等云端服務(wù)，未來還可享受強大的物流、訂單、賬戶權(quán)限等開放與升級。阿里金融——純粹基于互聯(lián)網(wǎng)信用的小額信貸平臺。發(fā)放貸款以后，阿里通過實時監(jiān)測貸款商家的交易、退貨、評分等經(jīng)營情況，能方便了解客戶還款能力，一旦客戶交易情況下滑，系統(tǒng)會自動發(fā)出預(yù)警。在數(shù)據(jù)戰(zhàn)略架構(gòu)上，阿里早在3年前就開始布局。今年4月29日阿里以5。當前大數(shù)據(jù)面前有數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全和數(shù)據(jù)化運營三座大山，阿里大數(shù)據(jù)戰(zhàn)略的發(fā)展則必須要翻山越嶺。此時保證數(shù)據(jù)質(zhì)量也顯得格外迫切了。以防范數(shù)據(jù)外泄問題為初衷的”聚石塔”產(chǎn)品，雖然要求應(yīng)用開發(fā)商將數(shù)據(jù)庫放在聚石塔里，但其仍可以直接通過數(shù)據(jù)導(dǎo)出和數(shù)據(jù)庫遷移等方式將數(shù)據(jù)拿出來，更有甚者根本就不把數(shù)據(jù)庫放在聚石塔里，而是低成本自建數(shù)據(jù)庫，對數(shù)據(jù)實施完全掌控。然而目前大數(shù)據(jù)推薦信息都是人工運營，運營強度極大，且具有個人偏好，隨機性大。納漢.“大數(shù)據(jù)”,2012(2):30~31[7],2012[8],2010[9],2012(20):23~24[10],2012(9):71~72[11]. 2013[12]王珊,王會舉,覃雄派等. 架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望. 計算機學(xué)報, 2011(10): 1741~1752[13] ,且行且思[J].程序員,2013(2).[14] :淘寶數(shù)據(jù)王國的構(gòu)建[J].廣告大觀(媒介版),2012(9).[15] [J].程序員,2013(2).[16] [J].張江新經(jīng)濟,2013(2)30。第一，將數(shù)據(jù)質(zhì)量作為底線，確保原材料的可靠性；第二，平衡數(shù)據(jù)安全與開放，掌握好安全的度，實行部分開放；第三，落實數(shù)據(jù)化運營，培養(yǎng)一批懂數(shù)據(jù)的員工，用數(shù)據(jù)來決策業(yè)務(wù)。阿里擁有大量交易信息，比搜索信息復(fù)雜同時含金量高，所以要求其具備雄厚的數(shù)據(jù)加工能力。但因兩者應(yīng)用有本質(zhì)區(qū)別，信息重要程度不等，所以需要采取不同的安全保護級別，增加了數(shù)據(jù)安全管理難度。阿里作為交易平臺，本身就是一個海量的數(shù)據(jù)庫，擁有豐富而全面的信息。此外，傳聞近期阿里還將收購移動APP數(shù)據(jù)公司友盟等。2011年淘寶收購CNZZ網(wǎng)絡(luò)技術(shù)服務(wù)公司，第二年CNZZ推出”云推薦”內(nèi)容推薦引擎。同時成立了數(shù)據(jù)委員會，由淘寶網(wǎng)商業(yè)智能部負責人車品覺出任首任會長。阿里金融是大數(shù)據(jù)衍生產(chǎn)品開發(fā)的一個范例，它不僅使交易數(shù)據(jù)容易標準化，還將非結(jié)構(gòu)性數(shù)據(jù)一并錄入到數(shù)據(jù)庫中，類似賣家和買家的聊天記錄、評價、店鋪信用等。2012年12月阿里推出了淘寶時光機，通過分析顧客自注冊為用戶以來的行為，用幽默生動的語言告知顧客淘寶的成長，以及與該用戶有相類似喜好的其他用戶的統(tǒng)計行為，從而了解到該顧客的喜好，預(yù)測其消費信息。聚石塔——提供數(shù)據(jù)存儲、數(shù)據(jù)計算服務(wù)的數(shù)據(jù)產(chǎn)品。數(shù)據(jù)魔方——大規(guī)模開放式新型BI類數(shù)據(jù)產(chǎn)品。淘數(shù)據(jù)——阿里嚴格意義上的第一個數(shù)據(jù)產(chǎn)品?？偟膩碚f，阿里大數(shù)據(jù)主要由以下三種途徑產(chǎn)生：第一種是來自淘寶網(wǎng)外部的數(shù)據(jù)，如相關(guān)的廣告點擊，搜索引擎的搜索數(shù)據(jù)、SNS上的推薦與鏈接；第二種是直接訪問帶來的數(shù)據(jù)，包括瀏覽器訪問、軟件訪問等；第三種是淘寶網(wǎng)站內(nèi)部的數(shù)據(jù)產(chǎn)生，是最大的數(shù)據(jù)來源。據(jù)他透露，阿里集團擁有的數(shù)據(jù)達到30P(1P=100萬GB)。86億美元入股新浪微博，這一系列舉措使得阿里生態(tài)系統(tǒng)藍圖漸漸明朗，大數(shù)據(jù)戰(zhàn)略方向更加清晰。目前淘寶網(wǎng)的消費投訴率不到1%，低于實體零售商。另一方面，大數(shù)據(jù)處理技術(shù)能夠全面、及時、精確地監(jiān)測并獲取各類網(wǎng)絡(luò)異常行為或網(wǎng)絡(luò)攻擊行為的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，實時進行安全分析和預(yù)防性分析，以便度量企業(yè)安全級別和安全風險，更有針對性地設(shè)計、實施信息安全方案，應(yīng)對安全風險，尋找攻擊源，識別釣魚攻擊，防止詐騙和阻止黑客入侵等。在大數(shù)據(jù)時代，大數(shù)據(jù)成為國家和企業(yè)的核心資產(chǎn)，大數(shù)據(jù)藍海成為未來競爭的制高點。實時性的海量數(shù)據(jù)分析越來越成為電商的核心競爭力，大數(shù)據(jù)的價值關(guān)鍵在于信息分析和利用。電商系統(tǒng)必須具備無以倫比的快速彈性處理能力，能夠處理突發(fā)的訪問量、海量訂單和客戶瀏覽請求，而且需要根據(jù)需求和業(yè)務(wù)量的上漲不斷擴容服務(wù)器和增加數(shù)據(jù)存儲設(shè)備。淘寶商品具備數(shù)十種屬性，還包括視頻、圖像等多媒體數(shù)據(jù)，淘寶用戶可以通過顏色、價格、品牌等幾十種屬性在海量數(shù)據(jù)中進行智能檢索和過濾，檢索的實時性和準確率很高。商品的豐富性直接影響電商的競爭力，而海量的商品數(shù)目、繁雜的分類體系以及復(fù)雜的非結(jié)構(gòu)化的商品屬性數(shù)據(jù)等都需要IT基礎(chǔ)設(shè)施具備足夠的靈活性和強大的檢索能力。圖2 Map Reduce并行計算流程基于Map Reduce計算模型編寫分布式并行程序的主要編碼工作就是實現(xiàn)map和reduce函數(shù)，其他的分布式存儲、工作調(diào)度、負載平衡、容錯處理、網(wǎng)絡(luò)通信等復(fù)雜問題均由Map Reduce框架負責處理。傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)實時響應(yīng)能力較高，但對于TB級或PB級別的大數(shù)據(jù)集，數(shù)據(jù)挖掘的檢索速度則急劇下降，但引入HDFS與RDBMS相結(jié)合的機制可以充分利用兩者的優(yōu)勢，實現(xiàn)高效率的數(shù)據(jù)挖掘與決策支持。Map Reduce框架云計算架構(gòu)由大規(guī)模低端服務(wù)器組成服務(wù)器集群，提供海量存儲空間和大規(guī)模數(shù)據(jù)的處理能力，具備可靠性、擴展性以及高可用性，因此中國科學(xué)院計算所、中國移動、百度和淘寶、網(wǎng)易等電子商務(wù)平臺都使用主流云計算平臺Hadoop架構(gòu)進行Web搜索、大數(shù)據(jù)分析等。大數(shù)據(jù)處理模式從傳統(tǒng)的數(shù)據(jù)庫集群演進到云計算Map Reduce大規(guī)模并行處理架構(gòu)，實現(xiàn)任務(wù)的分解處理和結(jié)果合并，從而實現(xiàn)對可處理數(shù)據(jù)規(guī)模的無限擴展，大數(shù)據(jù)處理技術(shù)已被認為是繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。電商數(shù)據(jù)分析的兩大趨勢和挑戰(zhàn)是：數(shù)據(jù)量的膨脹；數(shù)據(jù)深度分析需求的增長。后互聯(lián)網(wǎng)時代，PC服務(wù)器成為電商企業(yè)最廣泛使用的IT基礎(chǔ)設(shè)施，隨著業(yè)務(wù)量的發(fā)展，電商企業(yè)大量使用了PC服務(wù)器集群技術(shù)和小型機技術(shù)，用于滿足日益增長的在線業(yè)務(wù)交易量。值得強調(diào)的是，以上所述并非僅是概念化場景。Ad Exchange為出價高的DSP匹配相關(guān)廣告代碼，并最終作出廣告。在美國，通過大數(shù)據(jù)的幫助，RTB（實時競價廣告）能把炙手可熱的目標用戶拍賣給廣告商。眾所周知，時下市場上大部分廣告并非”點對點”模式，而是”主從”模式。利用大數(shù)據(jù)中的語義搜索功能，系統(tǒng)能理解自然語言的含義，包括理解工作的頭銜、技能、行業(yè)、教育背景等，除此之外，系統(tǒng)還可以做到智能地處理拼寫錯誤、縮寫、標點符號等更多問題，也能識別相同的詞在不同語境中的含義，以更好地為營銷管理服務(wù)。通過獲取更豐富的消費者數(shù)據(jù)，包括網(wǎng)站瀏覽數(shù)據(jù)、社交數(shù)據(jù)和地理追蹤數(shù)據(jù)等，可以繪制出更完整的消費者行為描述。這些企業(yè)可將這些數(shù)據(jù)與交易記錄結(jié)合起來，并利用大數(shù)據(jù)工具展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調(diào)整售價上給出意見，此類方法已經(jīng)幫助這些領(lǐng)先零售企業(yè)減少了17%的存貨，同時增加了高利潤率自有品牌商品的比例。在幾年之前，其可能被束之高閣，價值亦無法被有效挖掘。目前，全流量審計方案具備強大的實時檢測能力與事后回溯能力，并可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起，是一種較完整的解決方案。將大數(shù)據(jù)時代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結(jié)合。實際上已經(jīng)有一些運營商借助大數(shù)據(jù)Hadoop云工具管理與分析網(wǎng)絡(luò)中的用戶數(shù)據(jù)，為日常運維及制定市場戰(zhàn)略等提供有效支撐。（2）企業(yè)應(yīng)該從技術(shù)層面上采用先進的隱私保護技術(shù)進一步加強用戶的隱私保護，解決由于過度開發(fā)或者深度營銷可能造成的用戶隱私侵犯等等問題。然而這些數(shù)據(jù)經(jīng)常包含消費者的真實信息，如在淘寶網(wǎng)上交易時的真實姓名、家庭住址以及銀行賬號等重要的真實信息，逐漸引起了我們對個人隱私的擔憂。然而，目前絕大多數(shù)中小型企業(yè)都沒有專門的競爭情報部門和情報分析專家，即使是在一些大型的企業(yè)中，具有競爭情報職能的部門也常常處于分散、被動、輔助的地位。僅僅坐擁大數(shù)據(jù)并不夠，對大數(shù)據(jù)的分析和挖掘能力已成為企業(yè)的核心競爭力。也就是說，未來的信息提煉需要IT技術(shù)人員和行業(yè)專家的共同合作。首先在存儲上就是一個非常嚴重的問題。對于中小型電子商務(wù)企業(yè)來說，擁有大數(shù)據(jù)的挑戰(zhàn)將顯得更加的突出和嚴峻。當今極速爆炸的信息量遠遠超越了大部分企業(yè)IT架構(gòu)和基礎(chǔ)設(shè)施的承載能力，其實時性要求也大大超越了現(xiàn)有的計算能力。如果采取無所作為、固守原狀的鴕鳥政策，那么企業(yè)競爭情報工作將會失去未來的發(fā)展機會，甚至?xí)ゴ嬖诘囊饬x。作為企業(yè)智囊團的競爭情報，應(yīng)該主動地擁抱這種變化，構(gòu)建基于大數(shù)據(jù)的競爭情報體系。隨著國內(nèi)外產(chǎn)業(yè)發(fā)展風起云涌，大數(shù)據(jù)時代的浪潮奔騰而至，上海在相關(guān)領(lǐng)域積累了哪些先發(fā)優(yōu)勢？在大數(shù)據(jù)應(yīng)用及產(chǎn)業(yè)化實踐方面有怎樣的發(fā)展思路？上海市經(jīng)濟和信息化委員會主任李耀新所描繪的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展藍圖，將為產(chǎn)業(yè)界帶來重要啟發(fā)。IDC則預(yù)測大數(shù)據(jù)技術(shù)與服務(wù)市場將從2010年的32億美元攀升至2015年的169億美元。第三，數(shù)據(jù)將成為資產(chǎn)。我們判斷公司價值的標準是其擁有數(shù)據(jù)的規(guī)模、活性，以及收集、運用數(shù)據(jù)的能力。第一，對大數(shù)據(jù)不關(guān)心，不了解。第二，互聯(lián)網(wǎng)