【正文】 咨詢公司麥肯錫的倡導(dǎo)，英國(guó)牛津大學(xué)教授維克托大數(shù)據(jù)的來(lái)源也有別于傳統(tǒng)的數(shù)據(jù)庫(kù)，顯示出了跨領(lǐng)域、跨門(mén)類、多類別的整合氣魄和越界意識(shí)，如果說(shuō)非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)一直沒(méi)有被納入經(jīng)典數(shù)據(jù)庫(kù)技術(shù)SQL的視野，那么大數(shù)據(jù)的數(shù)據(jù)則源自多種數(shù)據(jù)源，是一種綜合數(shù)據(jù)，兼收并蓄了結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等各種類別和格式的數(shù)據(jù)，尤其是包含了大量的視頻音頻數(shù)據(jù)。只不過(guò)，目前物聯(lián)網(wǎng)、移動(dòng)通訊、互聯(lián)網(wǎng)每時(shí)每刻都在不斷滋生潮水般的海量數(shù)據(jù)，人類的信息數(shù)據(jù)在以幾何指數(shù)形式激增。它要收集超過(guò)100TB的數(shù)據(jù)，并且是高速、實(shí)時(shí)數(shù)據(jù)流；或者是從小數(shù)據(jù)開(kāi)始，但數(shù)據(jù)每年會(huì)增長(zhǎng)60%以上。使用所有的數(shù)據(jù)可以帶來(lái)更高的精確性，從更多的細(xì)節(jié)來(lái)解釋事物屬性，同時(shí)必然使得要處理數(shù)據(jù)量顯著增多。數(shù)據(jù)價(jià)值密度低是大數(shù)據(jù)關(guān)注的非結(jié)構(gòu)化數(shù)據(jù)的重要屬性。因此，檔案館可以通過(guò)模擬或借鑒傳統(tǒng)檔案處理的整套業(yè)務(wù)規(guī)范或流程來(lái)指導(dǎo)大數(shù)據(jù)的處理，“對(duì)知識(shí)規(guī)范性控制的思想和技術(shù)方法恰巧在大數(shù)據(jù)領(lǐng)域有了用武之地”。其次，個(gè)性化的信息需求與互動(dòng)式的信息服務(wù)要求?，F(xiàn)在互聯(lián)網(wǎng)不但知道對(duì)面是一只狗，還知道這只狗喜歡什么食物、幾點(diǎn)出去遛彎，幾點(diǎn)回窩睡覺(jué)。這兩個(gè)指數(shù)是強(qiáng)相關(guān)的。必步索尼的后塵；第二，擁有大量的數(shù)據(jù)，并善加運(yùn)用的公司，必將贏得未來(lái)。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)逐漸成為企業(yè)最重要的資產(chǎn)之一，決策行為將日益基于數(shù)據(jù)分析做出，而不是像過(guò)去更多憑借經(jīng)驗(yàn)和直覺(jué)。因此，面對(duì)此挑戰(zhàn)，電子商務(wù)企業(yè)首先應(yīng)該從思想上認(rèn)識(shí)到大數(shù)據(jù)的價(jià)值，高度重視數(shù)據(jù)的收集工作。因此，在大數(shù)據(jù)時(shí)代，需要從戰(zhàn)略到戰(zhàn)術(shù)層面開(kāi)始自我的蛻變和進(jìn)化，對(duì)現(xiàn)有競(jìng)爭(zhēng)情報(bào)系統(tǒng)的構(gòu)架、組織體系、資源配置和權(quán)力結(jié)構(gòu)進(jìn)行重組，讓基于大數(shù)據(jù)管理與分析的競(jìng)爭(zhēng)情報(bào)職能部門(mén)處于企業(yè)整體的上游位置，并組織合理的競(jìng)爭(zhēng)情報(bào)系統(tǒng)構(gòu)架，充分調(diào)用各部門(mén)的數(shù)據(jù)資產(chǎn)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的整體把握，為企業(yè)提供完整、動(dòng)態(tài)、實(shí)時(shí)的競(jìng)爭(zhēng)情報(bào)。借助移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)與云計(jì)算的融合、智能運(yùn)營(yíng)管道等，建立智能平臺(tái)，優(yōu)化配置城市資源，向真正的智慧城市邁進(jìn)。譬如，大數(shù)據(jù)技術(shù)能對(duì)客人方方面面的信息進(jìn)行充分有效管理并深度挖掘。而尖端的追蹤技術(shù)和多種大數(shù)據(jù)管理平臺(tái)(DMP)可以將受眾以及廣告效果數(shù)據(jù)整合于單一界面上，讓廣告主輕易擷取關(guān)鍵指標(biāo)，如轉(zhuǎn)化率、流失率以及各渠道貢獻(xiàn)比率等。數(shù)據(jù)庫(kù)集群模式集群是指通過(guò)協(xié)同工作方式運(yùn)行同一套應(yīng)用程序，針對(duì)客戶端及應(yīng)用程序提供單一系統(tǒng)映像，使用特定的連接方式，將硬件設(shè)備結(jié)合起來(lái)，構(gòu)成的松散耦合的計(jì)算節(jié)點(diǎn)集合，具備以下優(yōu)勢(shì)：性能提升、擴(kuò)展性提升、可靠性提升。云平臺(tái)架構(gòu)提供的超大規(guī)模計(jì)算能力和大數(shù)據(jù)處理能力能夠提供強(qiáng)大的個(gè)性化信息檢索功能，即根據(jù)用戶的個(gè)體差異、個(gè)人興趣和需求特征進(jìn)行智能海量檢索，并高效率返回高查全率和查準(zhǔn)率檢索結(jié)果。但是，大數(shù)據(jù)往往更復(fù)雜、更敏感，更易成為網(wǎng)絡(luò)攻擊的顯著目標(biāo)，加大了隱私泄露風(fēng)險(xiǎn)，大數(shù)據(jù)深度分析技術(shù)讓黑客的攻擊更精準(zhǔn)。此外，阿里在大數(shù)據(jù)方面的優(yōu)勢(shì)還表現(xiàn)為掌握的信息最全面，而且最有商業(yè)價(jià)值，包括客戶的購(gòu)買(mǎi)信息、信用信息、金融信息。2012年阿里首次聯(lián)合全集團(tuán)大數(shù)據(jù)力量，推出”聚石塔”產(chǎn)品，為電商商家們提供數(shù)據(jù)備份、數(shù)據(jù)推送、加速處理訂單等數(shù)據(jù)處理服務(wù)。2013年淘寶聯(lián)盟重啟”阿里媽媽”品牌名，從以服務(wù)淘寶系商家為主轉(zhuǎn)為面向全網(wǎng)所有廣告主開(kāi)放的廣告交易平臺(tái)。不僅要有精通數(shù)據(jù)分析的團(tuán)隊(duì)，還需要有敏銳的市場(chǎng)洞察力，提供準(zhǔn)確的推薦信息。此外，對(duì)于平臺(tái)上的應(yīng)用，大多數(shù)使用者是不愿意付費(fèi)的，使得很多應(yīng)用開(kāi)發(fā)商通過(guò)提供免費(fèi)試用產(chǎn)品，讓用戶在毫不知情的情況下，將寶貴的店鋪數(shù)據(jù)泄露給第三方，從而給自己的經(jīng)營(yíng)帶來(lái)潛在風(fēng)險(xiǎn)。此次阿里集團(tuán)架構(gòu)調(diào)整，旨在使現(xiàn)有生態(tài)系統(tǒng)更加市場(chǎng)化、平臺(tái)化、數(shù)據(jù)化和物種多樣化，最終實(shí)現(xiàn)”同一個(gè)生態(tài)，千萬(wàn)家公司”的良好社會(huì)商業(yè)生態(tài)系統(tǒng)。2010年3月，”數(shù)據(jù)魔方”產(chǎn)品正式對(duì)外發(fā)布，主要提供行業(yè)數(shù)據(jù)分析，店鋪數(shù)據(jù)分析。本文結(jié)合大數(shù)據(jù)時(shí)代背景，分析了阿里大數(shù)據(jù)的信息采集、戰(zhàn)略歷程以及存在的安全隱患，并且有針對(duì)性地提出了發(fā)展建議。云計(jì)算可在極短時(shí)間內(nèi)對(duì)海量數(shù)據(jù)和大數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、分析和處理，極大地提高了企業(yè)的信息分析能力，使得電商需要的實(shí)時(shí)精準(zhǔn)的海量數(shù)據(jù)挖掘和大數(shù)據(jù)深度分析等成為可能。Map Reduce原理簡(jiǎn)單、技術(shù)簡(jiǎn)潔、數(shù)據(jù)處理效率高，在系統(tǒng)層面解決了數(shù)據(jù)庫(kù)集群難以解決的擴(kuò)展性、容錯(cuò)性等問(wèn)題，Map Reduce免費(fèi)開(kāi)源，基于異構(gòu)廉價(jià)服務(wù)器搭建可彈性伸縮的大規(guī)模集群，并行、分布式地處理和分析大規(guī)模數(shù)據(jù)，其構(gòu)建成本遠(yuǎn)低于數(shù)據(jù)庫(kù)集群所采用的并行數(shù)據(jù)庫(kù)。目前僅具備傳統(tǒng)數(shù)據(jù)處理技術(shù)和信息分析能力的數(shù)據(jù)倉(cāng)庫(kù)和BI工具難以完成PB級(jí)大數(shù)據(jù)的數(shù)據(jù)管理和分析工作。試想一下：在傳統(tǒng)電梯情景中，進(jìn)入一個(gè)謝頂?shù)闹心耆?，而電梯視頻中放映了洗發(fā)水廣告，那廣告費(fèi)無(wú)疑打了水漂。與傳統(tǒng)信息技術(shù)比較：以前的CRM系統(tǒng)只能出示分析報(bào)告來(lái)回答”發(fā)生了什么事”，而如今，一個(gè)優(yōu)秀的大數(shù)據(jù)系統(tǒng)已可以被用來(lái)回答”為什么會(huì)發(fā)生這種事”，一些關(guān)聯(lián)數(shù)據(jù)庫(kù)甚至還可以預(yù)言”將要發(fā)生什么事”，并最終發(fā)展為非?；钴S的數(shù)據(jù)倉(cāng)庫(kù)，從而能判斷”你(用戶)想要什么事發(fā)生”。針對(duì)大數(shù)據(jù)時(shí)代的基本特征，加強(qiáng)全方位創(chuàng)新。因此，建議電子商務(wù)企業(yè)著手部署“大數(shù)據(jù)戰(zhàn)略”，引進(jìn)和培養(yǎng)大數(shù)據(jù)相關(guān)人才，創(chuàng)建基于大數(shù)據(jù)的研發(fā)團(tuán)隊(duì)，從技術(shù)層面上解決大數(shù)據(jù)的困難和挑戰(zhàn)，提高挖掘潛在商業(yè)價(jià)值的能力，從而有效地指導(dǎo)企業(yè)制訂精確的行動(dòng)綱領(lǐng)和采取高效的行動(dòng)。Columbia Business School’s Center on Global Brand Leadership和NYAMA2012年2月份發(fā)布的報(bào)告中指出：39%的營(yíng)銷(xiāo)業(yè)者表示很難收集到可以及時(shí)支持個(gè)性化營(yíng)銷(xiāo)的用戶數(shù)據(jù)；51%的營(yíng)銷(xiāo)者認(rèn)為組織內(nèi)數(shù)據(jù)共享機(jī)制缺乏是應(yīng)用大數(shù)據(jù)的最大障礙。產(chǎn)業(yè)界對(duì)大數(shù)據(jù)的發(fā)展前景充滿信心，然而從全球總體發(fā)展情況來(lái)看，大數(shù)據(jù)當(dāng)前還處于起步階段，理論研究快于產(chǎn)業(yè)發(fā)展，廠商宣傳多于實(shí)際應(yīng)用。傳統(tǒng)企業(yè)必然嫁接互聯(lián)網(wǎng)企業(yè)的DNA，否則必將淪為互聯(lián)網(wǎng)企業(yè)的附庸。 “08年初,阿里巴巴平臺(tái)上整個(gè)買(mǎi)家詢盤(pán)數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。據(jù)統(tǒng)計(jì)，“超過(guò)90%的用戶在查找信息時(shí)，會(huì)首選搜索引擎，搜索已經(jīng)成為公眾獲取信息的代名詞”。毫無(wú)疑問(wèn)，這需要檔案人員擁有極強(qiáng)的洞察能力。作為一種機(jī)構(gòu)性存在與制度性安排，檔案館的公共性、服務(wù)性、公平性、永久性等特征，使得檔案館成為人們心目中最系統(tǒng)、最值得信賴的數(shù)據(jù)資源庫(kù)。隨著各種傳感器和互聯(lián)網(wǎng)絡(luò)等信息獲取、傳播技術(shù)的飛速發(fā)展普及，數(shù)據(jù)的產(chǎn)生、發(fā)布越來(lái)越容易，產(chǎn)生數(shù)據(jù)的途徑增多，個(gè)人甚至成為了數(shù)據(jù)產(chǎn)生的主體之一，數(shù)據(jù)呈爆炸的形式快速增長(zhǎng)，新數(shù)據(jù)不斷涌現(xiàn)，快速增長(zhǎng)的數(shù)據(jù)量要求數(shù)據(jù)處理的速度也要相應(yīng)的提升，才能使得大量的數(shù)據(jù)得到有效的利用，否則不斷激增的數(shù)據(jù)不但不能為解決問(wèn)題帶來(lái)優(yōu)勢(shì)，反而成了快速解決問(wèn)題的負(fù)擔(dān)。此外，數(shù)據(jù)量大還體現(xiàn)在人們處理數(shù)據(jù)的方法和理念發(fā)生了根本的改變。大數(shù)據(jù)是一個(gè)較為抽象的概念，正如信息學(xué)領(lǐng)域大多數(shù)新興概念，大數(shù)據(jù)至今尚無(wú)確切、統(tǒng)一的定義。最近幾年大數(shù)據(jù)一說(shuō)不脛而走，顯然與信息量的持續(xù)攀升、大數(shù)據(jù)的俯拾即是、云計(jì)算的大量運(yùn)用息息相關(guān)。誕生在20世紀(jì)70年代的傳統(tǒng)數(shù)據(jù)庫(kù)是小型的、單一的、孤立的，基于小范圍的抽樣樣本統(tǒng)計(jì)。網(wǎng)絡(luò)數(shù)據(jù)挖掘是計(jì)算機(jī)科學(xué)研究的重要內(nèi)容，包括內(nèi)容挖掘、結(jié)構(gòu)挖掘和使用挖掘3種類型。諸如新浪微博、街旁、米聊等，甚至是開(kāi)心網(wǎng)、優(yōu)酷也都紛紛推出自己的手機(jī)客戶端。至80年代中期，美國(guó)國(guó)家科學(xué)基金會(huì)利用ARPANET的模式形成了自己的電腦網(wǎng)絡(luò)NSFNE，并逐漸與ARpA NET合并。當(dāng)這些信息被輸入先進(jìn)的生產(chǎn)經(jīng)營(yíng)系統(tǒng)時(shí)，就可以用批量處理的效率去提供滿足不同顧客需求的產(chǎn)品、服務(wù)，實(shí)現(xiàn)比批量生產(chǎn)更勝一籌的批量個(gè)人化。Variety則是指數(shù)據(jù)的多樣性、復(fù)雜性。如今有許多企業(yè)已面臨單日數(shù)據(jù)量以數(shù)十、數(shù)百TB（萬(wàn)億字節(jié)，1TB=1024GB）的速度增加，而近幾年累加的總數(shù)據(jù)量也達(dá)到了PB(1000個(gè)TB)甚至EB(一百萬(wàn)個(gè)TB)等級(jí)，這樣的數(shù)據(jù)量令傳統(tǒng)的數(shù)據(jù)庫(kù)不堪重負(fù)。根據(jù)目前對(duì)“在線購(gòu)物”所進(jìn)行的研究，企業(yè)與顧客在互聯(lián)網(wǎng)上的交易一般是起源于顧客對(duì)企業(yè)或產(chǎn)品、服務(wù)的尋找，即對(duì)互聯(lián)網(wǎng)上相關(guān)企業(yè)或產(chǎn)品、服務(wù)信息的瀏覽或訪問(wèn)。電子商務(wù)的起源可以追溯到互聯(lián)網(wǎng)(Internet)和電子數(shù)據(jù)交換的出現(xiàn)。終端、網(wǎng)絡(luò)與應(yīng)用是移動(dòng)互聯(lián)網(wǎng)的3個(gè)要素。近年來(lái)，伴隨著互聯(lián)網(wǎng)、3S技術(shù)(GPS、GIS、RS)、以及智能手機(jī)的迅速發(fā)展，人文社會(huì)科學(xué)領(lǐng)域的研究數(shù)據(jù)獲取與處理已經(jīng)出現(xiàn)了新的趨向。IT業(yè)界通常將大數(shù)據(jù)的特征概括為四個(gè)“V”：體量（volumes）巨、類別（variety）多、速度（Velocity）快、價(jià)值（Value）大。在20世紀(jì)90年代，“數(shù)據(jù)倉(cāng)庫(kù)之父”比爾但大數(shù)據(jù)潮流的深層根源顯然還是利潤(rùn)最大化的商業(yè)沖動(dòng)，大數(shù)據(jù)產(chǎn)業(yè)說(shuō)到底不過(guò)是數(shù)字經(jīng)濟(jì)、知識(shí)經(jīng)濟(jì)的最新形態(tài)，這也是“大數(shù)據(jù)”這個(gè)為管理咨詢公司、經(jīng)濟(jì)學(xué)家、IT界巨頭歡欣鼓舞的概念招人質(zhì)疑的重要原因。早期的單位化數(shù)據(jù)，對(duì)原始事物進(jìn)行了一定程度的抽象，數(shù)據(jù)維度低，數(shù)據(jù)類型簡(jiǎn)單，多采用表格的形式來(lái)收集、存儲(chǔ)、整理，數(shù)據(jù)的單位、量綱和意義基本統(tǒng)一，存儲(chǔ)、處理的只是數(shù)值而已，因此數(shù)據(jù)量有限，增長(zhǎng)速度慢而隨著應(yīng)用的發(fā)展，數(shù)據(jù)維度越來(lái)越高，描述相同事物所需的數(shù)據(jù)量越來(lái)越大。在數(shù)據(jù)激增的同時(shí)，新的數(shù)據(jù)類型層出不窮，已經(jīng)很難用一種或幾種規(guī)定的模式來(lái)表征日趨復(fù)雜、多樣的數(shù)據(jù)形式，這樣的數(shù)據(jù)已經(jīng)不能用傳統(tǒng)的數(shù)據(jù)庫(kù)表格來(lái)整齊的排列、表示。再次，檔案館數(shù)據(jù)資源價(jià)值很高?！按髷?shù)據(jù)泡沫如果現(xiàn)在存在的話，恐怕并非數(shù)據(jù)的作用被過(guò)分夸大，而主要是由于真正具備資質(zhì)的數(shù)據(jù)科學(xué)家數(shù)量不足導(dǎo)致的。然而，數(shù)據(jù)分析技術(shù)的發(fā)展，對(duì)國(guó)家安全及用戶隱私產(chǎn)生了極大威脅，數(shù)據(jù)持有人可以從歷史數(shù)據(jù)中推測(cè)判斷出行為人的下一步動(dòng)作——個(gè)人行動(dòng)軌跡、行為軌跡，甚至思維軌跡。第一篇報(bào)告——《大數(shù)據(jù)時(shí)代即將到來(lái)》，之所以用時(shí)代這個(gè)詞作為標(biāo)題，是因?yàn)榇髷?shù)據(jù)是歷史上首個(gè)可以預(yù)測(cè)人類短期行為的技術(shù)。這句話有兩層含義。第3章 電子商務(wù)大數(shù)據(jù)時(shí)代面對(duì)的問(wèn)題與挑戰(zhàn)大數(shù)據(jù)作為新興產(chǎn)業(yè)熱點(diǎn)，在美國(guó)政府“大數(shù)據(jù)”計(jì)劃的引導(dǎo)和IBM、甲骨文、EMC等跨國(guó)企業(yè)的推動(dòng)下，成為繼云計(jì)算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一亮點(diǎn)。數(shù)據(jù)就是電子商務(wù)企業(yè)的財(cái)富和金礦，誰(shuí)擁有大數(shù)據(jù)，誰(shuí)就有制勝的砝碼，誰(shuí)就可能成為大贏家。該報(bào)告的第一個(gè)挑戰(zhàn)就是“數(shù)據(jù)”問(wèn)題，即：“如何收集、保存、維護(hù)、管理、分析、共享正在呈指數(shù)級(jí)別增長(zhǎng)的數(shù)據(jù)是我們必須面對(duì)的一個(gè)重要挑戰(zhàn)”。大數(shù)據(jù)時(shí)代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計(jì)算，在大數(shù)據(jù)洪流中提升知識(shí)價(jià)值洞察力，實(shí)施高效實(shí)時(shí)個(gè)性化運(yùn)作，建立有效增值的商業(yè)模式，確保應(yīng)對(duì)A PT 之類的新型安全威脅。對(duì)營(yíng)銷(xiāo)決策數(shù)據(jù)進(jìn)行更好的優(yōu)化。然而隨著大數(shù)據(jù)的發(fā)展，產(chǎn)業(yè)界樂(lè)觀地預(yù)期：這些錢(qián)或許將被一一撿回來(lái)。電子商務(wù)中數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的發(fā)展當(dāng)前，電子商務(wù)的數(shù)據(jù)大規(guī)模存在且持續(xù)增長(zhǎng)，表現(xiàn)大數(shù)據(jù)技術(shù)與應(yīng)用為大規(guī)模、分布式、異構(gòu)性，使得電商數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)發(fā)生了顯著變化：數(shù)據(jù)量由TB級(jí)升至PB級(jí)，并仍在持續(xù)爆炸式增長(zhǎng)。Map Reduce將數(shù)據(jù)處理任務(wù)抽象為一系列的map（映射）和reduce（化簡(jiǎn)）操作對(duì)，分別完成數(shù)據(jù)的過(guò)濾和聚集操作，并通過(guò)簡(jiǎn)單的界面進(jìn)行管理。這種豐富的IT基礎(chǔ)設(shè)施和彈性處理能力能夠廉價(jià)、快捷地輸出給中小企業(yè)。在去年9月份的網(wǎng)商大會(huì)上，馬云則將阿里巴巴的未來(lái)定位為”平臺(tái)、金融和數(shù)據(jù)”三大核心業(yè)務(wù)。2009年4月和12月，商業(yè)智能部團(tuán)隊(duì)又開(kāi)發(fā)出可以預(yù)警的”KPI系統(tǒng)”和提供給業(yè)務(wù)部門(mén)使用的”數(shù)據(jù)門(mén)戶”。發(fā)放貸款以后，阿里通過(guò)實(shí)時(shí)監(jiān)測(cè)貸款商家的交易、退貨、評(píng)分等經(jīng)營(yíng)情況，能方便了解客戶還款能力，一旦客戶交易情況下滑，系統(tǒng)會(huì)自動(dòng)發(fā)出預(yù)警。此時(shí)保證數(shù)據(jù)質(zhì)量也顯得格外迫切了。第一，將數(shù)據(jù)質(zhì)量作為底線，確保原材料的可靠性；第二，平衡數(shù)據(jù)安全與開(kāi)放，掌握好安全的度，實(shí)行部分開(kāi)放；第三，落實(shí)數(shù)據(jù)化運(yùn)營(yíng)，培養(yǎng)一批懂?dāng)?shù)據(jù)的員工，用數(shù)據(jù)來(lái)決策業(yè)務(wù)。此外，傳聞近期阿里還將收購(gòu)移動(dòng)APP數(shù)據(jù)公司友盟等。2012年12月阿里推出了淘寶時(shí)光機(jī)，通過(guò)分析顧客自注冊(cè)為用戶以來(lái)的行為，用幽默生動(dòng)的語(yǔ)言告知顧客淘寶的成長(zhǎng)，以及與該用戶有相類似喜好的其他用戶的統(tǒng)計(jì)行為，從而了解到該顧客的喜好，預(yù)測(cè)其消費(fèi)信息?？偟膩?lái)說(shuō)，阿里大數(shù)據(jù)主要由以下三種途徑產(chǎn)生：第一種是來(lái)自淘寶網(wǎng)外部的數(shù)據(jù)，如相關(guān)的廣告點(diǎn)擊，搜索引擎的搜索數(shù)據(jù)、SNS上的推薦與鏈接；第二種是直接訪問(wèn)帶來(lái)的數(shù)據(jù)，包括瀏覽器訪問(wèn)、軟件訪問(wèn)等；第三種是淘寶網(wǎng)站內(nèi)部的數(shù)據(jù)產(chǎn)生，是最大的數(shù)據(jù)來(lái)源。另一方面，大數(shù)據(jù)處理技術(shù)能夠全面、及時(shí)、精確地監(jiān)測(cè)并獲取各類網(wǎng)絡(luò)異常行為或網(wǎng)絡(luò)攻擊行為的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，實(shí)時(shí)進(jìn)行安全分析和預(yù)防性分析，以便度量企業(yè)安全級(jí)別和安全風(fēng)險(xiǎn)，更有針對(duì)性地設(shè)計(jì)、實(shí)施信息安全方案，應(yīng)對(duì)安全風(fēng)險(xiǎn)，尋找攻擊源，識(shí)別釣魚(yú)攻擊，防止詐騙和阻止黑客入侵等。淘寶商品具備數(shù)十種屬性，還包括視頻、圖像等多媒體數(shù)據(jù)，淘寶用戶可以通過(guò)顏色、價(jià)格、品牌等幾十種屬性在海量數(shù)據(jù)中進(jìn)行智能檢索和過(guò)濾，檢索的實(shí)時(shí)性和準(zhǔn)確率很高。Map Reduce框架云計(jì)算架構(gòu)由大規(guī)模低端服務(wù)器組成服務(wù)器集群，提供海量存儲(chǔ)空間和大規(guī)模數(shù)據(jù)的處理能力，具備可靠性、擴(kuò)展性以及高可用性，因此中國(guó)科學(xué)院計(jì)算所、中國(guó)移動(dòng)、百度和淘寶、網(wǎng)易等電子商務(wù)平臺(tái)都使用主流云計(jì)算平臺(tái)Hadoop架構(gòu)進(jìn)行Web搜索、大數(shù)據(jù)分析等。值得強(qiáng)調(diào)的是，以上所述并非僅是概念化場(chǎng)景。利用大數(shù)據(jù)中的語(yǔ)義搜索功能，系統(tǒng)能理解自然語(yǔ)言的含義，包括理解工作的頭銜、技能、行業(yè)、教育背景等，除此之外，系統(tǒng)還可以做到智能地處理拼寫(xiě)錯(cuò)誤、縮寫(xiě)、標(biāo)點(diǎn)符號(hào)等更多問(wèn)題，也能識(shí)別相同的詞在不同語(yǔ)境中的含義，以更好地為營(yíng)銷(xiāo)管理服務(wù)。目前，全流量審計(jì)方案具備強(qiáng)大的實(shí)時(shí)檢測(cè)能力與事后回溯能力，并可將安全工作人員的分析能力、計(jì)算機(jī)存儲(chǔ)與運(yùn)算能力組合在一起，是一種較完整的解決方案。然而這些數(shù)據(jù)經(jīng)常包含消費(fèi)者的真實(shí)信息，如在淘寶網(wǎng)上交易時(shí)的真實(shí)姓名、家庭住址以及銀行賬號(hào)等重要的真實(shí)信息，逐漸