【正文】 。因?yàn)檫@是一對(duì)夫妻改變消費(fèi)觀念的開始，也是一對(duì)夫妻生命的分水嶺。《紐約時(shí)報(bào)》曾報(bào)道過塔吉特公司怎樣在不被清楚告知的情況下預(yù)測(cè)出一個(gè)女性的懷孕情況。這種方式給沃爾瑪帶來了很大的利潤(rùn)。通過大數(shù)據(jù)，沃爾瑪注意到，每當(dāng)季節(jié)性颶風(fēng)來臨之前，不僅手電筒銷量增加，而且美式早餐含糖零食蛋撻銷量也增加了，因此每當(dāng)季節(jié)性颶風(fēng)來臨時(shí)，按前面擺放在一起，以方便行色匆匆的顧客，從而增加銷量。這就是人習(xí)慣性的力量通過大數(shù)據(jù)總結(jié)匯總分析出的。沃爾瑪沃爾瑪零售巨頭是最早在零售業(yè)運(yùn)用大數(shù)據(jù)的，因而改變了整個(gè)行業(yè)。收集到的數(shù)據(jù)很混亂，也不是所有數(shù)據(jù)都能輕易進(jìn)行比較。里哥本（Oberto Rigobon）就對(duì)此提出了一個(gè)大數(shù)據(jù)方案，那就是接受更混亂的數(shù)據(jù)。麻省理工學(xué)院（MIT）的兩位經(jīng)濟(jì)學(xué)家，阿爾貝托2008年的經(jīng)濟(jì)危機(jī)表明，這個(gè)滯后是致命的。政府采集這些數(shù)據(jù)每年大概需要花費(fèi)兩億五千萬美元。聯(lián)邦政府為了得到這些數(shù)據(jù)，會(huì)雇用很多人向全美90個(gè)城市的商店、辦公室打電話、發(fā)傳真甚至登門拜訪。一旦發(fā)生通貨膨脹，工人工資也會(huì)增加。這些數(shù)據(jù)對(duì)投資者和商家都非常重要。麻省理工與通貨緊縮預(yù)測(cè)軟件“10億價(jià)格項(xiàng)目”（The Billion Prices Project，BBP）提供了一個(gè)有趣的例子。以財(cái)政部門為例，基于云計(jì)算、大數(shù)據(jù)技術(shù)，財(cái)政部門可以按需掌握各個(gè)部門的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行分析，做出的決策可以更準(zhǔn)確、更高效。政府統(tǒng)計(jì)部門收集的數(shù)據(jù)來源更廣更多，有各個(gè)部門的行政記錄，有電商企業(yè)的數(shù)據(jù)，有包括搜索記錄、社交記錄和媒體等互聯(lián)網(wǎng)數(shù)據(jù)。戰(zhàn)略合作內(nèi)容，主要是共同研究探討建立大數(shù)據(jù)應(yīng)用的統(tǒng)計(jì)標(biāo)準(zhǔn)，包括指標(biāo)定義、口徑、范圍、分類等；確定利用企業(yè)數(shù)據(jù)完善、補(bǔ)充政府統(tǒng)計(jì)數(shù)據(jù)的內(nèi)容、形式及實(shí)施步驟，包括數(shù)據(jù)采集、處理、分析、挖掘、發(fā)布等。這樣就保證了數(shù)據(jù)的準(zhǔn)確性，及時(shí)性。和美國(guó)一樣，以前我們國(guó)家統(tǒng)計(jì)數(shù)據(jù)，是層層上報(bào)，人工統(tǒng)計(jì)，比如，國(guó)家進(jìn)行人口普查，是縣級(jí)——市級(jí)——省級(jí)——國(guó)家這樣層層上報(bào)人口數(shù)據(jù)，這樣得到的數(shù)據(jù)往往滯后，很不準(zhǔn)確。這還是非常麻煩的。但是，將穿孔卡片作為收集處理大數(shù)據(jù)的方法依然過于昂貴。經(jīng)過大量的努力，霍爾瑞斯成功地在1年時(shí)間內(nèi)完成了人口普查。然而，因?yàn)槎愂辗謹(jǐn)偤蛧?guó)會(huì)代表人數(shù)確定都是建立在人口的基礎(chǔ)上的，所以必須要得到正確的數(shù)據(jù)，而且必須是及時(shí)的數(shù)據(jù)。1890年進(jìn)行的人口普查，預(yù)計(jì)要花費(fèi)13年的時(shí)間來匯總數(shù)據(jù)。大數(shù)據(jù)應(yīng)用案例穿孔卡片與美國(guó)人口普查美國(guó)在1880年進(jìn)行的人口普查，耗時(shí)8年才完成數(shù)據(jù)匯總。謂語就是“存儲(chǔ)、分析、處理”這些數(shù)據(jù)，（而用什么方法來進(jìn)行分析處理，是機(jī)器學(xué)習(xí)還是統(tǒng)計(jì)分析或者其它什么，這些可以看做是方式狀語），主語那就是誰，誰來處理這些數(shù)據(jù)。但是，僅憑這個(gè)定義還無法解釋當(dāng)前大數(shù)據(jù)的火爆局面，因?yàn)檫@個(gè)定義的著眼點(diǎn)僅僅在于數(shù)據(jù)的性質(zhì)上。例如，整個(gè)日本的便利店在24小時(shí)內(nèi)產(chǎn)生的POS（Point Of Sales）數(shù)據(jù)，電商網(wǎng)站中由用戶訪問所產(chǎn)生的網(wǎng)站點(diǎn)擊流數(shù)據(jù)，高峰時(shí)高達(dá)每秒7000條的Twitter推文，日本全國(guó)公路上安裝的交通堵塞探測(cè)傳感器和路面狀況傳感器（可檢測(cè)結(jié)冰、積雪等路面狀態(tài)）等，每天都在產(chǎn)生著龐大的數(shù)據(jù)。（3）以萬寶龍為例，它們過去都是憑經(jīng)驗(yàn)和直覺來決定商品陳列的布局，但通過分析監(jiān)控?cái)z像機(jī)的數(shù)據(jù)，將最想賣出去的商品移動(dòng)到最容易吸引顧客目光的位置，使得銷售額提高了20%。近年來，超市、便利店等零售企業(yè)幾乎都配備了監(jiān)控?cái)z像機(jī)，目的是為了防止盜竊和幫助抓捕盜竊嫌犯，但最近也出現(xiàn)了使用監(jiān)控?cái)z像機(jī)的視頻數(shù)據(jù)來分析顧客購(gòu)買行為的案例。以美國(guó)企業(yè)為代表的眾多企業(yè)正在致力于這方面的研究。當(dāng)然，在這些種類的數(shù)據(jù)中，也有一些是過去就一直存在并保存下來的。Variety（多樣性）除了傳統(tǒng)的銷售、庫(kù)存等數(shù)據(jù)，現(xiàn)在企業(yè)所采集和分析的數(shù)據(jù)還包括像網(wǎng)站日志數(shù)據(jù)、呼叫中心通話記錄、Twitter和Facebook等社交媒體中的文本數(shù)據(jù)、智能手機(jī)中內(nèi)置的GPS（全球定位系統(tǒng)）所產(chǎn)生的位置信息、時(shí)刻生成的傳感器數(shù)據(jù)，甚至還有圖片和視頻，數(shù)據(jù)的種類和幾年前相比已經(jīng)有了大幅度的增加。當(dāng)前，典型個(gè)人計(jì)算機(jī)硬盤的容量為TB量級(jí)，而一些大企業(yè)的數(shù)據(jù)量已經(jīng)接近EB量級(jí)。當(dāng)然，隨著技術(shù)的進(jìn)步，這個(gè)數(shù)值也會(huì)不斷變化。Volume（容量）看到大數(shù)據(jù)這個(gè)詞，大多數(shù)人的第一印象恐怕就是Volume，也就是數(shù)據(jù)量吧。大數(shù)據(jù)的特征，可以用三個(gè)V開頭的關(guān)鍵詞來描述。但是，容量只不過是大數(shù)據(jù)特征的一個(gè)方面，如果只拘泥于數(shù)據(jù)量的話，就無法深入理解當(dāng)前圍繞大數(shù)據(jù)所進(jìn)行的討論。這樣，未來的銷售模式將會(huì)是個(gè)性化的。我們現(xiàn)在生活的是信息化的世界，未來會(huì)走向個(gè)性化。比如說，就用戶看資訊而言，我們?cè)趺礃尤ヅ袛嘁粋€(gè)用戶點(diǎn)開一條八卦資訊后，是繼續(xù)深挖八卦到死，還是轉(zhuǎn)而瀏覽另外一個(gè)新聞。關(guān)于大數(shù)據(jù)的深度分析，很重要內(nèi)容就是個(gè)性化的信息推薦。有電商說他們要做到一百萬用戶要有一百萬個(gè)商店，特別是在移動(dòng)的小屏幕上，三次點(diǎn)擊以后就會(huì)損失一個(gè)客戶。要量化這個(gè)程度，我們一定要基于個(gè)體，而不是基于群體的共性描述。宏觀意義上來看，假如小明去了一百次書店，以前要回答的問題是他第一百零一次買不買書，即業(yè)績(jī)和經(jīng)營(yíng)指標(biāo)的問題；而現(xiàn)在，互聯(lián)網(wǎng)關(guān)心的是什么？最關(guān)心的是他第一百零一次買什么書，需要將什么樣的內(nèi)容推薦給他。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別？銀行做數(shù)據(jù)業(yè)務(wù)做了十多年，那么大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的倉(cāng)庫(kù)有哪些差異？實(shí)際上就是群體和個(gè)體的差異。大數(shù)據(jù)大數(shù)據(jù)的概念大數(shù)據(jù)(Big Data)是指“無法用現(xiàn)有的軟件工具提取、存儲(chǔ)、搜索、共享、分析和處理的海量的、復(fù)雜的數(shù)據(jù)集合。網(wǎng)絡(luò)上每一筆搜索，網(wǎng)站上每一筆交易、每一筆輸入都是數(shù)據(jù)，通過計(jì)算機(jī)做篩選、整理、分析，所得出的結(jié)果可不僅僅只得到簡(jiǎn)單、客觀的結(jié)論，更能用于幫助企業(yè)經(jīng)營(yíng)決策，搜集起來的數(shù)據(jù)還可以被規(guī)劃，引導(dǎo)開發(fā)更大的消費(fèi)力量?；ヂ?lián)網(wǎng)數(shù)據(jù)完全瞄向個(gè)體，數(shù)據(jù)結(jié)構(gòu)也是精準(zhǔn)于個(gè)體，而傳統(tǒng)的數(shù)據(jù)面向經(jīng)營(yíng)指標(biāo)、面向群體。這不是一個(gè)概率問題，而是一個(gè)模糊的程度問題。傳統(tǒng)定義上，更多關(guān)注的是一類人群，用同一類規(guī)則制訂套餐給他們；而在互聯(lián)網(wǎng)時(shí)代，要把每個(gè)人都精準(zhǔn)刻畫出來，進(jìn)行精準(zhǔn)匹配。所以差異化絕對(duì)不可能是對(duì)群體共性的描述，而完全是對(duì)個(gè)體差異的刻畫。個(gè)性化的信息推薦不僅僅是基于用戶的相似性這么簡(jiǎn)單的東西，還有大量比較深入的復(fù)雜模型。同樣，有的用戶登陸淘寶只是逛逛而已，有些用戶則是很明確地想要買一些東西，這就需要對(duì)用戶的意圖進(jìn)行預(yù)測(cè)，這里面涉及到一些比較難的機(jī)器學(xué)習(xí)技術(shù)。在這一點(diǎn)上有一個(gè)例子，耐克制作了一款鞋子，在這個(gè)鞋子里裝上了傳感器，然后穿上這個(gè)鞋子的人，你一天大概走多少路，而且你走路的狀態(tài)比如著力點(diǎn)等相關(guān)情況的數(shù)據(jù)都會(huì)通過傳感器傳到耐克公司，耐克公司就會(huì)根據(jù)這些數(shù)據(jù)來給你量身定做鞋子。大數(shù)據(jù)的典型特征（3V）“大數(shù)據(jù)”這個(gè)詞，光從字面來看，可能會(huì)讓人覺得只是容量非常大的數(shù)據(jù)集合而已。因?yàn)椤坝矛F(xiàn)有的一般技術(shù)難以管理”這樣的狀況，并不僅僅是由于數(shù)據(jù)量增大這一個(gè)因素所造成的。（1）從剛才我們講到的大數(shù)據(jù)的定義來看，也就是指用現(xiàn)有技術(shù)無法管理的數(shù)據(jù)量，從現(xiàn)狀來看，基本上是指從幾十TB到幾PB這樣的數(shù)量級(jí)。例如，在5年以后，也許只有幾EB數(shù)量級(jí)的數(shù)據(jù)量才能夠稱得上是大數(shù)據(jù)了。截至目前，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB(1PB=210TB)，而歷史上全人類說過的所有的話的數(shù)據(jù)量大約是5EB(1EB=210PB)。（2）其中，近年來爆發(fā)式增長(zhǎng)的一些數(shù)據(jù)，如互聯(lián)網(wǎng)上的文本數(shù)據(jù)、位置信息、傳感器數(shù)據(jù)、視頻等，用企業(yè)中主流的關(guān)系型數(shù)據(jù)庫(kù)是很難存儲(chǔ)的，它們都屬于非結(jié)構(gòu)化數(shù)據(jù)。然而，和過去不同的是，這些大數(shù)據(jù)并非只是存儲(chǔ)起來就夠了，還需要對(duì)其進(jìn)行分析，并從中獲得有用的信息。監(jiān)控?cái)z像機(jī)的視頻數(shù)據(jù)正是其中之一。例如，美國(guó)大型折扣店Family Dollar Stores，以及高級(jí)文具制造商萬寶龍（Montblanc），都開始嘗試?yán)帽O(jiān)控?cái)z像頭對(duì)顧客在店內(nèi)的行為進(jìn)行分析。此外，美國(guó)移動(dòng)運(yùn)營(yíng)商TMobile也在其全美1000家店中安裝了帶視頻分析功能的監(jiān)控?cái)z像機(jī)，可以統(tǒng)計(jì)來店人數(shù)，還可以追蹤顧客在店內(nèi)的行動(dòng)路線、在展臺(tái)前停留的時(shí)間，甚至是試用了哪一款手機(jī)、試用了多長(zhǎng)時(shí)間等，對(duì)顧客在店內(nèi)的購(gòu)買行為進(jìn)行分析。Velocity（速度）數(shù)據(jù)產(chǎn)生和更新的頻率，也是衡量大數(shù)據(jù)的一個(gè)重要特征。廣義的大數(shù)據(jù)剛才我們講解了大數(shù)據(jù)的定義，即用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合，并且用三個(gè)V對(duì)大數(shù)據(jù)的特征進(jìn)行了描述。這個(gè)定義我們把它視為狹義上的定義，而我們需要在廣義層面上為大數(shù)據(jù)下一個(gè)定義：這個(gè)狹義的定義所說的具備3V特征的數(shù)據(jù)就相當(dāng)于是賓語，那么我們還需要主語和謂語。這個(gè)誰就是指的“數(shù)據(jù)科學(xué)家”目前在歐美是十分緊俏的，他們通過分析這些數(shù)據(jù)獲得實(shí)用意義和觀點(diǎn)這就是大數(shù)據(jù)的廣義定義，它是一個(gè)綜合性的概念。因此，他們獲得的很多數(shù)據(jù)都是過時(shí)的。而法律規(guī)定必須在十年內(nèi)完成，即使不考慮這種情況違反了憲法規(guī)定，它也是很荒謬的。后來，美國(guó)人口普查局就和當(dāng)時(shí)的美國(guó)發(fā)明家赫爾曼霍爾瑞斯（HermanHollerith）簽訂了一個(gè)協(xié)議，用他的穿孔卡片制表機(jī)來完成1890年的人口普查。這簡(jiǎn)直就是一個(gè)奇跡，當(dāng)時(shí)在這個(gè)項(xiàng)目上霍爾瑞斯并沒賺多少錢，后來他成立了一個(gè)公司，向