【正文】 知道你現(xiàn)在正在某個(gè)餐廳和誰(shuí)一起共進(jìn)晚餐。如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計(jì)算提供基礎(chǔ)架構(gòu)平臺(tái)，大數(shù)據(jù)應(yīng)用運(yùn)行在這個(gè)平臺(tái)上。216。你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)技術(shù)相關(guān)）+HBase（數(shù)據(jù)庫(kù)）+MapReduce（數(shù)據(jù)處理）+……OthersHadoop用到的一些技術(shù)有：167。167。說(shuō)了這么多，舉個(gè)實(shí)際的例子，雖然這個(gè)例子有些陳舊，但是淘寶的海量數(shù)據(jù)技術(shù)架構(gòu)還是有助于我們理解對(duì)于大數(shù)據(jù)的運(yùn)作處理機(jī)制:如上圖所示，淘寶的海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)分為五個(gè)層次，從上至下來(lái)看它們分別是：數(shù)據(jù)源，計(jì)算層，存儲(chǔ)層，查詢(xún)層和產(chǎn)品層。在這一層，淘寶采用了兩個(gè)東西，一個(gè)使MyFox，一個(gè)是Prom。 存儲(chǔ)技術(shù)大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲(chǔ)的目的是支撐大數(shù)據(jù)分析。Amazon S3 提供一個(gè)簡(jiǎn)明的 Web 服務(wù)界面，用戶(hù)可通過(guò)它隨時(shí)在 Web 上的任何位置存儲(chǔ)和檢索的任意大小的數(shù)據(jù)。 感知技術(shù)大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。 互聯(lián)網(wǎng)的大數(shù)據(jù)互聯(lián)網(wǎng)上的數(shù)據(jù)每年增長(zhǎng)50%，每?jī)赡瓯銓⒎环?，而目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。這兩種數(shù)據(jù)更容易變現(xiàn)，挖掘出商業(yè)價(jià)值。 Tableau：他們的精力主要集中于將海量數(shù)據(jù)以可視化的方式展現(xiàn)出來(lái)。 QlikTech：QlikTech旗下的Qlikview是一個(gè)商業(yè)智能領(lǐng)域的自主服務(wù)工具，能夠應(yīng)用于科學(xué)研究和藝術(shù)等領(lǐng)域。 DataSift：DataSift主要收集并分析社交網(wǎng)絡(luò)媒體上的數(shù)據(jù)，并幫助品牌公司掌握突發(fā)新聞的輿論點(diǎn)，并制定有針對(duì)性的營(yíng)銷(xiāo)方案。這些數(shù)據(jù)在每個(gè)政府部門(mén)里面看起來(lái)是單一的，靜態(tài)的。在輿情監(jiān)控方面，通過(guò)網(wǎng)絡(luò)關(guān)鍵詞搜索及語(yǔ)義智能分析，能提高輿情分析的及時(shí)性、全面性，全面掌握社情民意，提高公共服務(wù)能力，應(yīng)對(duì)網(wǎng)絡(luò)突發(fā)的公共事件，打擊違法犯罪。那么，哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務(wù)呢？拋磚引玉，先舉幾個(gè)例子：1) 對(duì)大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)（精準(zhǔn)營(yíng)銷(xiāo)）；2) 做小而美模式的中長(zhǎng)尾企業(yè)（服務(wù)轉(zhuǎn)型）；3) 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)（生死存亡）。大數(shù)據(jù)到來(lái)前，這兩類(lèi)公司彼此之間基本是井水不犯河水；但在當(dāng)前這個(gè)大數(shù)據(jù)時(shí)代，這兩類(lèi)公司已經(jīng)開(kāi)始直接競(jìng)爭(zhēng)。該平臺(tái)的四大核心能力包括Hadoop系統(tǒng)、流計(jì)算（StreamComputing）、數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）和信息整合與治理（Information Integration and Governance）另外一家亟待通過(guò)云和大數(shù)據(jù)戰(zhàn)略而復(fù)蘇的巨頭公司HP也推出了自己的產(chǎn)品：HAVEn，一個(gè)可以自由擴(kuò)展伸縮的大數(shù)據(jù)解決方案。用戶(hù)可確定哪些個(gè)人數(shù)據(jù)可被采集，并通過(guò)可穿戴設(shè)備或植入芯片等感知技術(shù)來(lái)采集捕獲個(gè)人的大數(shù)據(jù)，比如，牙齒監(jiān)控?cái)?shù)據(jù)，心率數(shù)據(jù)，體溫?cái)?shù)據(jù)，視力數(shù)據(jù)，記憶能力，地理位置信息，社會(huì)關(guān)系數(shù)據(jù)，運(yùn)動(dòng)數(shù)據(jù)，飲食數(shù)據(jù)，購(gòu)物數(shù)據(jù)等等。展望過(guò)于美好，也許實(shí)現(xiàn)個(gè)人數(shù)據(jù)中心將遙遙無(wú)期，也許這還不是解決個(gè)人數(shù)據(jù)隱私的最好方法，也許業(yè)界對(duì)大數(shù)據(jù)的無(wú)限渴求會(huì)阻止數(shù)據(jù)個(gè)人中心的實(shí)現(xiàn)，但是隨著數(shù)據(jù)越來(lái)越多，在缺乏監(jiān)管之后，必然會(huì)有一場(chǎng)激烈的博弈：到底是數(shù)據(jù)重要還是隱私重要；是以商業(yè)為中心還是以個(gè)人為中心29 / 29。 個(gè)人的大數(shù)據(jù)個(gè)人的大數(shù)據(jù)這個(gè)概念很少有人提及，簡(jiǎn)單來(lái)說(shuō)，就是與個(gè)人相關(guān)聯(lián)的各種有價(jià)值數(shù)據(jù)信息被有效采集后，可由本人授權(quán)提供第三方進(jìn)行處理和使用，并獲得第三方提供的數(shù)據(jù)服務(wù)。IBM執(zhí)行總裁羅睿蘭認(rèn)為，“數(shù)據(jù)將成為一切行業(yè)當(dāng)中決定勝負(fù)的根本因素，最終數(shù)據(jù)將成為人類(lèi)至關(guān)重要的自然資源?！比欢?，一直做企業(yè)服務(wù)的巨頭將優(yōu)勢(shì)不在，不得不眼看新興互聯(lián)網(wǎng)企業(yè)加入戰(zhàn)局，開(kāi)啟殘酷競(jìng)爭(zhēng)模式。 企業(yè)的大數(shù)據(jù)企業(yè)的CXO們最關(guān)注的還是報(bào)表曲線的背后能有怎樣的信息，他該做怎樣的決策，其實(shí)這一切都需要通過(guò)數(shù)據(jù)來(lái)傳遞和支撐。在城市規(guī)劃方面，通過(guò)對(duì)城市地理、氣象等自然信息和經(jīng)濟(jì)、社會(huì)、文化、人口等人文社會(huì)信息的挖掘，可以為城市規(guī)劃提供決策，強(qiáng)化城市管理服務(wù)的科學(xué)性和前瞻性。奧巴馬政府將數(shù)據(jù)定義為“未來(lái)的新石油”，并表示一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國(guó)力的重要組成部分，未來(lái)，對(duì)數(shù)據(jù)的占有和控制甚至將成為陸權(quán)、海權(quán)、空權(quán)之外的另一種國(guó)家核心資產(chǎn)。 TellApart：TellApart和電商公司進(jìn)行合作，他們會(huì)根據(jù)用戶(hù)的瀏覽行為等數(shù)據(jù)進(jìn)行分析，通過(guò)鎖定潛在買(mǎi)家方式提高電商企業(yè)的收入。他們是犯罪的預(yù)言者。 Metamarkets：這家公司對(duì)Twitter、支付、簽到和一些與互聯(lián)網(wǎng)相關(guān)的問(wèn)題進(jìn)行了分析，為客戶(hù)提供了很好的數(shù)據(jù)分析支持。搜索引擎在大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)有：更多的暗網(wǎng)數(shù)據(jù)；更多的WEB化但是沒(méi)有結(jié)構(gòu)化的數(shù)據(jù)；更多的WEB化、結(jié)構(gòu)化但是封閉的數(shù)據(jù)。就像一句名言所說(shuō)，“人類(lèi)以前延續(xù)的是文明，現(xiàn)在傳承的是信息。這些企業(yè)用戶(hù)遍布190多個(gè)國(guó)家，幾乎世界上的每個(gè)角落都有Amazon用戶(hù)的身影。以Amazon舉例，Amazon S3 是一種面向 Internet 的存儲(chǔ)服務(wù)。最后一層是產(chǎn)品層，這個(gè)就不用解釋了。在云梯上，系統(tǒng)每天會(huì)對(duì)數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計(jì)算。167。167。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。第二，大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同，云計(jì)算是CIO等關(guān)心的技術(shù)層，是一個(gè)進(jìn)階的IT解決方案?？梢哉f(shuō)，云計(jì)算充當(dāng)了工業(yè)革命時(shí)期的發(fā)動(dòng)機(jī)的角色，而大數(shù)據(jù)則是電。還有一種職業(yè)叫人肉專(zhuān)家，他們負(fù)責(zé)從互聯(lián)網(wǎng)上找到一個(gè)與他們根本就無(wú)關(guān)系用戶(hù)的任意信息。“棱鏡”項(xiàng)目是一項(xiàng)由美國(guó)國(guó)家安全局（NSA）自2007年起開(kāi)始實(shí)施的絕密電子監(jiān)聽(tīng)計(jì)劃，年耗資近2000億美元，用于監(jiān)聽(tīng)全美電話(huà)通話(huà)記錄，據(jù)稱(chēng)還可以使情報(bào)人員通過(guò)“后門(mén)”進(jìn)入9家主要科技公司的服務(wù)器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國(guó)在線、Skype、YouTube、蘋(píng)果。216。 醫(yī)療機(jī)構(gòu)將實(shí)時(shí)的監(jiān)測(cè)用戶(hù)的身體健康狀況；167。 大數(shù)據(jù)幫助社交網(wǎng)站提供更準(zhǔn)確的好友推薦，為用戶(hù)提供更精準(zhǔn)的企業(yè)招聘信息，向用戶(hù)推薦可能喜歡的游戲以及適合購(gòu)買(mǎi)的商品。 現(xiàn)在和未來(lái)我們先看看大數(shù)據(jù)在當(dāng)下有怎樣的杰出表現(xiàn)：167。未來(lái)在大數(shù)據(jù)領(lǐng)域最具有價(jià)值的是兩種事物：1擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價(jià)值轉(zhuǎn)化為實(shí)際利益；2還未有被大數(shù)據(jù)觸及過(guò)的業(yè)務(wù)領(lǐng)域。Target的例子是一個(gè)很典型的案例，這樣印證了維克托煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類(lèi)，而露天煤礦、深山煤礦的挖掘成本又不一樣。那么，什么是大數(shù)據(jù)思維？維克托第四，處理速度快?！苍S，“解構(gòu)”是最好的方法。如果你說(shuō)大數(shù)據(jù)就是數(shù)據(jù)大，或者侃侃而談4個(gè)V，也許很有深度的談到BI或預(yù)測(cè)的價(jià)值，又或者拿Google和Amazon舉例，技術(shù)流可能會(huì)聊起Hadoop和Cloud Computing，不管對(duì)錯(cuò)，只是無(wú)法勾勒對(duì)大數(shù)據(jù)的整體認(rèn)識(shí)，不說(shuō)是片面，但至少有些管窺蠡測(cè)、隔衣瘙癢了。我將分別從互聯(lián)