【正文】 知道你現(xiàn)在正在某個餐廳和誰一起共進(jìn)晚餐。如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計算提供基礎(chǔ)架構(gòu)平臺，大數(shù)據(jù)應(yīng)用運(yùn)行在這個平臺上。216。你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲技術(shù)相關(guān)）+HBase（數(shù)據(jù)庫）+MapReduce（數(shù)據(jù)處理）+……OthersHadoop用到的一些技術(shù)有：167。167。說了這么多，舉個實(shí)際的例子，雖然這個例子有些陳舊，但是淘寶的海量數(shù)據(jù)技術(shù)架構(gòu)還是有助于我們理解對于大數(shù)據(jù)的運(yùn)作處理機(jī)制:如上圖所示，淘寶的海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)分為五個層次，從上至下來看它們分別是：數(shù)據(jù)源，計算層，存儲層，查詢層和產(chǎn)品層。在這一層，淘寶采用了兩個東西，一個使MyFox，一個是Prom。 存儲技術(shù)大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲的目的是支撐大數(shù)據(jù)分析。Amazon S3 提供一個簡明的 Web 服務(wù)界面，用戶可通過它隨時在 Web 上的任何位置存儲和檢索的任意大小的數(shù)據(jù)。 感知技術(shù)大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。 互聯(lián)網(wǎng)的大數(shù)據(jù)互聯(lián)網(wǎng)上的數(shù)據(jù)每年增長50%，每兩年便將翻一番，而目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。這兩種數(shù)據(jù)更容易變現(xiàn)，挖掘出商業(yè)價值。 Tableau：他們的精力主要集中于將海量數(shù)據(jù)以可視化的方式展現(xiàn)出來。 QlikTech：QlikTech旗下的Qlikview是一個商業(yè)智能領(lǐng)域的自主服務(wù)工具，能夠應(yīng)用于科學(xué)研究和藝術(shù)等領(lǐng)域。 DataSift：DataSift主要收集并分析社交網(wǎng)絡(luò)媒體上的數(shù)據(jù)，并幫助品牌公司掌握突發(fā)新聞的輿論點(diǎn)，并制定有針對性的營銷方案。這些數(shù)據(jù)在每個政府部門里面看起來是單一的，靜態(tài)的。在輿情監(jiān)控方面，通過網(wǎng)絡(luò)關(guān)鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務(wù)能力，應(yīng)對網(wǎng)絡(luò)突發(fā)的公共事件，打擊違法犯罪。那么，哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務(wù)呢？拋磚引玉，先舉幾個例子：1) 對大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)（精準(zhǔn)營銷）；2) 做小而美模式的中長尾企業(yè)（服務(wù)轉(zhuǎn)型）；3) 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)（生死存亡）。大數(shù)據(jù)到來前，這兩類公司彼此之間基本是井水不犯河水；但在當(dāng)前這個大數(shù)據(jù)時代，這兩類公司已經(jīng)開始直接競爭。該平臺的四大核心能力包括Hadoop系統(tǒng)、流計算（StreamComputing）、數(shù)據(jù)倉庫（Data Warehouse）和信息整合與治理（Information Integration and Governance）另外一家亟待通過云和大數(shù)據(jù)戰(zhàn)略而復(fù)蘇的巨頭公司HP也推出了自己的產(chǎn)品：HAVEn，一個可以自由擴(kuò)展伸縮的大數(shù)據(jù)解決方案。用戶可確定哪些個人數(shù)據(jù)可被采集，并通過可穿戴設(shè)備或植入芯片等感知技術(shù)來采集捕獲個人的大數(shù)據(jù)，比如，牙齒監(jiān)控數(shù)據(jù)，心率數(shù)據(jù)，體溫數(shù)據(jù)，視力數(shù)據(jù)，記憶能力，地理位置信息，社會關(guān)系數(shù)據(jù)，運(yùn)動數(shù)據(jù)，飲食數(shù)據(jù)，購物數(shù)據(jù)等等。展望過于美好，也許實(shí)現(xiàn)個人數(shù)據(jù)中心將遙遙無期，也許這還不是解決個人數(shù)據(jù)隱私的最好方法，也許業(yè)界對大數(shù)據(jù)的無限渴求會阻止數(shù)據(jù)個人中心的實(shí)現(xiàn)，但是隨著數(shù)據(jù)越來越多，在缺乏監(jiān)管之后，必然會有一場激烈的博弈：到底是數(shù)據(jù)重要還是隱私重要；是以商業(yè)為中心還是以個人為中心29 / 29。 個人的大數(shù)據(jù)個人的大數(shù)據(jù)這個概念很少有人提及，簡單來說，就是與個人相關(guān)聯(lián)的各種有價值數(shù)據(jù)信息被有效采集后，可由本人授權(quán)提供第三方進(jìn)行處理和使用，并獲得第三方提供的數(shù)據(jù)服務(wù)。IBM執(zhí)行總裁羅睿蘭認(rèn)為，“數(shù)據(jù)將成為一切行業(yè)當(dāng)中決定勝負(fù)的根本因素，最終數(shù)據(jù)將成為人類至關(guān)重要的自然資源?！比欢恢弊銎髽I(yè)服務(wù)的巨頭將優(yōu)勢不在，不得不眼看新興互聯(lián)網(wǎng)企業(yè)加入戰(zhàn)局，開啟殘酷競爭模式。 企業(yè)的大數(shù)據(jù)企業(yè)的CXO們最關(guān)注的還是報表曲線的背后能有怎樣的信息，他該做怎樣的決策，其實(shí)這一切都需要通過數(shù)據(jù)來傳遞和支撐。在城市規(guī)劃方面，通過對城市地理、氣象等自然信息和經(jīng)濟(jì)、社會、文化、人口等人文社會信息的挖掘，可以為城市規(guī)劃提供決策，強(qiáng)化城市管理服務(wù)的科學(xué)性和前瞻性。奧巴馬政府將數(shù)據(jù)定義為“未來的新石油”，并表示一個國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國力的重要組成部分，未來，對數(shù)據(jù)的占有和控制甚至將成為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心資產(chǎn)。 TellApart：TellApart和電商公司進(jìn)行合作，他們會根據(jù)用戶的瀏覽行為等數(shù)據(jù)進(jìn)行分析，通過鎖定潛在買家方式提高電商企業(yè)的收入。他們是犯罪的預(yù)言者。 Metamarkets：這家公司對Twitter、支付、簽到和一些與互聯(lián)網(wǎng)相關(guān)的問題進(jìn)行了分析，為客戶提供了很好的數(shù)據(jù)分析支持。搜索引擎在大數(shù)據(jù)時代面臨的挑戰(zhàn)有：更多的暗網(wǎng)數(shù)據(jù)；更多的WEB化但是沒有結(jié)構(gòu)化的數(shù)據(jù)；更多的WEB化、結(jié)構(gòu)化但是封閉的數(shù)據(jù)。就像一句名言所說，“人類以前延續(xù)的是文明，現(xiàn)在傳承的是信息。這些企業(yè)用戶遍布190多個國家，幾乎世界上的每個角落都有Amazon用戶的身影。以Amazon舉例，Amazon S3 是一種面向 Internet 的存儲服務(wù)。最后一層是產(chǎn)品層，這個就不用解釋了。在云梯上，系統(tǒng)每天會對數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計算。167。167。Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。第二，大數(shù)據(jù)和云計算的目標(biāo)受眾不同，云計算是CIO等關(guān)心的技術(shù)層，是一個進(jìn)階的IT解決方案?？梢哉f，云計算充當(dāng)了工業(yè)革命時期的發(fā)動機(jī)的角色，而大數(shù)據(jù)則是電。還有一種職業(yè)叫人肉專家，他們負(fù)責(zé)從互聯(lián)網(wǎng)上找到一個與他們根本就無關(guān)系用戶的任意信息?！袄忡R”項(xiàng)目是一項(xiàng)由美國國家安全局（NSA）自2007年起開始實(shí)施的絕密電子監(jiān)聽計劃，年耗資近2000億美元，用于監(jiān)聽全美電話通話記錄，據(jù)稱還可以使情報人員通過“后門”進(jìn)入9家主要科技公司的服務(wù)器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國在線、Skype、YouTube、蘋果。216。 醫(yī)療機(jī)構(gòu)將實(shí)時的監(jiān)測用戶的身體健康狀況；167。 大數(shù)據(jù)幫助社交網(wǎng)站提供更準(zhǔn)確的好友推薦，為用戶提供更精準(zhǔn)的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。 現(xiàn)在和未來我們先看看大數(shù)據(jù)在當(dāng)下有怎樣的杰出表現(xiàn)：167。未來在大數(shù)據(jù)領(lǐng)域最具有價值的是兩種事物：1擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價值轉(zhuǎn)化為實(shí)際利益；2還未有被大數(shù)據(jù)觸及過的業(yè)務(wù)領(lǐng)域。Target的例子是一個很典型的案例，這樣印證了維克托煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。那么，什么是大數(shù)據(jù)思維？維克托第四，處理速度快?！苍S，“解構(gòu)”是最好的方法。如果你說大數(shù)據(jù)就是數(shù)據(jù)大，或者侃侃而談4個V，也許很有深度的談到BI或預(yù)測的價值，又或者拿Google和Amazon舉例，技術(shù)流可能會聊起Hadoop和Cloud Computing，不管對錯，只是無法勾勒對大數(shù)據(jù)的整體認(rèn)識，不說是片面，但至少有些管窺蠡測、隔衣瘙癢了。我將分別從互聯(lián)