【正文】 數(shù)字嗎?林彪掃視一周，見(jiàn)無(wú)人回答，便接連問(wèn)了三句：“為什么那里繳獲的短槍與長(zhǎng)槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車(chē)與大車(chē)的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿(mǎn)軍用地圖的墻壁，指著地圖上的那個(gè)點(diǎn)說(shuō)：“我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊(duì)很快就抓住了敵方的指揮官廖耀湘，并取得這場(chǎng)重要戰(zhàn)役的勝利。216。 大數(shù)據(jù)幫助政府實(shí)現(xiàn)市場(chǎng)經(jīng)濟(jì)調(diào)控、公共衛(wèi)生安全防范、災(zāi)難預(yù)警、社會(huì)輿論監(jiān)督；167。 大數(shù)據(jù)幫助醫(yī)療機(jī)構(gòu)建立患者的疾病風(fēng)險(xiǎn)跟蹤機(jī)制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機(jī)構(gòu)為患者提供定制的藥物；167。 大數(shù)據(jù)幫助電商公司向用戶(hù)推薦商品和服務(wù)，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線(xiàn)，幫助二手市場(chǎng)的買(mǎi)賣(mài)雙方找到最合適的交易目標(biāo)，幫助用戶(hù)找到最合適的商品購(gòu)買(mǎi)時(shí)期、商家和最優(yōu)惠價(jià)格；167。 大數(shù)據(jù)幫助娛樂(lè)行業(yè)預(yù)測(cè)歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評(píng)估拍一部電影需要投入多少錢(qián)才最合適，否則就有可能收不回成本；167。其實(shí)，這些還遠(yuǎn)遠(yuǎn)不夠，未來(lái)大數(shù)據(jù)的身影應(yīng)該無(wú)處不在，就算無(wú)法準(zhǔn)確預(yù)測(cè)大數(shù)據(jù)終會(huì)將人類(lèi)社會(huì)帶往到哪種最終形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒(méi)地球的每一個(gè)角落?！盙oogle也希望當(dāng)用戶(hù)在搜索時(shí)，最好的體驗(yàn)是搜索結(jié)果只包含用戶(hù)所需要的內(nèi)容，而這并不需要用戶(hù)給予Google太多的提示。未來(lái)的大數(shù)據(jù)除了將更好的解決社會(huì)問(wèn)題，商業(yè)營(yíng)銷(xiāo)問(wèn)題，科學(xué)技術(shù)問(wèn)題，還有一個(gè)可預(yù)見(jiàn)的趨勢(shì)是以人為本的大數(shù)據(jù)方針。比如，建立個(gè)人的數(shù)據(jù)中心，將每個(gè)人的日常生活習(xí)慣，身體體征，社會(huì)網(wǎng)絡(luò)，知識(shí)能力，愛(ài)好性情，疾病嗜好，情緒波動(dòng)……換言之就是記錄人從出生那一刻起的每一分每一秒，將除了思維外的一切都儲(chǔ)存下來(lái)，這些數(shù)據(jù)可以被充分的利用：167。 教育機(jī)構(gòu)更有針對(duì)的制定用戶(hù)喜歡的教育培訓(xùn)計(jì)劃；167。 社交網(wǎng)絡(luò)能為你提供合適的交友對(duì)象，并為志同道合的人群組織各種聚會(huì)活動(dòng)；167。 金融機(jī)構(gòu)能幫助用戶(hù)進(jìn)行有效的理財(cái)管理，為用戶(hù)的資金提供更有效的使用建議和規(guī)劃；167。比如，在手機(jī)未普及前，大家喜歡聚在一起聊天，自從手機(jī)普及后特別是有了互聯(lián)網(wǎng)，大家不用聚在一起也可以隨時(shí)隨地的聊天，只是“病菌”滋生了另外一種情形，大家慢慢習(xí)慣了和手機(jī)共渡時(shí)光，人與人之間情感交流仿佛永遠(yuǎn)隔著一張“網(wǎng)”。 大數(shù)據(jù)隱私你或許并不敏感，當(dāng)你在不同的網(wǎng)站上注冊(cè)了個(gè)人信息后，可能這些信息已經(jīng)被擴(kuò)散出去了，當(dāng)你莫名其妙的接到各種郵件，電話(huà)，短信的滋擾時(shí)，你不會(huì)想到自己的電話(huà)號(hào)碼，郵箱，生日，購(gòu)買(mǎi)記錄，收入水平，家庭住址，親朋好友等私人信息早就被各種商業(yè)機(jī)構(gòu)非法存儲(chǔ)或賤賣(mài)給其它任何有需要的企業(yè)或個(gè)人了。除非你更換掉自己的所有信息，但是這代價(jià)太大了。目前，中國(guó)并沒(méi)有專(zhuān)門(mén)的法律法規(guī)來(lái)界定用戶(hù)隱私，處理相關(guān)問(wèn)題時(shí)多采用其他相關(guān)法規(guī)條例來(lái)解釋。說(shuō)到隱私被侵犯，愛(ài)德華?斯諾登應(yīng)該占據(jù)一席之地，這位前美國(guó)中央情報(bào)局（CIA）雇員一手引爆了美國(guó)“棱鏡計(jì)劃”（PRISM）的內(nèi)幕消息。這個(gè)事件引發(fā)了人們對(duì)政府使用大數(shù)據(jù)時(shí)對(duì)公民隱私侵犯的擔(dān)心。因此在大數(shù)據(jù)的背景下，很多人都在積極的抵制無(wú)底線(xiàn)的數(shù)字化，這種大數(shù)據(jù)和個(gè)體之間的博弈還會(huì)一直繼續(xù)下去……專(zhuān)家給予了我們一些如何有效保護(hù)大數(shù)據(jù)背景下隱私權(quán)的建議：1減少信息的數(shù)字化；2隱私權(quán)立法；3數(shù)字隱私權(quán)基礎(chǔ)設(shè)施（類(lèi)似DRM數(shù)字版權(quán)管理）；4人類(lèi)改變認(rèn)知（接受忽略過(guò)去）；5創(chuàng)造良性的信息生態(tài)；6語(yǔ)境化。比如，現(xiàn)在有一種職業(yè)叫刪帖人，專(zhuān)門(mén)負(fù)責(zé)幫人到各大網(wǎng)站刪帖，刪除評(píng)論。只不過(guò)他們保護(hù)的不是客戶(hù)的隱私，而大多是丑聞。這是很可怕的事情，也就是說(shuō)，如果有人想找到你，只需要兩個(gè)條件：1你上過(guò)網(wǎng)，留下過(guò)痕跡；2你的親朋好友或僅僅是認(rèn)識(shí)你的人上過(guò)網(wǎng)，留下過(guò)你的痕跡。當(dāng)很多互聯(lián)網(wǎng)企業(yè)意識(shí)到隱私對(duì)于用戶(hù)的重要性時(shí)，為了繼續(xù)得到用戶(hù)的信任，他們采取了很多辦法，比如google承諾僅保留用戶(hù)的搜索記錄9個(gè)月，瀏覽器廠(chǎng)商提供了無(wú)痕沖浪模式，社交網(wǎng)站拒絕公共搜索引擎的爬蟲(chóng)進(jìn)入，并將提供出去的數(shù)據(jù)全部采取匿名方式處理等。可是，我們能做的幾乎微乎其微，因?yàn)閭€(gè)人隱私數(shù)據(jù)已經(jīng)無(wú)法由我們自己掌控了，就像一首詩(shī)里說(shuō)到的：“如果你現(xiàn)在繼續(xù)麻木，那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……” 云技術(shù)大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要分布式處理框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)萬(wàn)的電腦分配工作。云計(jì)算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶(hù)。業(yè)內(nèi)是這么形容兩者的關(guān)系：沒(méi)有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大，也難以找到用武之地；沒(méi)有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。云計(jì)算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來(lái)說(shuō)明，兩者之間結(jié)合后會(huì)產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù)；通過(guò)云計(jì)算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營(yíng)。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務(wù)層。 分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái)，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。而MapReduce是Google提出的一種云計(jì)算的核心計(jì)算模式，是一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，MapReduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題（例如程序）拆解成map（映射）和reduce（化簡(jiǎn)）的方式， 在數(shù)據(jù)被分割后通過(guò)Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過(guò)Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開(kāi)發(fā)者需要的結(jié)果。其次，Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過(guò)并行處理加快處理速度。此外，Hadoop 依賴(lài)于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。 HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) － HDFS (HadoopDistributed File System)167。 HBase: 類(lèi)似Google BigTable的分布式NoSQL列數(shù)據(jù)庫(kù)。 Hive：數(shù)據(jù)倉(cāng)庫(kù)工具，由Facebook貢獻(xiàn)。 Zookeeper：分布式鎖設(shè)施，提供類(lèi)似Google Chubby的功能，由Facebook貢獻(xiàn)。 Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。 Pig:大數(shù)據(jù)分析平臺(tái)，為用戶(hù)提供多種接口。 Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。 Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。數(shù)據(jù)來(lái)源層。在數(shù)據(jù)源層產(chǎn)生的數(shù)據(jù)，通過(guò)DataX，DbSync和Timetunel準(zhǔn)實(shí)時(shí)的傳輸?shù)较旅娴?點(diǎn)所述的“云梯”。在這個(gè)計(jì)算層內(nèi)，淘寶采用的是Hadoop集群，這個(gè)集群，我們暫且稱(chēng)