【正文】 數(shù)字嗎?林彪掃視一周，見無人回答，便接連問了三句：“為什么那里繳獲的短槍與長槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車與大車的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿軍用地圖的墻壁，指著地圖上的那個點說：“我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊很快就抓住了敵方的指揮官廖耀湘，并取得這場重要戰(zhàn)役的勝利。216。 大數(shù)據(jù)幫助政府實現(xiàn)市場經(jīng)濟調(diào)控、公共衛(wèi)生安全防范、災(zāi)難預(yù)警、社會輿論監(jiān)督；167。 大數(shù)據(jù)幫助醫(yī)療機構(gòu)建立患者的疾病風(fēng)險跟蹤機制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機構(gòu)為患者提供定制的藥物；167。 大數(shù)據(jù)幫助電商公司向用戶推薦商品和服務(wù)，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標(biāo)，幫助用戶找到最合適的商品購買時期、商家和最優(yōu)惠價格；167。 大數(shù)據(jù)幫助娛樂行業(yè)預(yù)測歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評估拍一部電影需要投入多少錢才最合適，否則就有可能收不回成本；167。其實，這些還遠遠不夠，未來大數(shù)據(jù)的身影應(yīng)該無處不在，就算無法準(zhǔn)確預(yù)測大數(shù)據(jù)終會將人類社會帶往到哪種最終形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒地球的每一個角落。”Google也希望當(dāng)用戶在搜索時，最好的體驗是搜索結(jié)果只包含用戶所需要的內(nèi)容，而這并不需要用戶給予Google太多的提示。未來的大數(shù)據(jù)除了將更好的解決社會問題，商業(yè)營銷問題，科學(xué)技術(shù)問題，還有一個可預(yù)見的趨勢是以人為本的大數(shù)據(jù)方針。比如，建立個人的數(shù)據(jù)中心，將每個人的日常生活習(xí)慣，身體體征，社會網(wǎng)絡(luò)，知識能力，愛好性情，疾病嗜好，情緒波動……換言之就是記錄人從出生那一刻起的每一分每一秒，將除了思維外的一切都儲存下來，這些數(shù)據(jù)可以被充分的利用：167。 教育機構(gòu)更有針對的制定用戶喜歡的教育培訓(xùn)計劃；167。 社交網(wǎng)絡(luò)能為你提供合適的交友對象，并為志同道合的人群組織各種聚會活動；167。 金融機構(gòu)能幫助用戶進行有效的理財管理，為用戶的資金提供更有效的使用建議和規(guī)劃；167。比如，在手機未普及前，大家喜歡聚在一起聊天，自從手機普及后特別是有了互聯(lián)網(wǎng)，大家不用聚在一起也可以隨時隨地的聊天，只是“病菌”滋生了另外一種情形，大家慢慢習(xí)慣了和手機共渡時光，人與人之間情感交流仿佛永遠隔著一張“網(wǎng)”。 大數(shù)據(jù)隱私你或許并不敏感，當(dāng)你在不同的網(wǎng)站上注冊了個人信息后，可能這些信息已經(jīng)被擴散出去了，當(dāng)你莫名其妙的接到各種郵件，電話，短信的滋擾時，你不會想到自己的電話號碼，郵箱，生日，購買記錄，收入水平，家庭住址，親朋好友等私人信息早就被各種商業(yè)機構(gòu)非法存儲或賤賣給其它任何有需要的企業(yè)或個人了。除非你更換掉自己的所有信息，但是這代價太大了。目前，中國并沒有專門的法律法規(guī)來界定用戶隱私，處理相關(guān)問題時多采用其他相關(guān)法規(guī)條例來解釋。說到隱私被侵犯，愛德華?斯諾登應(yīng)該占據(jù)一席之地，這位前美國中央情報局（CIA）雇員一手引爆了美國“棱鏡計劃”（PRISM）的內(nèi)幕消息。這個事件引發(fā)了人們對政府使用大數(shù)據(jù)時對公民隱私侵犯的擔(dān)心。因此在大數(shù)據(jù)的背景下，很多人都在積極的抵制無底線的數(shù)字化，這種大數(shù)據(jù)和個體之間的博弈還會一直繼續(xù)下去……專家給予了我們一些如何有效保護大數(shù)據(jù)背景下隱私權(quán)的建議：1減少信息的數(shù)字化；2隱私權(quán)立法；3數(shù)字隱私權(quán)基礎(chǔ)設(shè)施（類似DRM數(shù)字版權(quán)管理）；4人類改變認(rèn)知（接受忽略過去）；5創(chuàng)造良性的信息生態(tài)；6語境化。比如，現(xiàn)在有一種職業(yè)叫刪帖人，專門負責(zé)幫人到各大網(wǎng)站刪帖，刪除評論。只不過他們保護的不是客戶的隱私，而大多是丑聞。這是很可怕的事情，也就是說，如果有人想找到你，只需要兩個條件：1你上過網(wǎng)，留下過痕跡；2你的親朋好友或僅僅是認(rèn)識你的人上過網(wǎng)，留下過你的痕跡。當(dāng)很多互聯(lián)網(wǎng)企業(yè)意識到隱私對于用戶的重要性時，為了繼續(xù)得到用戶的信任，他們采取了很多辦法，比如google承諾僅保留用戶的搜索記錄9個月，瀏覽器廠商提供了無痕沖浪模式，社交網(wǎng)站拒絕公共搜索引擎的爬蟲進入，并將提供出去的數(shù)據(jù)全部采取匿名方式處理等。可是，我們能做的幾乎微乎其微，因為個人隱私數(shù)據(jù)已經(jīng)無法由我們自己掌控了，就像一首詩里說到的：“如果你現(xiàn)在繼續(xù)麻木，那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……” 云技術(shù)大數(shù)據(jù)常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬的電腦分配工作。云計算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。業(yè)內(nèi)是這么形容兩者的關(guān)系：沒有大數(shù)據(jù)的信息積淀，則云計算的計算能力再強大，也難以找到用武之地；沒有云計算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。云計算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來說明，兩者之間結(jié)合后會產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù)；通過云計算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運營。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務(wù)層。 分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機用通信網(wǎng)絡(luò)連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。而MapReduce是Google提出的一種云計算的核心計算模式，是一種分布式運算技術(shù)，也是簡化的分布式編程模式，MapReduce模式的主要思想是將自動分割要執(zhí)行的問題（例如程序）拆解成map（映射）和reduce（化簡）的方式， 在數(shù)據(jù)被分割后通過Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計算機機群處理達到分布式運算的效果，在通過Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開發(fā)者需要的結(jié)果。其次，Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。 HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) － HDFS (HadoopDistributed File System)167。 HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫。 Hive：數(shù)據(jù)倉庫工具，由Facebook貢獻。 Zookeeper：分布式鎖設(shè)施，提供類似Google Chubby的功能，由Facebook貢獻。 Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制。 Pig:大數(shù)據(jù)分析平臺，為用戶提供多種接口。 Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。 Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞。數(shù)據(jù)來源層。在數(shù)據(jù)源層產(chǎn)生的數(shù)據(jù)，通過DataX，DbSync和Timetunel準(zhǔn)實時的傳輸?shù)较旅娴?點所述的“云梯”。在這個計算層內(nèi)，淘寶采用的是Hadoop集群，這個集群，我們暫且稱