【文章內(nèi)容簡介】 進(jìn)行手工定向刪除。只不過他們保護(hù)的不是客戶的隱私，而大多是丑聞。還有一種職業(yè)叫人肉專家，他們負(fù)責(zé)從互聯(lián)網(wǎng)上找到一個與他們根本就無關(guān)系用戶的任意信息。這是很可怕的事情，也就是說，如果有人想找到你，只需要兩個條件：1你上過網(wǎng)，留下過痕跡；2你的親朋好友或僅僅是認(rèn)識你的人上過網(wǎng)，留下過你的痕跡。這兩個條件滿足其一，人肉專家就可以很輕松的找到你，可能還知道你現(xiàn)在正在某個餐廳和誰一起共進(jìn)晚餐。當(dāng)很多互聯(lián)網(wǎng)企業(yè)意識到隱私對于用戶的重要性時，為了繼續(xù)得到用戶的信任，他們采取了很多辦法，比如google承諾僅保留用戶的搜索記錄9個月，瀏覽器廠商提供了無痕沖浪模式，社交網(wǎng)站拒絕公共搜索引擎的爬蟲進(jìn)入，并將提供出去的數(shù)據(jù)全部采取匿名方式處理等。在這種復(fù)雜的環(huán)境里面，很多人依然沒有建立對于信息隱私的保護(hù)意識，讓自己一直處于被滋擾，被精心設(shè)計，被利用，被監(jiān)視的處境中?？墒牵覀兡茏龅膸缀跷⒑跗湮?，因為個人隱私數(shù)據(jù)已經(jīng)無法由我們自己掌控了，就像一首詩里說到的：“如果你現(xiàn)在繼續(xù)麻木，那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……”和大數(shù)據(jù)相關(guān)的技術(shù)216。 云技術(shù)大數(shù)據(jù)常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬的電腦分配工作?？梢哉f，云計算充當(dāng)了工業(yè)革命時期的發(fā)動機(jī)的角色，而大數(shù)據(jù)則是電。云計算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計算提供基礎(chǔ)架構(gòu)平臺，大數(shù)據(jù)應(yīng)用運(yùn)行在這個平臺上。業(yè)內(nèi)是這么形容兩者的關(guān)系：沒有大數(shù)據(jù)的信息積淀，則云計算的計算能力再強(qiáng)大，也難以找到用武之地；沒有云計算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。那么大數(shù)據(jù)到底需要哪些云計算技術(shù)呢？這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲和管理技術(shù)，NoSQL、實時流數(shù)據(jù)處理、智能分析技術(shù)（類似模式識別以及自然語言理解）等。云計算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來說明，兩者之間結(jié)合后會產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù)；通過云計算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。如果將云計算與大數(shù)據(jù)進(jìn)行一些比較，最明顯的區(qū)分在兩個方面：第一，在概念上兩者有所不同，云計算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營。第二，大數(shù)據(jù)和云計算的目標(biāo)受眾不同，云計算是CIO等關(guān)心的技術(shù)層，是一個進(jìn)階的IT解決方案。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務(wù)層。216。 分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機(jī)用通信網(wǎng)絡(luò)連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。以Hadoop（Yahoo）為例進(jìn)行說明，Hadoop是一個實現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。而MapReduce是Google提出的一種云計算的核心計算模式，是一種分布式運(yùn)算技術(shù)，也是簡化的分布式編程模式，MapReduce模式的主要思想是將自動分割要執(zhí)行的問題（例如程序）拆解成map（映射）和reduce（化簡）的方式， 在數(shù)據(jù)被分割后通過Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開發(fā)者需要的結(jié)果。再來看看Hadoop的特性，第一，它是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護(hù)多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。其次，Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲技術(shù)相關(guān)）+HBase（數(shù)據(jù)庫）+MapReduce（數(shù)據(jù)處理）+……OthersHadoop用到的一些技術(shù)有：167。 HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) － HDFS (HadoopDistributed File System)167。 MapReduce：并行計算框架167。 HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫。167。 Hive：數(shù)據(jù)倉庫工具，由Facebook貢獻(xiàn)。167。 Zookeeper：分布式鎖設(shè)施，提供類似Google Chubby的功能，由Facebook貢獻(xiàn)。167。 Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。167。 Pig:大數(shù)據(jù)分析平臺，為用戶提供多種接口。167。 Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。167。 Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進(jìn)行數(shù)據(jù)的傳遞。說了這么多，舉個實際的例子，雖然這個例子有些陳舊，但是淘寶的海量數(shù)據(jù)技術(shù)架構(gòu)還是有助于我們理解對于大數(shù)據(jù)的運(yùn)作處理機(jī)制:如上圖所示，淘寶的海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)分為五個層次，從上至下來看它們分別是：數(shù)據(jù)源，計算層，存儲層，查詢層和產(chǎn)品層。數(shù)據(jù)來源層。存放著淘寶各店的交易數(shù)據(jù)。在數(shù)據(jù)源層產(chǎn)生的數(shù)據(jù)，通過DataX，DbSync和Timetunel準(zhǔn)實時的傳輸?shù)较旅娴?點所述的“云梯”。計算層。在這個計算層內(nèi)，淘寶采用的是Hadoop集群，這個集群，我們暫且稱之為云梯，是計算層的主要組成部分。在云梯上，系統(tǒng)每天會對數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計算。存儲層。在這一層，淘寶采用了兩個東西，一個使MyFox，一個是Prom。MyFox是基于MySQL的分布式關(guān)系型數(shù)據(jù)庫的集群，Prom是基于Hadoop Hbase技術(shù)的一個NoSQL的存儲集群。查詢層。在這一層中，Glider是以HTTP協(xié)議對外提供restful方式的接口。數(shù)據(jù)產(chǎn)品通過一個唯一的URL來獲取到它想要的數(shù)據(jù)。同時，數(shù)據(jù)查詢即是通過MyFox來查詢的。最后一層是產(chǎn)品層，這個就不用解釋了。216。 存儲技術(shù)大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲的目的是支撐大數(shù)據(jù)分析。到目前為止，還是兩種截然不同的計算機(jī)技術(shù)領(lǐng)域：大數(shù)據(jù)存儲致力于研發(fā)可以擴(kuò)展至PB甚至EB級別的數(shù)據(jù)存儲平臺；大數(shù)據(jù)分析關(guān)注在最短時間內(nèi)處理大量不同類型的數(shù)據(jù)集。提到存儲，有一個著名的摩爾定律相信大家都聽過：18個月集成電路的復(fù)雜性就增加一倍。所以，存儲器的成本大約每1824個月就下降一半。成本的不斷下降也造就了大數(shù)據(jù)的可存儲性。比如，Google大約管理著超過50萬臺服務(wù)器和100萬塊硬盤，而且Google還在不斷的擴(kuò)大計算能力和存儲能力，其中很多的擴(kuò)展都是