【正文】 上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關(guān)位置、運動、震動、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，都會產(chǎn)生海量的數(shù)據(jù)信息。 感知技術(shù)大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。這些企業(yè)用戶遍布190多個國家，幾乎世界上的每個角落都有Amazon用戶的身影。S3云已經(jīng)擁萬億跨地域存儲對象，同時AWS的對象執(zhí)行請求也達到百萬的峰值數(shù)量。再看看S3的設(shè)計指標：在特定年度內(nèi)為數(shù)據(jù)元提供 % 的耐久性和 % 的可用性，并能夠承受兩個設(shè)施中的數(shù)據(jù)同時丟失。Amazon S3 提供一個簡明的 Web 服務(wù)界面，用戶可通過它隨時在 Web 上的任何位置存儲和檢索的任意大小的數(shù)據(jù)。以Amazon舉例，Amazon S3 是一種面向 Internet 的存儲服務(wù)。成本的不斷下降也造就了大數(shù)據(jù)的可存儲性。提到存儲，有一個著名的摩爾定律相信大家都聽過：18個月集成電路的復(fù)雜性就增加一倍。 存儲技術(shù)大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲的目的是支撐大數(shù)據(jù)分析。最后一層是產(chǎn)品層，這個就不用解釋了。數(shù)據(jù)產(chǎn)品通過一個唯一的URL來獲取到它想要的數(shù)據(jù)。查詢層。在這一層，淘寶采用了兩個東西，一個使MyFox，一個是Prom。在云梯上，系統(tǒng)每天會對數(shù)據(jù)產(chǎn)品進行不同的MapReduce計算。計算層。存放著淘寶各店的交易數(shù)據(jù)。說了這么多，舉個實際的例子，雖然這個例子有些陳舊，但是淘寶的海量數(shù)據(jù)技術(shù)架構(gòu)還是有助于我們理解對于大數(shù)據(jù)的運作處理機制:如上圖所示，淘寶的海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)分為五個層次，從上至下來看它們分別是：數(shù)據(jù)源，計算層，存儲層，查詢層和產(chǎn)品層。167。167。167。167。167。167。 MapReduce：并行計算框架167。你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲技術(shù)相關(guān)）+HBase（數(shù)據(jù)庫）+MapReduce（數(shù)據(jù)處理）+……OthersHadoop用到的一些技術(shù)有：167。Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。再來看看Hadoop的特性，第一，它是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。以Hadoop（Yahoo）為例進行說明，Hadoop是一個實現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進行處理的。216。第二，大數(shù)據(jù)和云計算的目標受眾不同，云計算是CIO等關(guān)心的技術(shù)層，是一個進階的IT解決方案。如果將云計算與大數(shù)據(jù)進行一些比較，最明顯的區(qū)分在兩個方面：第一，在概念上兩者有所不同，云計算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。那么大數(shù)據(jù)到底需要哪些云計算技術(shù)呢？這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲和管理技術(shù)，NoSQL、實時流數(shù)據(jù)處理、智能分析技術(shù)（類似模式識別以及自然語言理解）等。如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計算提供基礎(chǔ)架構(gòu)平臺，大數(shù)據(jù)應(yīng)用運行在這個平臺上。可以說，云計算充當了工業(yè)革命時期的發(fā)動機的角色，而大數(shù)據(jù)則是電。和大數(shù)據(jù)相關(guān)的技術(shù)216。在這種復(fù)雜的環(huán)境里面，很多人依然沒有建立對于信息隱私的保護意識，讓自己一直處于被滋擾，被精心設(shè)計，被利用，被監(jiān)視的處境中。這兩個條件滿足其一，人肉專家就可以很輕松的找到你，可能還知道你現(xiàn)在正在某個餐廳和誰一起共進晚餐。還有一種職業(yè)叫人肉專家，他們負責(zé)從互聯(lián)網(wǎng)上找到一個與他們根本就無關(guān)系用戶的任意信息。其實這些人就是通過黑客技術(shù)侵入各大網(wǎng)站，破獲管理員的密碼然后進行手工定向刪除。但是這些都很難立即見效或者有實質(zhì)性的改善。再看看我們身邊，當微博，微信，空間這些社交平臺肆意的吞噬著數(shù)億用戶的各種信息時，你就不要指望你還有隱私權(quán)了，就算你在某個地方刪除了，但也許這些信息已經(jīng)被其他人轉(zhuǎn)載或保存了，更有可能已經(jīng)被百度或Google存為快照，早就提供給任意用戶搜索了?！袄忡R”項目是一項由美國國家安全局（NSA）自2007年起開始實施的絕密電子監(jiān)聽計劃，年耗資近2000億美元，用于監(jiān)聽全美電話通話記錄，據(jù)稱還可以使情報人員通過“后門”進入9家主要科技公司的服務(wù)器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國在線、Skype、YouTube、蘋果。但隨著民眾隱私意識的日益增強，合法合規(guī)地獲取數(shù)據(jù)、分析數(shù)據(jù)和應(yīng)用數(shù)據(jù)，是進行大數(shù)據(jù)分析時必須遵循的原則。用戶隱私問題一直是大數(shù)據(jù)應(yīng)用難以繞開的一個問題，如被央視曝光過的分眾無線、羅維鄧白氏以及網(wǎng)易郵箱都涉及侵犯用戶隱私。更可怕的是，這些信息你永遠無法刪除，它們永遠存在于互聯(lián)網(wǎng)的某些你不知道的角落。216。 道路交通、汽車租賃及運輸行業(yè)可以為用戶提供更合適的出行線路和路途服務(wù)安排；……當然，上面的一切看起來都很美好，但是否是以犧牲了用戶的自由為前提呢？只能說當新鮮事物帶來了革新的同時也同樣帶來了“病菌”。 政府能在用戶的心理健康出現(xiàn)問題時有效的干預(yù)，防范自殺，刑事案件的發(fā)生；167。 服務(wù)行業(yè)為用戶提供即時健康的符合用戶生活習(xí)慣的食物和其它服務(wù)；167。 醫(yī)療機構(gòu)將實時的監(jiān)測用戶的身體健康狀況；167。人才是地球的主宰，大部分的數(shù)據(jù)都與人類有關(guān)，要通過大數(shù)據(jù)解決人的問題。而當物聯(lián)網(wǎng)發(fā)展到達一定規(guī)模時，借助條形碼、二維碼、RFID等能夠唯一標識產(chǎn)品，傳感器、可穿戴設(shè)備、智能感知、視頻采集、增強現(xiàn)實等技術(shù)可實現(xiàn)實時的信息采集和分析，這些數(shù)據(jù)能夠支撐智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)保的理念需要，這些都所謂的智慧將是大數(shù)據(jù)的采集數(shù)據(jù)來源和服務(wù)范圍。比如，Amazon的最終期望是：“最成功的書籍推薦應(yīng)該只有一本書，就是用戶要買的下一本書。 大數(shù)據(jù)幫助社交網(wǎng)站提供更準確的好友推薦，為用戶提供更精準的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。 大數(shù)據(jù)幫助企業(yè)提升營銷的針對性，降低物流和庫存的成本，減少投資的風(fēng)險，以及幫助企業(yè)提升廣告投放精準度；167。 大數(shù)據(jù)幫助航空公司節(jié)省運營成本，幫助電信企業(yè)實現(xiàn)售后服務(wù)質(zhì)量提升，幫助保險企業(yè)識別欺詐騙保行為，幫助快遞公司監(jiān)測分析運輸車輛的故障險情以提前預(yù)警維修，幫助電力公司有效識別預(yù)警即將發(fā)生故障的設(shè)備；167。 大數(shù)據(jù)幫助城市預(yù)防犯罪，實現(xiàn)智慧交通，提升緊急應(yīng)急能力；167。 現(xiàn)在和未來我們先看看大數(shù)據(jù)在當下有怎樣的杰出表現(xiàn)：167。這些例子真實的反映在各行各業(yè)，探求數(shù)據(jù)價值取決于把握數(shù)據(jù)的人，關(guān)鍵是人的數(shù)據(jù)思維；與其說是大數(shù)據(jù)創(chuàng)造了價值，不如說是大數(shù)據(jù)思維觸發(fā)了新的價值增長。那幾乎是重復(fù)著千篇一律枯燥無味的數(shù)據(jù)：每支部隊殲敵多少、俘虜多少。WalMart作為零售行業(yè)的巨頭，他們的分析人員會對每個階段的銷售記錄進行了全面的分析，有一次他們無意中發(fā)現(xiàn)雖不相關(guān)但很有價值的數(shù)據(jù)，在美國的颶風(fēng)來臨季節(jié)，超市的蛋撻和抵御颶風(fēng)物品竟然銷量都有大幅增加，于是他們做了一個明智決策，就是將蛋撻的銷售位置移到了颶風(fēng)物