【正文】 內的一大批知名企業(yè)紛紛掘金這一市場。隨著Hadoop被廣泛使用，面對各式各樣的需求，人們期望Hadoop能提供更多特性，比如完全可讀寫的文件系統(tǒng)、Snapshot、Mirror等等。再次，單一NameNode的內存容量有限，使得Hadoop集群的節(jié)點數量被限制到2000個左右，能支持的文件系統(tǒng)大小被限制在1050PB。當前Hadoop單一NameNode、單一Jobtracker的設計嚴重制約了整個Hadoop可擴展性和可靠性。. Hadoop的不足Hadoop作為一個處理大數據的軟件框架，雖然受到眾多商業(yè)公司的青睞，但是其自身的技術特點也決定了它不能完全解決大數據問題。Hadoop帶有用Java語言編寫的框架，因此運行在Linux生產平臺上是非常理想的。. 高容錯性。. 高效性。. 高擴展性。它主要有以下幾個優(yōu)點：..... 高可靠性。每個TaskTracker將狀態(tài)和完成信息報告給JobTracker。JobTr a cke r使用文件塊信息（物理量和位置）確定如何創(chuàng)建其他TaskTracker從屬任務。類似于NameNode，它是Ha d o o p 集群中唯一負責控制MapReduce應用程序的系統(tǒng)。Hadoop提供了大量的接口和抽象類，從而為Hadoop應用程序開發(fā)人員提供許多工具，可用于調試和性能度量等。H a d o o p M a p R e d u c e 是Google MapReduce的開源實現。它決定是否將文件映射到DataNode上的復制塊上。HDFS內部的所有通信都基于標準的TCP/IP協(xié)議。塊的大?。ㄍǔ?4MB）和復制的塊數量在創(chuàng)建文件時由客戶機決定。存儲在HDFS中的文件被分成塊，然后將這些塊復制到多個計算機中（DataNode）。Hadoop主要組件包含如圖七：圖七Hadoop Common：通用模塊，支持其他Hadoop模塊Ha d o o p Di s t r i b u t e d Fi l eSystem（HDFS）：分布式文件系統(tǒng)，用以提供高流量的應用數據訪問Hadoop YARN：支持工作調度和集群資源管理的框架HadoopMapReduce：針對大數據的、靈活的并行數據處理框架其他相關的模塊還有：ZooKeeper：高可靠性分布式協(xié)調系統(tǒng)Oozie：負責MapReduce作業(yè)調度HBase：可擴展的分布式數據庫，可以將結構性數據存儲為大表Hive：構建在MapRudece之上的數據倉庫軟件包Pig：架構在Hadoop之上的高級數據處理層在Hadoop框架中，最底層的HDFS存儲Hadoop集群中所有存儲節(jié)點上的文件。Hadoop是一個基于Java的分布式密集數據處理和數據分析的軟件框架。這些數據類型缺乏一致性，使得標準存儲技術無法對大數據進行有效存儲，而且我們也難以使用傳統(tǒng)的服務器和SAN方法來有效地存儲和處理龐大的數據量。這一部分主要介紹和分析大數據處理的核心技術——Hadoop。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復雜，并且計算涉及的數據量和計算量都很大，常用數據挖掘算法都以單線程為主。. 挖掘　　與前面統(tǒng)計和分析過程不同的是，數據挖掘一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。. 統(tǒng)計/分析統(tǒng)計與分析主要利用分布式數據庫，或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結構化數據的需求可以使用Hadoop。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業(yè)務的實時計算需求。并且如何在這些數據庫之間進行負載均衡和分片的確是需要深入的思考和設計。比如，電商會使用傳統(tǒng)的關系型數據庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL數據庫也常用于數據的采集。來自于Yahoo的工程師Doug Cutting在讀了這兩篇論文后建立了分布式計算平臺，以他兒子的玩具大象命名。Google總共發(fā)表了兩篇論文，2004年發(fā)表的叫做MapReduce的論文介紹了如何在多計算機之間進行數據處理。沒有這個技術，要想快速便宜的分析這么大量衛(wèi)星圖片數據將是不可能的。這家公司通過對衛(wèi)星圖片的分析得出一些實時結果，比如說某個城市有多少可用停車空間，或者某個港口目前有多少船只。分布式計算技術讓不可能變成可能，分布式計算技術正引領著將不可能變?yōu)榭赡?。比如說可以分發(fā)現一些新的模式或者新的行為。更重要的是，它所使用的硬件非常便宜，因而讓這種技術的普及變成可能。. 分布式計算技術分布式計算結合了NoSQL與實時分析技術，如果想要同時處理實時分析與NoSQL數據功能，那么你就需要分布式計算技術。開源免費的模式如CouchDB和Cassandra。現今有多種不同類型的NoSQL模式。在處理海量數據同時請求時，它也不會有任何問題。正常的數據庫需要將數據進行歸類組織，類似于姓名和帳號這些數據需要進行結構化和標簽化。由于其處理數據的模式完全是分布于各種低成本服務器和存儲磁盤，因此它可以幫助網頁和各種交互性應用快速處理過程中的海量數據。NoSQL并不是單純的反對關系型數據庫，而是針對其缺點的一種補充和擴展。NoSQL，也有人理解為Not Only SQL，并不是一種特定的數據存儲模型，它是一類非關系型數據庫的統(tǒng)稱。但傳統(tǒng)的關系型數據庫嚴格的設計定式、為保證強一致性而放棄性能、可擴展性差等問題在大數據分析中被逐漸暴露。需要擴容了，只需增加個機柜，加入適當的計算單元和存儲，集群系統(tǒng)會自動分配和調度這些資源，絲毫不影響現有系統(tǒng)的運行. 存儲數據庫存儲數據庫(InMemory Databases)讓信息快速流通，大數據分析經常會用到存儲數據庫來快速處理大量記錄的數據流通。其次，即使是當前最強的商業(yè)并行數據庫，其所能管理的數據節(jié)點也只是在幾十或上百這個數量級，這主要是由于架構上的設計問題，所以其可擴展性必然有限。這樣，舊硬件就成為了系統(tǒng)的瓶頸。首先是商業(yè)并行數據庫通常需要各節(jié)點物理同構，也就是具有近似的計算和存儲能力。這樣的方式直接導致了前期一次性投資的巨大，并且即使這樣也依然無法保證計算需求和存儲超出設計量時的系統(tǒng)性能。之前，我們在設計一個數據中心解決方案的前期，就要考慮到方案實施后的可擴展性。首先，以Google為首的技術型互聯(lián)網公司提出了MapReduce的技術框架，利用廉價的PC服務器集群，大規(guī)模并發(fā)處理批量事務。網頁存檔、用戶點擊、商品信息、用戶關系等數據形成了持續(xù)增長的海量數據集。. 數據質量和數據管理數據質量與管理是管理的最佳實踐，透過標準化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。. 語義引擎非結構化數據的多元化給數據分析帶來新的挑戰(zhàn)，我們需要一套工具系統(tǒng)的去分析，提煉數據。這些算法一定要能夠應付大數據的量，同時還具有很高的處理速度。. 數據挖掘算法　圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。大數據分析技術涵蓋了以下的的五個方面. 可視化分析數據可視化無論對于普通用戶或是數據分析專家，都是最基本的功能。它們將這些數據與交易記錄相結合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見，此類方法已經幫助某領先零售企業(yè)減少了17%的存貨，同時在保持市場份額的前提下，增加了高利潤率自有品牌商品的比例。Informatica的技術幫助這家零售商用社交平臺上的數據充實了客戶主數據，使他的業(yè)務服務更具有目標性。公司希望向客戶提供差異化服務，如何定位公司的差異化，他們通過從 Twitter 和 Facebook 上收集社交信息，更深入的理解化妝品的營銷模式，隨后他們認識到必須保留兩類有價值的客戶：高消費者和高影響者。4. NTT doo把手機位置信息和互聯(lián)網上的信息結合起來，為顧客提供附近的餐飲店信息，接近末班車時間時，提供末班車信息服務。3. 中國移動通過大數據分析，對企業(yè)運營的全業(yè)務進行針對性的監(jiān)控、預警、跟蹤。此外，IBM新的Netezza網絡分析加速器，將通過提供單個端到端網絡、服務、客戶分析視圖的可擴展平臺，幫助通信企業(yè)制定更科學、合理決策。. 通信行業(yè)1. XO Communications通過使用IBM SPSS預測分析軟件，減少了將近一半的客戶流失率。2. 維斯塔斯風力系統(tǒng)，依靠的是BigInsights軟件和IBM超級計算機，然后對氣象數據進行分析，找出安裝風力渦輪機和整個風電場最佳的地點。因為電有點像期貨一樣，如果提前買就會比較便宜，買現貨就比較貴。通過電網收集每隔五分鐘或十分鐘收集一次數據，收集來的這些數據可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網大概需要多少電。. 能源行業(yè)1. 智能電網現在歐洲已經做到了終端，也就是所謂的智能電表。3. 它讓更多的創(chuàng)業(yè)者更方便地開發(fā)產品，比如通過社交網絡來收集數據的健康類App。2. 在加拿大多倫多的一家醫(yī)院，針對早產嬰兒，每秒鐘有超過3000次的數據讀取。. 大數據應用架構. 大數據行業(yè)應用. 醫(yī)療行業(yè)1. Seton Healthcare是采用IBM最新沃森技術醫(yī)療保健內容分析預測的首個客戶。他也是一個趨勢的分析，只是我們把這個趨勢提前來。他可以監(jiān)控大規(guī)模的數據，可以分析出人的動向。如果我們在這三件事之間還要提一件事的話，一個叫趨勢。其實就是用戶與信息之間的關系，他無非是做這件事。這就是用戶與用戶之間的關系理解。然后就是用戶與用戶之間的關系。人眼一眼就能看出來。一條微博和一個視頻之間的關系