【正文】 泛使用，面對各式各樣的需求，人們期望Hadoop能提供更多特性，比如完全可讀寫的文件系統(tǒng)、Snapshot、Mirror等等。再次，單一NameNode的內(nèi)存容量有限，使得Hadoop集群的節(jié)點(diǎn)數(shù)量被限制到2000個(gè)左右，能支持的文件系統(tǒng)大小被限制在1050PB。當(dāng)前Hadoop單一NameNode、單一Jobtracker的設(shè)計(jì)嚴(yán)重制約了整個(gè)Hadoop可擴(kuò)展性和可靠性。. Hadoop的不足Hadoop作為一個(gè)處理大數(shù)據(jù)的軟件框架，雖然受到眾多商業(yè)公司的青睞，但是其自身的技術(shù)特點(diǎn)也決定了它不能完全解決大數(shù)據(jù)問題。Hadoop帶有用Java語言編寫的框架，因此運(yùn)行在Linux生產(chǎn)平臺上是非常理想的。. 高容錯(cuò)性。. 高效性。. 高擴(kuò)展性。它主要有以下幾個(gè)優(yōu)點(diǎn)：..... 高可靠性。每個(gè)TaskTracker將狀態(tài)和完成信息報(bào)告給JobTracker。JobTr a cke r使用文件塊信息（物理量和位置）確定如何創(chuàng)建其他TaskTracker從屬任務(wù)。類似于NameNode，它是Ha d o o p 集群中唯一負(fù)責(zé)控制MapReduce應(yīng)用程序的系統(tǒng)。Hadoop提供了大量的接口和抽象類，從而為Hadoop應(yīng)用程序開發(fā)人員提供許多工具，可用于調(diào)試和性能度量等。H a d o o p M a p R e d u c e 是Google MapReduce的開源實(shí)現(xiàn)。它決定是否將文件映射到DataNode上的復(fù)制塊上。HDFS內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的TCP/IP協(xié)議。塊的大?。ㄍǔ?4MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定。存儲在HDFS中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中（DataNode）。Hadoop主要組件包含如圖七：圖七Hadoop Common：通用模塊，支持其他Hadoop模塊Ha d o o p Di s t r i b u t e d Fi l eSystem（HDFS）：分布式文件系統(tǒng)，用以提供高流量的應(yīng)用數(shù)據(jù)訪問Hadoop YARN：支持工作調(diào)度和集群資源管理的框架HadoopMapReduce：針對大數(shù)據(jù)的、靈活的并行數(shù)據(jù)處理框架其他相關(guān)的模塊還有：ZooKeeper：高可靠性分布式協(xié)調(diào)系統(tǒng)Oozie：負(fù)責(zé)MapReduce作業(yè)調(diào)度HBase：可擴(kuò)展的分布式數(shù)據(jù)庫，可以將結(jié)構(gòu)性數(shù)據(jù)存儲為大表Hive：構(gòu)建在MapRudece之上的數(shù)據(jù)倉庫軟件包Pig：架構(gòu)在Hadoop之上的高級數(shù)據(jù)處理層在Hadoop框架中，最底層的HDFS存儲Hadoop集群中所有存儲節(jié)點(diǎn)上的文件。Hadoop是一個(gè)基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架。這些數(shù)據(jù)類型缺乏一致性，使得標(biāo)準(zhǔn)存儲技術(shù)無法對大數(shù)據(jù)進(jìn)行有效存儲，而且我們也難以使用傳統(tǒng)的服務(wù)器和SAN方法來有效地存儲和處理龐大的數(shù)據(jù)量。這一部分主要介紹和分析大數(shù)據(jù)處理的核心技術(shù)——Hadoop。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。. 挖掘　　與前面統(tǒng)計(jì)和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測（Predict）的效果，從而實(shí)現(xiàn)一些高級別數(shù)據(jù)分析的需求。. 統(tǒng)計(jì)/分析統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫，或者分布式計(jì)算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實(shí)時(shí)性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。也有一些用戶會在導(dǎo)入時(shí)使用來自Twitter的Storm來對數(shù)據(jù)進(jìn)行流式計(jì)算，來滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。并且如何在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計(jì)。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。來自于Yahoo的工程師Doug Cutting在讀了這兩篇論文后建立了分布式計(jì)算平臺，以他兒子的玩具大象命名。Google總共發(fā)表了兩篇論文，2004年發(fā)表的叫做MapReduce的論文介紹了如何在多計(jì)算機(jī)之間進(jìn)行數(shù)據(jù)處理。沒有這個(gè)技術(shù)，要想快速便宜的分析這么大量衛(wèi)星圖片數(shù)據(jù)將是不可能的。這家公司通過對衛(wèi)星圖片的分析得出一些實(shí)時(shí)結(jié)果，比如說某個(gè)城市有多少可用停車空間，或者某個(gè)港口目前有多少船只。分布式計(jì)算技術(shù)讓不可能變成可能，分布式計(jì)算技術(shù)正引領(lǐng)著將不可能變?yōu)榭赡?。比如說可以分發(fā)現(xiàn)一些新的模式或者新的行為。更重要的是，它所使用的硬件非常便宜，因而讓這種技術(shù)的普及變成可能。. 分布式計(jì)算技術(shù)分布式計(jì)算結(jié)合了NoSQL與實(shí)時(shí)分析技術(shù)，如果想要同時(shí)處理實(shí)時(shí)分析與NoSQL數(shù)據(jù)功能，那么你就需要分布式計(jì)算技術(shù)。開源免費(fèi)的模式如CouchDB和Cassandra?，F(xiàn)今有多種不同類型的NoSQL模式。在處理海量數(shù)據(jù)同時(shí)請求時(shí)，它也不會有任何問題。正常的數(shù)據(jù)庫需要將數(shù)據(jù)進(jìn)行歸類組織，類似于姓名和帳號這些數(shù)據(jù)需要進(jìn)行結(jié)構(gòu)化和標(biāo)簽化。由于其處理數(shù)據(jù)的模式完全是分布于各種低成本服務(wù)器和存儲磁盤，因此它可以幫助網(wǎng)頁和各種交互性應(yīng)用快速處理過程中的海量數(shù)據(jù)。NoSQL并不是單純的反對關(guān)系型數(shù)據(jù)庫，而是針對其缺點(diǎn)的一種補(bǔ)充和擴(kuò)展。NoSQL，也有人理解為Not Only SQL，并不是一種特定的數(shù)據(jù)存儲模型，它是一類非關(guān)系型數(shù)據(jù)庫的統(tǒng)稱。但傳統(tǒng)的關(guān)系型數(shù)據(jù)庫嚴(yán)格的設(shè)計(jì)定式、為保證強(qiáng)一致性而放棄性能、可擴(kuò)展性差等問題在大數(shù)據(jù)分析中被逐漸暴露。需要擴(kuò)容了，只需增加個(gè)機(jī)柜，加入適當(dāng)?shù)挠?jì)算單元和存儲，集群系統(tǒng)會自動分配和調(diào)度這些資源，絲毫不影響現(xiàn)有系統(tǒng)的運(yùn)行. 存儲數(shù)據(jù)庫存儲數(shù)據(jù)庫(InMemory Databases)讓信息快速流通，大數(shù)據(jù)分析經(jīng)常會用到存儲數(shù)據(jù)庫來快速處理大量記錄的數(shù)據(jù)流通。其次，即使是當(dāng)前最強(qiáng)的商業(yè)并行數(shù)據(jù)庫，其所能管理的數(shù)據(jù)節(jié)點(diǎn)也只是在幾十或上百這個(gè)數(shù)量級，這主要是由于架構(gòu)上的設(shè)計(jì)問題，所以其可擴(kuò)展性必然有限。這樣，舊硬件就成為了系統(tǒng)的瓶頸。首先是商業(yè)并行數(shù)據(jù)庫通常需要各節(jié)點(diǎn)物理同構(gòu)，也就是具有近似的計(jì)算和存儲能力。這樣的方式直接導(dǎo)致了前期一次性投資的巨大，并且即使這樣也依然無法保證計(jì)算需求和存儲超出設(shè)計(jì)量時(shí)的系統(tǒng)性能。之前，我們在設(shè)計(jì)一個(gè)數(shù)據(jù)中心解決方案的前期，就要考慮到方案實(shí)施后的可擴(kuò)展性。首先，以Google為首的技術(shù)型互聯(lián)網(wǎng)公司提出了MapReduce的技術(shù)框架，利用廉價(jià)的PC服務(wù)器集群，大規(guī)模并發(fā)處理批量事務(wù)。網(wǎng)頁存檔、用戶點(diǎn)擊、商品信息、用戶關(guān)系等數(shù)據(jù)形成了持續(xù)增長的海量數(shù)據(jù)集。. 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理數(shù)據(jù)質(zhì)量與管理是管理的最佳實(shí)踐，透過標(biāo)準(zhǔn)化流程和機(jī)器對數(shù)據(jù)進(jìn)行處理可以確保獲得一個(gè)預(yù)設(shè)質(zhì)量的分析結(jié)果。. 語義引擎非結(jié)構(gòu)化數(shù)據(jù)的多元化給數(shù)據(jù)分析帶來新的挑戰(zhàn)，我們需要一套工具系統(tǒng)的去分析，提煉數(shù)據(jù)。這些算法一定要能夠應(yīng)付大數(shù)據(jù)的量，同時(shí)還具有很高的處理速度。. 數(shù)據(jù)挖掘算法　圖像化是將機(jī)器語言翻譯給人看，而數(shù)據(jù)挖掘就是機(jī)器的母語。大數(shù)據(jù)分析技術(shù)涵蓋了以下的的五個(gè)方面. 可視化分析數(shù)據(jù)可視化無論對于普通用戶或是數(shù)據(jù)分析專家，都是最基本的功能。它們將這些數(shù)據(jù)與交易記錄相結(jié)合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時(shí)調(diào)整售價(jià)上給出意見，此類方法已經(jīng)幫助某領(lǐng)先零售企業(yè)減少了17%的存貨，同時(shí)在保持市場份額的前提下，增加了高利潤率自有品牌商品的比例。Informatica的技術(shù)幫助這家零售商用社交平臺上的數(shù)據(jù)充實(shí)了客戶主數(shù)據(jù)，使他的業(yè)務(wù)服務(wù)更具有目標(biāo)性。公司希望向客戶提供差異化服務(wù)，如何定位公司的差異化，他們通過從 Twitter 和 Facebook 上收集社交信息，更深入的理解化妝品的營銷模式，隨后他們認(rèn)識到必須保留兩類有價(jià)值的客戶：高消費(fèi)者和高影響者。4. NTT doo把手機(jī)位置信息和互聯(lián)網(wǎng)上的信息結(jié)合起來，為顧客提供附近的餐飲店信息，接近末班車時(shí)間時(shí)，提供末班車信息服務(wù)。3. 中國移動通過大數(shù)據(jù)分析，對企業(yè)運(yùn)營的全業(yè)務(wù)進(jìn)行針對性的監(jiān)控、預(yù)警、跟蹤。此外，IBM新的Netezza網(wǎng)絡(luò)分析加速器，將通過提供單個(gè)端到端網(wǎng)絡(luò)、服務(wù)、客戶分析視圖的可擴(kuò)展平臺，幫助通信企業(yè)制定更科學(xué)、合理決策。. 通信行業(yè)1. XO Communications通過使用IBM SPSS預(yù)測分析軟件，減少了將近一半的客戶流失率。2. 維斯塔斯風(fēng)力系統(tǒng)，依靠的是BigInsights軟件和IBM超級計(jì)算機(jī)，然后對氣象數(shù)據(jù)進(jìn)行分析，找出安裝風(fēng)力渦輪機(jī)和整個(gè)風(fēng)電場最佳的地點(diǎn)。因?yàn)殡娪悬c(diǎn)像期貨一樣，如果提前買就會比較便宜，買現(xiàn)貨就比較貴。通過電網(wǎng)收集每隔五分鐘或十分鐘收集一次數(shù)據(jù)，收集來的這些數(shù)據(jù)可以用來預(yù)測客戶的用電習(xí)慣等，從而推斷出在未來2~3個(gè)月時(shí)間里，整個(gè)電網(wǎng)大概需要多少電。. 能源行業(yè)1. 智能電網(wǎng)現(xiàn)在歐洲已經(jīng)做到了終端，也就是所謂的智能電表。3. 它讓更多的創(chuàng)業(yè)者更方便地開發(fā)產(chǎn)品，比如通過社交網(wǎng)絡(luò)來收集數(shù)據(jù)的健康類App。2. 在加拿大多倫多的一家醫(yī)院，針對早產(chǎn)嬰兒，每秒鐘有超過3000次的數(shù)據(jù)讀取。. 大數(shù)據(jù)應(yīng)用架構(gòu). 大數(shù)據(jù)行業(yè)應(yīng)用. 醫(yī)療行業(yè)1. Seton Healthcare是采用IBM最新沃森技術(shù)醫(yī)療保健內(nèi)容分析預(yù)測的首個(gè)客戶。他也是一個(gè)趨勢的分析，只是我們把這個(gè)趨勢提前來。他可以監(jiān)控大規(guī)模的數(shù)據(jù)，可以分析出人的動向。如果我們在這三件事之間還要提一件事的話，一個(gè)叫趨勢。其實(shí)就是用戶與信息之間的關(guān)系，他無非是做這件事。這就是用戶與用戶之間的關(guān)系理解。然后就是用戶與用戶之間的關(guān)系。人眼一眼就能看出來。一條微博和一個(gè)視頻之間的關(guān)系，這些在我們?nèi)庋廴タ吹臅r(shí)候是相對簡單的。第三，關(guān)系。你發(fā)的每一張圖片、每一個(gè)新聞、每一個(gè)廣告，這些都是信息，