【正文】 loudera Manager對(duì)于每個(gè)組件，都提供了監(jiān)控的參數(shù)配置，例如可以設(shè)置達(dá)到多少閾值的時(shí)候，產(chǎn)生warning告警，達(dá)到多少閾值的時(shí)候產(chǎn)生Critical告警。周期性的服務(wù)診斷CM會(huì)對(duì)集群中運(yùn)行的服務(wù)進(jìn)行周期性的運(yùn)行狀況測(cè)試。以檢測(cè)這些服務(wù)的狀態(tài)是否正常。如果有異常情況會(huì)進(jìn)行告警，有利于更早的讓客戶感知集群服務(wù)存在的問(wèn)題。集群診斷CM在Hadoop集群運(yùn)行期間，會(huì)記錄集群中發(fā)生的事件，例如集群服務(wù)的啟停，用戶的操作，性能數(shù)據(jù)等等。CM會(huì)將這些數(shù)據(jù)都記錄到一個(gè)文件中。Cloudera專門提供了一個(gè)集群，能夠?qū)@些數(shù)據(jù)進(jìn)行分析，查找集群中的潛在風(fēng)險(xiǎn)，以及問(wèn)題。用戶可以選擇定期的發(fā)送診斷數(shù)據(jù)給Cloudera，Cloudera會(huì)對(duì)這些數(shù)據(jù)進(jìn)行分析并及時(shí)反饋集群中存在的問(wèn)題。日志的收集及檢索 Hadoop集群的每個(gè)組件在運(yùn)行過(guò)程中都會(huì)存儲(chǔ)日志，并且散落在每個(gè)節(jié)點(diǎn)的不同目錄，對(duì)于一個(gè)大規(guī)模的集群，日志的查看是非常麻煩的，需要一個(gè)個(gè)節(jié)點(diǎn)去進(jìn)行查看。CM針對(duì)這種情況，提供了日志的收集功能，能夠通過(guò)統(tǒng)一的界面，查看集群中每臺(tái)機(jī)器，各項(xiàng)服務(wù)的日志，并且能夠根據(jù)日志級(jí)別等不同的條件進(jìn)行檢索。Cloudera Manager提供多達(dá)102類監(jiān)控指標(biāo)（部分指標(biāo)見(jiàn)下表），覆蓋所有的服務(wù)及功能，包括集群硬件使用情況（網(wǎng)絡(luò)、CPU、內(nèi)存以及硬盤等）、服務(wù)狀態(tài)等，同時(shí)指標(biāo)按集群級(jí)別、主機(jī)級(jí)別、用戶級(jí)別以及表/目錄級(jí)別等等分級(jí)統(tǒng)計(jì)，總指標(biāo)項(xiàng)上萬(wàn)，比如：集群指標(biāo)超過(guò)3000個(gè)、HBase系統(tǒng)級(jí)指標(biāo)就超過(guò)1000個(gè)、HDFS系統(tǒng)級(jí)指標(biāo)超過(guò)300個(gè)等等。HDFS指標(biāo)KPI名稱 KPI描述 單位 級(jí)別 CPU占用率 CPU平均占用率 % 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 內(nèi)存占用率 內(nèi)存平均占用率 % 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 系統(tǒng)空間 總空間 MB 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 已用空間 已用空間 MB 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 可用空間 剩余空間 MB 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 空間使用率 已用空間與系統(tǒng)空間的比值 % 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 讀流量 統(tǒng)計(jì)周期內(nèi)讀流量統(tǒng)計(jì) MB 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 寫流量 統(tǒng)計(jì)周期內(nèi)寫流量統(tǒng)計(jì) MB 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 讀IOPS 每秒進(jìn)行讀（I/O）操作的次數(shù) 個(gè)/s 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 寫IOPS 每秒進(jìn)行寫（I/O）操作的次數(shù) 個(gè)/s 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 5. MapReduce指標(biāo)KPI名稱 KPI描述 單位 級(jí)別 提交作業(yè)數(shù) 提交作業(yè)數(shù) 個(gè) 系統(tǒng)級(jí) 完成作業(yè)數(shù) 完成作業(yè)數(shù) 個(gè) 系統(tǒng)級(jí) 失敗作業(yè)數(shù) 失敗作業(yè)數(shù) 個(gè) 系統(tǒng)級(jí) 正在運(yùn)行的作業(yè)數(shù) 正在運(yùn)行的作業(yè)數(shù) 個(gè) 系統(tǒng)級(jí) Map總?cè)蝿?wù)數(shù) Map總?cè)蝿?wù)數(shù) 個(gè) 系統(tǒng)級(jí)Reduce總?cè)蝿?wù)數(shù) Reduce總?cè)蝿?wù)數(shù) 個(gè) 系統(tǒng)級(jí)Map任務(wù)完成數(shù) Map任務(wù)完成數(shù) 個(gè) 系統(tǒng)級(jí)Reduce任務(wù)完成數(shù) Reduce任務(wù)完成數(shù) 個(gè) 系統(tǒng)級(jí)正在執(zhí)行的Map任務(wù)數(shù) 正在執(zhí)行的Map任務(wù)數(shù) 個(gè) 系統(tǒng)級(jí)正在執(zhí)行的Reduce任務(wù)數(shù) 正在執(zhí)行的Reduce任務(wù)數(shù) 個(gè) 系統(tǒng)級(jí)平均Map任務(wù)執(zhí)行時(shí)間 平均Map任務(wù)執(zhí)行時(shí)間 秒 系統(tǒng)級(jí)平均Reduce任務(wù)執(zhí)行時(shí)間 平均Reduce任務(wù)執(zhí)行時(shí)間 秒 系統(tǒng)級(jí)最小Map任務(wù)執(zhí)行時(shí)間 最小Map任務(wù)執(zhí)行時(shí)間 秒 系統(tǒng)級(jí)最小Reduce任務(wù)執(zhí)行時(shí)間 最小Reduce任務(wù)執(zhí)行時(shí)間 秒 系統(tǒng)級(jí)最大Map任務(wù)執(zhí)行時(shí)間 最大Map任務(wù)執(zhí)行時(shí)間 秒 系統(tǒng)級(jí)最大Reduce任務(wù)執(zhí)行時(shí)間 最大Reduce任務(wù)執(zhí)行時(shí)間 秒 系統(tǒng)級(jí)Map任務(wù)執(zhí)行失敗數(shù) Map任務(wù)執(zhí)行失敗數(shù) 個(gè) 系統(tǒng)級(jí)Reduce任務(wù)執(zhí)行失敗數(shù) Reduce任務(wù)執(zhí)行失敗數(shù) 個(gè) 系統(tǒng)級(jí)Map任務(wù)執(zhí)行成功數(shù) Map任務(wù)執(zhí)行成功數(shù) 個(gè) 系統(tǒng)級(jí)Reduce任務(wù)執(zhí)行成功數(shù) Reduce任務(wù)執(zhí)行成功數(shù) 個(gè) 系統(tǒng)級(jí)6.6. HBase指標(biāo)KPI名稱 KPI描述 單位 級(jí)別 系統(tǒng)空間 系統(tǒng)總空間 MB 系統(tǒng)級(jí)/ 已用空間 NoSQL系統(tǒng)已用數(shù)據(jù)量 （系統(tǒng)級(jí)）；RegionServer的Region個(gè)數(shù)（節(jié)點(diǎn)級(jí)）MB 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 可用空間 NoSQL系統(tǒng)可用數(shù)據(jù)量 MB 系統(tǒng)級(jí)/空間使用比率 已使用的空間與總空間的比值 % 系統(tǒng)級(jí)/ CPU平均使用率 NoSQL系統(tǒng)平均CPU使用率 % 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) CPU IOwait使用率 NoSQL系統(tǒng)平均CPU IOwait使用率 % 系統(tǒng)級(jí)/節(jié)點(diǎn)級(jí) 壓縮合并隊(duì)列長(zhǎng)度 數(shù)據(jù)分區(qū)服務(wù)器中的壓縮合并（Compaction）隊(duì)列大小，當(dāng)存儲(chǔ)文件數(shù)量達(dá)到該數(shù)值時(shí)將啟動(dòng)壓縮合并。 個(gè) 系統(tǒng)級(jí) 請(qǐng)求時(shí)延10毫秒次數(shù) 請(qǐng)求響應(yīng)時(shí)間小于或等于10毫秒的請(qǐng)求次數(shù) 次 系統(tǒng)級(jí)/ 請(qǐng)求時(shí)延2000毫秒次數(shù) 請(qǐng)求響應(yīng)時(shí)間小于或等于2000毫秒的請(qǐng)求次數(shù) 次 系統(tǒng)級(jí)/ 請(qǐng)求時(shí)延2000毫秒以上次數(shù) 請(qǐng)求響應(yīng)時(shí)間大于2000毫秒的請(qǐng)求次數(shù) 次 系統(tǒng)級(jí)/ 讀IO次數(shù) 讀IO次數(shù) 次 節(jié)點(diǎn)級(jí) 寫IO次數(shù) 寫IO次數(shù) 次 節(jié)點(diǎn)級(jí) IO次數(shù) 節(jié)點(diǎn)IO次數(shù)（讀寫IO次數(shù)總和） 次 節(jié)點(diǎn)級(jí) 性能要求支持高性能計(jì)算處理，且性能應(yīng)能隨節(jié)點(diǎn)數(shù)呈線性增長(zhǎng)。說(shuō)明具體實(shí)現(xiàn)方式、適用場(chǎng)景和使用工具技術(shù)等，并說(shuō)明節(jié)點(diǎn)數(shù)和性能的關(guān)系。答：滿足；hadoop平臺(tái)的特點(diǎn)就是隨著節(jié)點(diǎn)數(shù)的增長(zhǎng)，性能隨之線性增長(zhǎng)。提供平臺(tái)并行及并發(fā)處理能力的實(shí)施方案。詳細(xì)描述支持多服務(wù)器、多CPU、多進(jìn)程并行、并發(fā)處理數(shù)據(jù)的機(jī)制，以及系統(tǒng)解決并行處理方面主要瓶頸和限制因素的措施。答：MapReduce是Hadoop的核心，是Google提出的一個(gè)軟件架構(gòu)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念“Map（映射）”和“Reduce（化簡(jiǎn)）”，及他們的主要思想，都是從函數(shù)式編程語(yǔ)言借來(lái)的，還有從矢量編程語(yǔ)言借來(lái)的特性。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（化簡(jiǎn)）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。MapReduce 是用于并行處理大數(shù)據(jù)集的軟件框架。 MapReduce 的根源是函數(shù)性編程中的 map 和 reduce 函數(shù)。Map 函數(shù)接受一組數(shù)據(jù)并將其轉(zhuǎn)換為一個(gè)鍵/值對(duì)列表，輸入域中的每個(gè)元素對(duì)應(yīng)一個(gè)鍵/值對(duì)。Reduce 函數(shù)接受 Map 函數(shù)生成的列表，然后根據(jù)它們的鍵縮小鍵/值對(duì)列表。MapReduce起到了將大事務(wù)分散到不同設(shè)備處理的能力，這樣原本必須用單臺(tái)較強(qiáng)服務(wù)器才能運(yùn)行的任務(wù)，在分布式環(huán)境下也能完成了說(shuō)明節(jié)點(diǎn)間高性能切換的實(shí)施方案，說(shuō)明節(jié)點(diǎn)間切換的極限時(shí)間。答：通過(guò)QJM日志系統(tǒng)來(lái)實(shí)現(xiàn)name node節(jié)點(diǎn)之間的高性能切換，節(jié)點(diǎn)之間的切換時(shí)間在秒級(jí)之內(nèi)。提供具有圖形化的性能調(diào)優(yōu)工具，并提供持續(xù)調(diào)優(yōu)的策略、方法。答：滿足；通過(guò)CM可以進(jìn)行圖形化的性能調(diào)優(yōu)，并能進(jìn)行回滾和進(jìn)一步調(diào)優(yōu)，滿足供持續(xù)調(diào)優(yōu)的策略、方法。 擴(kuò)展性要求支持?jǐn)?shù)據(jù)量彈性伸縮，考慮數(shù)據(jù)量增大或者減小情況，存儲(chǔ)容量能夠動(dòng)態(tài)不停機(jī)擴(kuò)容，擴(kuò)容時(shí)現(xiàn)有系統(tǒng)可以不間斷正常運(yùn)行，不受擴(kuò)容影響。擴(kuò)容時(shí)無(wú)需遷移數(shù)據(jù)，避免硬盤和數(shù)據(jù)損壞。詳細(xì)說(shuō)明實(shí)現(xiàn)方式。答：滿足；hadoop系統(tǒng)本身可以支持動(dòng)態(tài)增加節(jié)點(diǎn)，不影響現(xiàn)有系統(tǒng)的正常運(yùn)行。HDFS（ Hadoop Distributed File System），是一個(gè)分布式文件系統(tǒng)。它具有高容錯(cuò)性的特點(diǎn)，可以被廣泛的部署于廉價(jià)的PC之上。它以流式訪問(wèn)模式訪問(wèn)應(yīng)用程序的數(shù)據(jù)，這大大提高了整個(gè)系統(tǒng)的數(shù)據(jù)吞吐量，能夠滿足多來(lái)源、多類型、海量的數(shù)據(jù)存儲(chǔ)要求，因而非常適用于日志詳單類非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。HDFS架構(gòu)采用主從架構(gòu)（master/slave）。一個(gè)典型的HDFS集群包含一個(gè)NameNode節(jié)點(diǎn)和多個(gè)DataNode節(jié)點(diǎn)。NameNode節(jié)點(diǎn)負(fù)責(zé)整個(gè)HDFS文件系統(tǒng)中的文件的元數(shù)據(jù)保管和管理，集群中通常只有一臺(tái)機(jī)器上運(yùn)行NameNode實(shí)例，DataNode節(jié)點(diǎn)保存文件中的數(shù)據(jù)，集群中的機(jī)器分別運(yùn)行一個(gè)DataNode實(shí)例。在HDFS中，NameNode節(jié)點(diǎn)被稱為名字節(jié)點(diǎn)，DataNode節(jié)點(diǎn)被稱為數(shù)據(jù)節(jié)點(diǎn)，DataNode節(jié)點(diǎn)通過(guò)心跳機(jī)制與NameNode節(jié)點(diǎn)進(jìn)行定時(shí)的通信。HDFS可以實(shí)現(xiàn)大規(guī)模數(shù)據(jù)可靠的分布式讀寫。HDFS針對(duì)的使用場(chǎng)景是數(shù)據(jù)讀寫具有“一次寫，多次讀”的特征，而數(shù)據(jù)“寫”操作是順序?qū)懀簿褪窃谖募?chuàng)建時(shí)的寫入或者在現(xiàn)有文件之后的添加操作。HDFS保證一個(gè)文件在一個(gè)時(shí)刻只被一個(gè)調(diào)用者執(zhí)行寫操作，而可以被多個(gè)調(diào)用者執(zhí)行讀操作。其主要特性如下：? 靈活：統(tǒng)一的存儲(chǔ)可以存放結(jié)構(gòu)化，半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)? 可擴(kuò)展：根據(jù)業(yè)務(wù)需要增加PC服務(wù)器實(shí)現(xiàn)存儲(chǔ)擴(kuò)容? 容錯(cuò)：數(shù)據(jù)有多個(gè)副本以保障數(shù)據(jù)的可靠性? 開放：基于開源的存儲(chǔ)格式，避免廠商鎖定提供靈活的擴(kuò)展，如復(fù)雜數(shù)據(jù)類型，擴(kuò)展函數(shù)和腳本等。答：滿足；需二次開發(fā)。工作量預(yù)估為5人天提供對(duì)數(shù)據(jù)并行計(jì)算的擴(kuò)展，數(shù)據(jù)自動(dòng)在集群中進(jìn)行數(shù)據(jù)并行計(jì)算。答：滿足；hadoop的基本原理就是數(shù)據(jù)自動(dòng)在集群中進(jìn)行數(shù)據(jù)并行計(jì)算。支持在線的節(jié)點(diǎn)變動(dòng)，單個(gè)集群可線性擴(kuò)展不少于500個(gè)計(jì)算節(jié)點(diǎn)、至少能處理3PB數(shù)據(jù)量，在線增加、刪除節(jié)點(diǎn)時(shí)，能支持?jǐn)?shù)據(jù)和索引的傾斜探測(cè)和自動(dòng)平衡功能，保證平滑擴(kuò)展和性能的線性增長(zhǎng)，詳細(xì)說(shuō)明實(shí)施方案。答：滿足；通過(guò)CM工具，可以很容易的在線增加和刪除節(jié)點(diǎn)，可以滿足單個(gè)集群可線性擴(kuò)展不少于500個(gè)計(jì)算節(jié)點(diǎn)、至少能處理3PB數(shù)據(jù)量。通過(guò)hadoop自身的balancer命令行工具，可以完成傾斜探測(cè)和自動(dòng)平衡功能，保證平滑擴(kuò)展和性能的線性增長(zhǎng)。支持以Web圖形界面實(shí)現(xiàn)分布式平臺(tái)的節(jié)點(diǎn)批量自動(dòng)集群部署、監(jiān)控和管理功能。提供節(jié)點(diǎn)的動(dòng)態(tài)添加、刪除接口，當(dāng)數(shù)據(jù)容量或者計(jì)算資源不足時(shí)，支持通過(guò)橫向添加同等配置的服務(wù)器的方式，為系統(tǒng)進(jìn)行在線擴(kuò)容。答：滿足；可以通過(guò)Cloudera Manager 來(lái)實(shí)現(xiàn)需要的功能。 可靠性和可用性要求不允許存在單點(diǎn)故障，應(yīng)采用高可靠設(shè)計(jì)架構(gòu)，任一節(jié)點(diǎn)出現(xiàn)故障時(shí)，不影響應(yīng)用的正常運(yùn)行，并在監(jiān)控頁(yè)面上對(duì)錯(cuò)誤狀態(tài)進(jìn)行顯示標(biāo)識(shí)。說(shuō)明任一節(jié)點(diǎn)故障后的處理機(jī)制，以及各環(huán)節(jié)處理的延時(shí)，同時(shí)說(shuō)明集群允許多少個(gè)節(jié)點(diǎn)同時(shí)發(fā)生問(wèn)題。答：滿足；hadoop 平臺(tái)本身的處理方式?jīng)Q定了不會(huì)存在單點(diǎn)故障，出現(xiàn)故障的處理時(shí)延在秒級(jí)，默認(rèn)有3個(gè)備份，因此允許兩個(gè)節(jié)點(diǎn)同時(shí)發(fā)生問(wèn)題。HDFS的高可用性可以通過(guò)兩種方式實(shí)現(xiàn)，一種是NFS方案；還有一種是QJM的方案。Cloudera企業(yè)版推薦客戶使用QJM的方案。在通過(guò)QJM方式配置HDFS高可用性前，你需要了解或準(zhǔn)備以下事項(xiàng)： Standby NameNode和Primary NameNode必須具有相同的硬件配置，包括CPU、內(nèi)存和磁盤大小。 Cloudera推薦你把JournalNode部署在元數(shù)據(jù)節(jié)點(diǎn)上（Primary NameNode、Standby NameNode、JobTracker等） 為避免某個(gè)機(jī)架成為單點(diǎn)故障，高可用性配置中的任一節(jié)點(diǎn)（Primary NameNode、Standby NameNode、JobTracker和Backup JobTracker）不能和高可用性配置中的其他節(jié)點(diǎn)位于同一機(jī)架上。 你需要決定是否啟用自動(dòng)故障恢復(fù)。如果自動(dòng)故障恢復(fù)被啟用，你必須已在集群中安裝了ZooKeeper組件，并指定一個(gè)ZooKeeper quorum來(lái)處理自動(dòng)故障恢復(fù)。ZooKeeper組必須包含奇數(shù)個(gè)節(jié)點(diǎn)，且必須包含至少三個(gè)節(jié)點(diǎn)。 如果高可用性被啟用，則集群內(nèi)不必有secondary namenode或其他檢查點(diǎn)的服務(wù)。原因在于Standby NameNode可提供此類檢查點(diǎn)的服務(wù)。 如果你有非高可用性集群且在HDFS中存有數(shù)據(jù)，則你需要決定在啟用高可用性時(shí)是否保留這些HDFS數(shù)據(jù)。如果你需要進(jìn)行這一操作，你需要知道如下限制：167。 來(lái)自非高可用性集群的DataNode和NameNode不可從集群中刪除。167。 來(lái)自非高可用性集群的DataNode和NameNode在啟用高可用性后，不可從之前所在機(jī)架中刪除。167。 來(lái)自非高可用性集群的DataNode的之前所在目錄不可被刪除。 如果你選擇使用Quorum Journal Manager（QJM），則你必須決定QJM集群中有多少節(jié)點(diǎn)。節(jié)點(diǎn)數(shù)量決定了集群是如何容錯(cuò)的。QJM集群中允許失敗且失敗后可繼續(xù)提供服務(wù)的節(jié)點(diǎn)數(shù)量根據(jù)以下算法計(jì)算：(N 1) / 2例如，如果集群中有5個(gè)JournalNode，則允許失敗的節(jié)點(diǎn)數(shù)量是 2，且失敗后可繼續(xù)提供服務(wù)。例如，如果集群中有3個(gè)JournalNode，則允許失敗且的節(jié)點(diǎn)數(shù)量是1，且失敗后可繼續(xù)提供服務(wù)。SAP HANA搭建方式也采取集群架構(gòu)，每個(gè)集群中有一至多個(gè)備用節(jié)點(diǎn)，當(dāng)工作節(jié)點(diǎn)出現(xiàn)問(wèn)題是，備用節(jié)點(diǎn)會(huì)主動(dòng)接管其工作，保證前端業(yè)務(wù)的連續(xù)性。發(fā)生切換過(guò)程時(shí)，通過(guò)HANA Stuido可以監(jiān)控到各個(gè)節(jié)點(diǎn)的狀態(tài)，查看整個(gè)切換過(guò)程。平臺(tái)軟件中某一部分功能出錯(cuò)不應(yīng)導(dǎo)致其他功能出錯(cuò)。實(shí)現(xiàn)容錯(cuò)處理，能夠?qū)Σ僮魅藛T的誤操作進(jìn)行提示。并可以監(jiān)控系統(tǒng)的運(yùn)行情況，提高平臺(tái)的可靠性，從而提高業(yè)務(wù)運(yùn)營(yíng)的水平，保證服務(wù)質(zhì)量。答：滿足；智能化參數(shù)驗(yàn)證當(dāng)用戶在配置過(guò)程中，部分參數(shù)配置值有問(wèn)題時(shí)，Cloudera Manager會(huì)產(chǎn)生錯(cuò)誤提示，以幫助用戶更合理的修改參數(shù)。實(shí)現(xiàn)數(shù)據(jù)的