【正文】 。 數(shù)據(jù)質(zhì)量檢測(cè)根據(jù)數(shù)據(jù)質(zhì)量監(jiān)測(cè)規(guī)則，通過(guò)數(shù)據(jù)質(zhì)量檢測(cè)引擎，對(duì)數(shù)據(jù)表中的增量數(shù)據(jù)進(jìn)行掃描，調(diào)用規(guī)則算法或擴(kuò)展程序進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)，并提供問(wèn)題數(shù)據(jù)庫(kù)的建立、數(shù)據(jù)質(zhì)量報(bào)告的生成、問(wèn)題數(shù)據(jù)的處理、以及對(duì)問(wèn)題數(shù)據(jù)的通報(bào)和反饋來(lái)保證數(shù)據(jù)的質(zhì)量和實(shí)效性等功能。 數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化包括數(shù)據(jù)標(biāo)準(zhǔn)制定及數(shù)據(jù)標(biāo)準(zhǔn)化處理兩個(gè)部分，數(shù)據(jù)標(biāo)準(zhǔn)制定是在專(zhuān)家系統(tǒng)業(yè)務(wù)統(tǒng)一規(guī)范前提下，指導(dǎo)專(zhuān)家系統(tǒng)大數(shù)據(jù)標(biāo)準(zhǔn)，包括數(shù)據(jù)格式標(biāo)準(zhǔn)、數(shù)據(jù)交換標(biāo)準(zhǔn)、數(shù)據(jù)共享標(biāo)準(zhǔn)等；數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化是指按照統(tǒng)一專(zhuān)家系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)格式。集群運(yùn)行時(shí)，集群內(nèi)的節(jié)點(diǎn)使用密鑰得到認(rèn)證。例如，我們想要查看HBase服務(wù)組件中Mater角色的日志信息，如下圖所示： 平臺(tái)安全管理在Hadoop 。待故障節(jié)點(diǎn)恢復(fù)正常后，再將該節(jié)點(diǎn)納入平臺(tái)的資源中，將作業(yè)任務(wù)分配到恢復(fù)后的節(jié)點(diǎn)上運(yùn)行。提供預(yù)制的恢復(fù)規(guī)則和安全規(guī)則，對(duì)集群異常進(jìn)行自動(dòng)修復(fù)、自動(dòng)限制非安全行為的操作。能夠?qū)⒂?jì)算框架的每個(gè)作業(yè)進(jìn)度、狀態(tài)、資源利用情況進(jìn)行監(jiān)控，并通過(guò)可視化圖形界面進(jìn)行展示。 操作系統(tǒng)管理 磁盤(pán)性能監(jiān)控對(duì)集群機(jī)器的硬盤(pán)進(jìn)行監(jiān)控，如下圖所示，詳細(xì)的展示出磁盤(pán)IO的利用率，讀寫(xiě)速度，磁盤(pán)的等待時(shí)間。（2）、可以實(shí)現(xiàn)對(duì)各任務(wù)隊(duì)列獲取的集群資源大小實(shí)時(shí)動(dòng)態(tài)調(diào)整，及時(shí)保證高優(yōu)先級(jí)任務(wù)所在隊(duì)列獲得更多的集群資源。圖：存儲(chǔ)和內(nèi)存資源監(jiān)控 系統(tǒng)負(fù)載管理I通過(guò)管理平臺(tái)可以實(shí)時(shí)看到整個(gè)平臺(tái)的資源負(fù)載情況，包括集群的CPU、集群磁盤(pán)IO、集群網(wǎng)絡(luò)IO、HDFS IO，如下圖所示：通過(guò)對(duì)集群運(yùn)行任務(wù)的實(shí)時(shí)監(jiān)測(cè)，并根據(jù)任務(wù)優(yōu)先級(jí)和耗時(shí)不同對(duì)任務(wù)進(jìn)行動(dòng)態(tài)調(diào)度，減少出現(xiàn)大量任務(wù)等待和重要任務(wù)無(wú)法及時(shí)完成的可能，可以使Hadoop集群的運(yùn)行變得更加高效合理。圖：服務(wù)組件運(yùn)行狀況 存儲(chǔ)與內(nèi)存資源監(jiān)控包括獲取存儲(chǔ)量、剩余存儲(chǔ)量以及存儲(chǔ)系統(tǒng)整體情況信息。第7章 平臺(tái)運(yùn)維管理 Hadoop集群監(jiān)控大數(shù)據(jù)平臺(tái)以Web圖形界面實(shí)現(xiàn)Hadoop集群監(jiān)控，包括大數(shù)據(jù)平臺(tái)的硬件資源、軟件資源、數(shù)據(jù)資源的監(jiān)控，以及整個(gè)Hadoop集群的工作負(fù)載。展示層是用戶(hù)同系統(tǒng)交互的窗口，是應(yīng)用層對(duì)外提供服務(wù)的主要手段。應(yīng)用支撐層包括基礎(chǔ)平臺(tái)和常規(guī)算法兩個(gè)部分，基礎(chǔ)平臺(tái)負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)與并行計(jì)算，數(shù)據(jù)存儲(chǔ)支持分布式存儲(chǔ)、RDBMS存儲(chǔ)等存儲(chǔ)方式，常規(guī)算法負(fù)責(zé)數(shù)據(jù)分析與業(yè)務(wù)建模。2. 基礎(chǔ)平臺(tái)層：基礎(chǔ)平臺(tái)層為專(zhuān)家數(shù)據(jù)倉(cāng)庫(kù)提供大數(shù)據(jù)基礎(chǔ)平臺(tái)支撐，包括分布式存儲(chǔ)系統(tǒng)、Hbase數(shù)據(jù)庫(kù)系統(tǒng)、Yarn并行計(jì)算資源管理與監(jiān)控等，同時(shí)支持Spark 機(jī)器學(xué)習(xí)算法庫(kù)，支持R等行業(yè)分析庫(kù)。第5章 個(gè)人介紹吳宏勛：“烽火集成”高級(jí)大數(shù)據(jù)架構(gòu)師，曾擔(dān)任醫(yī)療大數(shù)據(jù)、公安大數(shù)據(jù)、財(cái)稅大數(shù)據(jù)項(xiàng)目大數(shù)據(jù)架構(gòu)師，具有豐富的大數(shù)據(jù)項(xiàng)目實(shí)施經(jīng)驗(yàn)，對(duì)高吞吐、高并發(fā)、海量數(shù)據(jù)實(shí)時(shí)匯集，TB、PB級(jí)海量數(shù)據(jù)即席查詢(xún)與實(shí)時(shí)處理具有針對(duì)性方案和經(jīng)驗(yàn)，研讀過(guò)部分Hadoop、HBase、Spark源碼，對(duì)Hadoop、HBase、Spark的原理有很深的理解，曾從事多個(gè)項(xiàng)目大數(shù)據(jù)平臺(tái)的調(diào)優(yōu)工作！第6章 專(zhuān)家系統(tǒng)架構(gòu)設(shè)計(jì)本系統(tǒng)總共分為四個(gè)層次，從下到上依次為數(shù)據(jù)采集層、基礎(chǔ)平臺(tái)層、應(yīng)用支撐層、應(yīng)用及展示層，各層在專(zhuān)家系統(tǒng)統(tǒng)一業(yè)務(wù)規(guī)范、技術(shù)規(guī)范、安全規(guī)范下進(jìn)行數(shù)據(jù)通信及集成。硬盤(pán)：配置6 塊600GB 15K SAS 硬盤(pán)2應(yīng)用服務(wù)器7交換機(jī)48 10/100/1000BaseTX，4 100/1000BaseX SFP2網(wǎng)絡(luò)設(shè)備8防火墻多功能防火墻，4口以上2安防設(shè)備9工作站Intel(R)Xeon CPU E5，配置1T SATA 硬盤(pán)。支持SAS、SSD 和PCIe SSD 硬盤(pán)， 寸硬盤(pán)混插。1監(jiān)控節(jié)點(diǎn)6應(yīng)用服務(wù)器CPU：2 顆E52630 v3 ≥24 個(gè)內(nèi)存插槽， 內(nèi)存，支持2133 MHz 內(nèi)存。1Standby4大數(shù)據(jù)平臺(tái)數(shù)據(jù)節(jié)點(diǎn)2*Intel Xeon E74800/8800 v3最大可擴(kuò)展至4 CPU，72 核支持8GB/16GB/32GB/64GB DDR4 高速內(nèi)存配置128GB DDR4 內(nèi)存配置6 塊600GB 15K SAS，12*4T NL SAS 硬盤(pán)。2雙機(jī)備份2大數(shù)據(jù)平臺(tái)管理節(jié)點(diǎn)2*Intel Xeon E74800/8800 v3最大可擴(kuò)展至4 CPU，72 核支持8GB/16GB/32GB/64GB DDR4 高速內(nèi)存配置128GB DDR4 內(nèi)存配置6 塊600GB 15K SAS，3*4T NL SAS 硬盤(pán)。它集成業(yè)界流行和成熟的技術(shù)框架，通過(guò)應(yīng)用系統(tǒng)使用，反饋的情況不斷完善應(yīng)用框架的通用功能，滿(mǎn)足業(yè)務(wù)系統(tǒng)快熟構(gòu)建的目標(biāo)，具備良好用戶(hù)體驗(yàn)第3章 硬件部署按照專(zhuān)家系統(tǒng)安裝接口規(guī)范要求，結(jié)合專(zhuān)家管理系統(tǒng)數(shù)據(jù)量估算值和數(shù)據(jù)存儲(chǔ)特點(diǎn)，本著數(shù)據(jù)安全、系統(tǒng)穩(wěn)定可靠的核心設(shè)計(jì)思路，設(shè)計(jì)專(zhuān)家系統(tǒng)大數(shù)據(jù)平臺(tái)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器22臺(tái)，其中管理節(jié)點(diǎn)服務(wù)器2臺(tái)，數(shù)據(jù)節(jié)點(diǎn)服務(wù)器19臺(tái)，監(jiān)控節(jié)點(diǎn)一臺(tái)，系統(tǒng)RDBMS數(shù)據(jù)庫(kù)服務(wù)器臺(tái)，應(yīng)用服務(wù)器6臺(tái)，繪制專(zhuān)家系統(tǒng)部署邏輯結(jié)構(gòu)圖如下:第4章 硬件清單根據(jù)系統(tǒng)規(guī)劃及安裝接口規(guī)范要求，初步規(guī)劃服務(wù)器如下：系統(tǒng)應(yīng)用服務(wù)器需求6臺(tái)；大數(shù)據(jù)平臺(tái)設(shè)計(jì)節(jié)點(diǎn)22個(gè)，其中管理節(jié)點(diǎn)2個(gè)，數(shù)據(jù)節(jié)點(diǎn)19個(gè)，監(jiān)控節(jié)點(diǎn)服務(wù)器1臺(tái)，RDBMS數(shù)據(jù)庫(kù)服務(wù)器兩臺(tái)雙機(jī)熱備。在數(shù)據(jù)處理上支持PB及超大量數(shù)據(jù)的秒級(jí)查詢(xún)及匯集。o 系統(tǒng)告警：對(duì)系統(tǒng)中存在的服務(wù)節(jié)點(diǎn)宕機(jī)，系統(tǒng)接口異常，數(shù)據(jù)存儲(chǔ)報(bào)錯(cuò)，系統(tǒng)資源緊張等系統(tǒng)運(yùn)行異常情況進(jìn)行告警觸發(fā)，并提醒用戶(hù)進(jìn)行操作處理。其中集群的監(jiān)控如下圖所示：針對(duì)服務(wù)器的監(jiān)控如下圖所示：o 服務(wù)視圖：提供系統(tǒng)中各服務(wù)資源使用情況的實(shí)時(shí)查看，包括連接數(shù)、當(dāng)前作業(yè)數(shù)，I/O情況，運(yùn)行狀態(tài)等。平臺(tái)的監(jiān)控范圍涵蓋有：l 平臺(tái)管理資源的使用與分配o 服務(wù)器視圖：提供針對(duì)各服務(wù)器和存儲(chǔ)等設(shè)備的資源使用情況的實(shí)時(shí)查看，包括當(dāng)前設(shè)備的CPU負(fù)荷，內(nèi)存占用情況，存儲(chǔ)空間使用情況，網(wǎng)絡(luò)帶寬占用情況、設(shè)備運(yùn)行狀態(tài)等。 日常運(yùn)維監(jiān)控大數(shù)據(jù)綜合平臺(tái)提供完整的日常運(yùn)維監(jiān)控的服務(wù)能力，針對(duì)從上層應(yīng)用平臺(tái)到底層基礎(chǔ)平臺(tái)的各個(gè)功能模塊和組件均提供有監(jiān)控能力，能夠分析系統(tǒng)的運(yùn)行日志和用戶(hù)日志，并且能夠?qū)⒈O(jiān)控?cái)?shù)據(jù)通過(guò)文件接口或webservice接口的方式匯總到平臺(tái)管理運(yùn)維模塊的監(jiān)控管理界面中進(jìn)行統(tǒng)一呈現(xiàn)和管理使用。大數(shù)據(jù)平臺(tái)能夠通過(guò)對(duì)告警信息的分析，快速定位平臺(tái)內(nèi)部出現(xiàn)故障的節(jié)點(diǎn)，對(duì)于因故障無(wú)法繼續(xù)提供服務(wù)器的節(jié)點(diǎn)進(jìn)行標(biāo)記，將平臺(tái)的作業(yè)任務(wù)自動(dòng)分配到其他的節(jié)點(diǎn)上運(yùn)行，同時(shí)，大數(shù)據(jù)平臺(tái)采用分布式體系結(jié)構(gòu)及無(wú)單點(diǎn)故障設(shè)計(jì)，平臺(tái)內(nèi)任何節(jié)點(diǎn)的宕機(jī)都不會(huì)影響平臺(tái)的穩(wěn)定運(yùn)行和業(yè)務(wù)的正常使用。當(dāng)大數(shù)據(jù)平臺(tái)出現(xiàn)異常情況時(shí)，平臺(tái)能夠通過(guò)監(jiān)控系統(tǒng)，對(duì)服務(wù)器節(jié)點(diǎn)宕機(jī)、集群異常、安全異常等異常事件進(jìn)行預(yù)警、報(bào)警，并通過(guò)郵件、短信報(bào)警手段進(jìn)行告警通知。圖：磁