【文章內(nèi)容簡介】 216。 性能指標(biāo)監(jiān)控可以對服務(wù)器CPU負(fù)載、Oracle數(shù)據(jù)庫連接數(shù)、分布式存儲IO負(fù)載、Hadoop負(fù)載等各類性能相關(guān)指標(biāo)進(jìn)行監(jiān)控，以便掌握平臺負(fù)載情況，及時發(fā)現(xiàn)性能問題，輔助平臺優(yōu)化。216。 大數(shù)據(jù)庫日志監(jiān)控自動采集大數(shù)據(jù)相關(guān)組件運(yùn)行日志，并根據(jù)既定規(guī)則進(jìn)行分析，發(fā)現(xiàn)異常及時告警。提供日志查詢檢索功能，可以按組件類型、時間、關(guān)鍵字等進(jìn)行過濾。216。 數(shù)據(jù)量監(jiān)控數(shù)據(jù)量監(jiān)控通過對數(shù)據(jù)總量以及增量進(jìn)行定期監(jiān)控，可以掌握數(shù)據(jù)量變化情況，也可以從數(shù)據(jù)增量角度發(fā)現(xiàn)數(shù)據(jù)入庫異常。數(shù)據(jù)量監(jiān)測結(jié)果可同步到數(shù)據(jù)臺帳，以便數(shù)據(jù)臺帳統(tǒng)計數(shù)據(jù)總量情況。 元數(shù)據(jù)管理元數(shù)據(jù)是數(shù)據(jù)倉庫中存儲的基本單元，實(shí)現(xiàn)對元數(shù)據(jù)的管理，數(shù)據(jù)倉庫的最基本功能之一。元數(shù)據(jù)管理包括元數(shù)據(jù)注冊登記、元數(shù)據(jù)存儲、元數(shù)據(jù)建模等多方面功能。 數(shù)據(jù)服務(wù)大數(shù)據(jù)平臺開放存儲訪問接口，提供基于 Hadoop 技術(shù)體系的 HDFS、HBase訪問接口，以 OpenAPI 的方式，為應(yīng)用提供大數(shù)據(jù)存儲服務(wù)。數(shù)據(jù)服務(wù)層主要由數(shù)據(jù)服務(wù)總線來建設(shè)，主要負(fù)責(zé)將大數(shù)據(jù)平臺的能力接口注冊進(jìn)去，再以標(biāo)準(zhǔn)化接口開放給應(yīng)用系統(tǒng)使用，支持多種協(xié)議轉(zhuǎn)換、服務(wù)質(zhì)量 控制、訪問控制、規(guī)則引擎等。數(shù)據(jù)服務(wù)層將大數(shù)據(jù)平臺的數(shù)據(jù)服務(wù)能力開放出去，供第三方平臺使用。如上圖：應(yīng)用服務(wù)系統(tǒng)使用服務(wù)接口，來接入數(shù)據(jù)服務(wù)總線，經(jīng)過數(shù)據(jù)服務(wù) 總線的接入端點(diǎn)，進(jìn)行過濾。同時根據(jù)訪問控制、服務(wù)質(zhì)量、協(xié)議轉(zhuǎn)換、策略調(diào) 度、規(guī)則引擎的處理，接出到大數(shù)據(jù)平臺的能力接口。第2章 大數(shù)據(jù)平臺 大數(shù)據(jù)平臺基礎(chǔ)架構(gòu)大數(shù)據(jù)基礎(chǔ)平臺基于烽火自主知識產(chǎn)權(quán)FitData產(chǎn)品，F(xiàn)itData主要集成了基礎(chǔ)計算資源、網(wǎng)絡(luò)資源、存儲資源，在統(tǒng)一的安全體管理體系下，將這些資源再進(jìn)行深度加工、處理、關(guān)聯(lián)，形成多種類型的基礎(chǔ)服務(wù)能力，構(gòu)建基礎(chǔ)資源層，向應(yīng)用提供基礎(chǔ)資源的服務(wù)能力。數(shù)據(jù)服務(wù)總線通過服務(wù)治理來維護(hù)基礎(chǔ)資源服務(wù)能力，并通過訪 問控制、服務(wù)質(zhì)量、協(xié)議轉(zhuǎn)換等，對應(yīng)用提供多協(xié)議支持。平臺支撐體系的運(yùn)維體系提供整體運(yùn)維能力，保障平臺的正常運(yùn)行；安全體系提供整體安全能力，保障平臺的數(shù)據(jù)安全和使用安全；平臺采用分布式架構(gòu)，支持巨量數(shù)據(jù)存儲與分析， 保障專家管理系統(tǒng)的高性能、高可用性和易擴(kuò)展性。FitData大數(shù)據(jù)基礎(chǔ)平臺結(jié)構(gòu)如下圖紅線標(biāo)出部分。n 數(shù)據(jù)計算與存儲：是FitData 大數(shù)據(jù)平臺的核心內(nèi)容，提供分布式存儲能力和分布式計算能力。提供的存儲框架能力，包括基于結(jié)構(gòu)化數(shù)據(jù)存儲、非結(jié)構(gòu)化數(shù)據(jù)存儲和半結(jié)構(gòu)化數(shù)據(jù)存儲，其計算框架與存儲框架均是分布式集群方式部署，可以平滑的進(jìn)行彈性擴(kuò)容。n 數(shù)據(jù)服務(wù)層：數(shù)據(jù)服務(wù)層主要由數(shù)據(jù)服務(wù)接口來實(shí)現(xiàn)，對應(yīng)用提供數(shù)據(jù)支撐。通過數(shù)據(jù)服務(wù)接口將平臺的數(shù)據(jù)資源以標(biāo)準(zhǔn) API 接口的方式開放出來，供不同的應(yīng)用系統(tǒng)使用。數(shù)據(jù)應(yīng)用層主要提供基于該平臺來構(gòu)建的專家系統(tǒng)應(yīng)用。采用平臺的標(biāo)準(zhǔn)API，數(shù)據(jù)資源層獲取數(shù)據(jù)服務(wù)，目前API 接口包括資源目錄瀏覽、數(shù)據(jù)查詢搜索等。n 數(shù)據(jù)匯聚層：提供各層之間數(shù)據(jù)交換能力，由ETL數(shù)據(jù)集成工具來實(shí)現(xiàn)。平臺支持多中異構(gòu)數(shù)據(jù)源，針對不同數(shù)據(jù)源的不同數(shù)據(jù)，也提供多種數(shù)據(jù)抽取方式，例如數(shù)據(jù)庫直 連抽取、Sqoop 抽取等。提供計算框架能力，主要集成了批處理計算框 架、流式計算框架、內(nèi)存計算框架等能力，還提供了像 Hive、Mahout、 Spark 等二次計算能力框架。平臺可將這些計算能力開放，供數(shù)據(jù)模型、數(shù)據(jù)挖掘、應(yīng)用系統(tǒng)來使用。n 運(yùn)維體系：運(yùn)維體系提供面向?qū)＜蚁到y(tǒng)完整運(yùn)維方案， 涵蓋了運(yùn)行監(jiān)控到使用操作。安全體系提供面向?qū)＜蚁到y(tǒng)大數(shù)據(jù)平臺的用戶權(quán)限管理、終 端訪問控制、日志安全審計等能力。數(shù)據(jù)存與計算是 FitData 大數(shù)據(jù)平臺核心能力，將目前專家系統(tǒng)內(nèi)部業(yè)務(wù)數(shù)據(jù)源進(jìn)行有效整合，集成以數(shù)據(jù)為核心的查詢、 分析和管理能力。采用分層整合，靈活配置，橫向擴(kuò)展，縱向貫穿的大數(shù)據(jù)平臺服務(wù)能力，其計算框架、存儲框架都以容器的方式，可輕松靈活的在線進(jìn)行裝卸，以平滑擴(kuò)充大數(shù)據(jù)平臺的集成能力。除此還集成了二級計算框架、通用的數(shù)據(jù)處理算法庫和數(shù)據(jù)倉庫，將大數(shù)據(jù)平臺的數(shù)據(jù)進(jìn)行清洗、加工和分析挖掘，處理后的數(shù)據(jù)可訂閱，充分體現(xiàn)數(shù)據(jù)即服務(wù)的大數(shù)據(jù)思想。? 分布式存儲框架：主要負(fù)責(zé)針對巨量數(shù)據(jù)的存儲，以分布式存儲技術(shù)， 支持快速、巨量、多種類型的數(shù)據(jù)存取。支持從數(shù)據(jù)源抽取數(shù)據(jù)到大數(shù) 據(jù)平臺存儲，集成多種存儲方式，有針對結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和 半結(jié)構(gòu)化數(shù)據(jù)的存儲。? 計算框架：主要提供批處理計算、內(nèi)存計算、流式計算框架，由數(shù)據(jù)處 理管理驅(qū)動來分配和調(diào)度計算框架，加載數(shù)據(jù)處理算法，完成數(shù)據(jù)處理。? 數(shù)據(jù)倉庫：主要對計算框架完成后的結(jié)果進(jìn)行存儲，支持 Hbase、MS SQL Server 等存儲，同時將數(shù)據(jù)以接口的形式開放出去。? 數(shù)據(jù)處理算法庫：集成通用的數(shù)據(jù)分析算法、能夠插入用戶自定義的數(shù) 據(jù)模型算法，配合以資源管理系統(tǒng)為主的計算存儲框架，進(jìn)行數(shù)據(jù)處理。? 資源管理系統(tǒng)，以容器的方式，來為計算框架和存儲框架分配資源，并 支持資源調(diào)度，彈性伸縮。? 數(shù)據(jù)服務(wù)總線：主要將基礎(chǔ)平臺的能力和數(shù)據(jù)服務(wù)接口，以 API 的方式開放出去，形成一個共享的、供應(yīng)用使用的服務(wù)總線。 FitData特點(diǎn)l 廣泛適應(yīng)性：支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)；支持實(shí)時數(shù)據(jù)。l 巨量數(shù)據(jù)：數(shù)據(jù)處理能力在PB級以上。l 線性擴(kuò)展：存儲、計算均可增加節(jié)點(diǎn)進(jìn)行線性擴(kuò)展。l 統(tǒng)一運(yùn)維管理：降低安裝部署、運(yùn)營、維護(hù)成本。l 經(jīng)濟(jì)性：可運(yùn)行在普通X86服務(wù)器上，硬件成本低。l 高可靠性：支持容災(zāi)容錯、備份恢復(fù)機(jī)制，支持自動告警。支持節(jié)點(diǎn)可靠性、數(shù)據(jù)可靠性。l 高性能：高效數(shù)據(jù)處理性能，支持Spark、Storm、R。l 認(rèn)證安全：支持Kerberos安全認(rèn)證、LDAP賬戶管理控制。l 數(shù)據(jù)安全：支持?jǐn)?shù)據(jù)加密。l 負(fù)載均衡：支持節(jié)點(diǎn)間存儲、技術(shù)負(fù)載均衡。l 開放性：支持符合Hadoop規(guī)范的第三方組件或工具。 FitData主要功能FitData是基于開源Hadoop開發(fā)的企業(yè)級大數(shù)據(jù)產(chǎn)品，提供PB級數(shù)據(jù)的采集、存儲和處理能力，支持?jǐn)?shù)據(jù)加載、查詢、分析、挖掘等功能。 節(jié)點(diǎn)批量自動部署通過以Web管理，以圖形界面的方式實(shí)現(xiàn)大數(shù)據(jù)平臺節(jié)點(diǎn)批量自動部署，只需添加主機(jī)名(或者IP地址)即可實(shí)現(xiàn)將節(jié)點(diǎn)服務(wù)器添加到集群中，截圖如下：圖 向集群中添加節(jié)點(diǎn) 節(jié)點(diǎn)動態(tài)管理通過web管理實(shí)現(xiàn)節(jié)點(diǎn)的動態(tài)添加、刪除，當(dāng)存儲空間或者計算資源不足時，支持向集群中添加同等配置的服務(wù)器，實(shí)現(xiàn)大數(shù)據(jù)平臺在線動態(tài)擴(kuò)容，而不需要停機(jī)處理，不影響平臺正常運(yùn)行。大數(shù)據(jù)平臺以Web圖形界面實(shí)現(xiàn)Hadoop集群監(jiān)控，包括大數(shù)據(jù)平臺的硬件資源、軟件資源、數(shù)據(jù)資源的監(jiān)控，以及整個Hadoop集群的工作負(fù)載。主要包括以下幾個方面： 服務(wù)組件狀態(tài)監(jiān)控通過管理平臺可以看到所有目前已安裝的服務(wù)組件的健康狀況。圖 服務(wù)組件運(yùn)行狀況 計算資源負(fù)載監(jiān)控通過管理平臺可以實(shí)時看到整個平臺的資源負(fù)載情況，包括集群的CPU、集群磁盤IO、集群網(wǎng)絡(luò)IO、HD