【正文】 v3最大可擴展至4 CPU，72 核支持8GB/16GB/32GB/64GB DDR4 高速內存配置128GB DDR4 內存配置6 塊600GB 15K SAS，3*4T NL SAS 硬盤。1監(jiān)控節(jié)點6應用服務器CPU：2 顆E52630 v3 ≥24 個內存插槽， 內存，支持2133 MHz 內存。當前配置64GB 內存。支持SAS、SSD 和PCIe SSD 硬盤， 寸硬盤混插。支持24+2 寸 SAS/SATA 或者 14 寸 SAS/SATA + 2 寸SAS/SATA +16 個 SSD。硬盤：配置6 塊600GB 15K SAS 硬盤2應用服務器7交換機48 10/100/1000BaseTX，4 100/1000BaseX SFP2網(wǎng)絡設備8防火墻多功能防火墻，4口以上2安防設備9工作站Intel(R)Xeon CPU E5，配置1T SATA 硬盤。內存：8GB 2說明：硬件部分交換機、防火強及工作站，請根據(jù)標書確認！大數(shù)據(jù)服務器、RDBMS數(shù)據(jù)庫服務器及應用服務器的具體配置參數(shù)請硬件朋友和標書上進行重新確認，這邊只對內存量、CPU顆數(shù)及存儲空間大小做了要求。第5章 個人介紹吳宏勛：“烽火集成”高級大數(shù)據(jù)架構師，曾擔任醫(yī)療大數(shù)據(jù)、公安大數(shù)據(jù)、財稅大數(shù)據(jù)項目大數(shù)據(jù)架構師，具有豐富的大數(shù)據(jù)項目實施經(jīng)驗，對高吞吐、高并發(fā)、海量數(shù)據(jù)實時匯集，TB、PB級海量數(shù)據(jù)即席查詢與實時處理具有針對性方案和經(jīng)驗，研讀過部分Hadoop、HBase、Spark源碼，對Hadoop、HBase、Spark的原理有很深的理解，曾從事多個項目大數(shù)據(jù)平臺的調優(yōu)工作！第6章 專家系統(tǒng)架構設計本系統(tǒng)總共分為四個層次，從下到上依次為數(shù)據(jù)采集層、基礎平臺層、應用支撐層、應用及展示層，各層在專家系統(tǒng)統(tǒng)一業(yè)務規(guī)范、技術規(guī)范、安全規(guī)范下進行數(shù)據(jù)通信及集成。1. 數(shù)據(jù)采集層：負責專家系統(tǒng)信息數(shù)據(jù)的匯集、轉換與加載，數(shù)據(jù)采集層提供多種數(shù)據(jù)采集方法:ETL、Flume、Kafka等，系統(tǒng)支持Flume+Kafka+Storm混合架構的數(shù)據(jù)采集模式，以提高數(shù)據(jù)采集系統(tǒng)的吞吐量和并發(fā)量。2. 基礎平臺層：基礎平臺層為專家數(shù)據(jù)倉庫提供大數(shù)據(jù)基礎平臺支撐，包括分布式存儲系統(tǒng)、Hbase數(shù)據(jù)庫系統(tǒng)、Yarn并行計算資源管理與監(jiān)控等，同時支持Spark 機器學習算法庫，支持R等行業(yè)分析庫。3. 應用支撐層：應用支撐層為系統(tǒng)各類應用提供支撐，是系統(tǒng)數(shù)據(jù)層和應用層的連接紐帶。應用支撐層包括基礎平臺和常規(guī)算法兩個部分，基礎平臺負責數(shù)據(jù)的存儲與并行計算，數(shù)據(jù)存儲支持分布式存儲、RDBMS存儲等存儲方式，常規(guī)算法負責數(shù)據(jù)分析與業(yè)務建模。4. 應用及展示層：應用層是系統(tǒng)各項業(yè)務功能的集合，主要包括資車輛故障診斷、車輛健康評估、車輛部件檢修、車輛故障處理及車輛對比分析等。展示層是用戶同系統(tǒng)交互的窗口，是應用層對外提供服務的主要手段。支持多種圖表展示如餅圖、柱狀圖、曲線圖、熱力圖、氣泡圖和散點圖等可視化展示。第7章 平臺運維管理 Hadoop集群監(jiān)控大數(shù)據(jù)平臺以Web圖形界面實現(xiàn)Hadoop集群監(jiān)控，包括大數(shù)據(jù)平臺的硬件資源、軟件資源、數(shù)據(jù)資源的監(jiān)控，以及整個Hadoop集群的工作負載。主要包括以下幾個方面： 服務組件狀態(tài)監(jiān)控通過管理平臺可以看到所有目前已安裝的服務組件的健康狀況，綠色圈表示運行狀態(tài)健康。圖：服務組件運行狀況 存儲與內存資源監(jiān)控包括獲取存儲量、剩余存儲量以及存儲系統(tǒng)整體情況信息。如果集群中的某臺機器的磁盤或者內存的使用率達到指定的閥值，系統(tǒng)可以通過郵件或者短信的方式進行預警。圖：存儲和內存資源監(jiān)控 系統(tǒng)負載管理I通過管理平臺可以實時看到整個平臺的資源負載情況，包括集群的CPU、集群磁盤IO、集群網(wǎng)絡IO、HDFS IO，如下圖所示：通過對集群運行任務的實時監(jiān)測，并根據(jù)任務優(yōu)先級和耗時不同對任務進行動態(tài)調度，減少出現(xiàn)大量任務等待和重要任務無法及時完成的可能，可以使Hadoop集群的運行變得更加高效合理。（1）、系統(tǒng)根據(jù)各隊列資源的最小值分配集群資源，這樣可以按照需求對各任務隊列獲取的集群資源進行分配，而且不會出現(xiàn)集群資源的閑置浪費。（2）、可以實現(xiàn)對各任務隊列獲取的集群資源大小實時動態(tài)調整，及時保證高優(yōu)先級任務所在隊列獲得更多的集群資源。（3）、可以實現(xiàn)在某個任務隊列出現(xiàn)空閑時，將該任務隊列獲取的集群資源自動分配給其他繁忙的任務隊列，以使得集群資源利用最大化。 操作系統(tǒng)管理 磁盤性能監(jiān)控對集群機器的硬盤進行監(jiān)控，如下圖所示，詳細的展示出磁盤IO的利用率，讀寫速度，磁盤的等待時間。圖：磁盤性能監(jiān)控 故障快速定位大數(shù)據(jù)平臺具備完整的告警監(jiān)控和故障快速定位能力。能夠將計算框架的每個作業(yè)進度、狀態(tài)、資源利用情況進行監(jiān)控，并通過可視化圖形界面進行展示。當大數(shù)據(jù)平臺出現(xiàn)異常情況時，平臺能夠通過監(jiān)控系統(tǒng)，對服務器節(jié)點宕機等集群異常、安全異常等異常事件進行預警、報警，并通過郵件、短信等報警手段進行告警通知。提供預制的恢復規(guī)則和安全規(guī)則，對集群異常進行自動修復、自動限制非安全行為的操作。大數(shù)據(jù)平臺能夠通過對告警信息的分析，快速定位平臺內部出現(xiàn)故障的節(jié)點，對于因故障無法繼續(xù)提供服務器的節(jié)點進行標記，將平臺的作業(yè)任務自動分配到其他的節(jié)點上運行，同時，大數(shù)據(jù)平臺采用分布式體系結構及無單點故障設計，平臺內任何節(jié)點的宕機都不會影響平臺的穩(wěn)定運行和業(yè)務的正常使用。待故障節(jié)點恢復正常后，再將該節(jié)點納入平臺的資源中，將作業(yè)任務分配到恢復后的節(jié)點上運行。 運行日志監(jiān)控針對每個服務組件運行的實時日志信息可以從平臺中查看，便于在服務組件運行中斷時查找和追蹤原因。例如，我們想要查看HBase服務組件中Mater角色的日志信息，如下圖所示： 平臺安全管理在Hadoop 。Kerberos可以將認證的密鑰在集群部署時事先放到可靠的節(jié)點上。集群運行時，集群內的節(jié)點使用密鑰得到認證。只有被認證過節(jié)點才能正常使用，防止惡意的使用或篡改Hadoop集群的問題，確保Hadoop集群的可靠安全。 數(shù)據(jù)質量管理 數(shù)據(jù)標準化數(shù)據(jù)標準化包括數(shù)據(jù)標準制定及數(shù)據(jù)標準化處理兩個部分，數(shù)據(jù)標準制定是在專家系統(tǒng)業(yè)務統(tǒng)一規(guī)范前提下，指導專家系統(tǒng)大數(shù)據(jù)標準，包括數(shù)據(jù)格式標準、數(shù)據(jù)交換標準、數(shù)據(jù)共享標準等；數(shù)據(jù)標準規(guī)范化是指按照統(tǒng)一專家系統(tǒng)數(shù)據(jù)標準格式。將專家信息數(shù)據(jù)進行標準化處理，生成符合專家系統(tǒng)數(shù)據(jù)標準要求的信息數(shù)據(jù)。 數(shù)據(jù)質量檢測根據(jù)數(shù)據(jù)質量監(jiān)測規(guī)則，通過數(shù)據(jù)質量檢測引擎，對數(shù)據(jù)表中的增量數(shù)據(jù)進行掃描，調用規(guī)則算法或擴展程序進行數(shù)據(jù)質量檢測，并提供問題數(shù)據(jù)庫的建立、數(shù)據(jù)質量報告的生成、問題數(shù)據(jù)的處理、以及對問題數(shù)據(jù)的通報和反饋來保證數(shù)據(jù)的質量和實效性等功能。 數(shù)據(jù)關聯(lián)對采集的數(shù)據(jù)庫根據(jù)數(shù)據(jù)間的業(yè)務關聯(lián)關系實現(xiàn)數(shù)據(jù)的關聯(lián)，通過數(shù)據(jù)的關聯(lián)，增加實體數(shù)據(jù)的維度，將單個的數(shù)據(jù)擴展成行業(yè)信息資源，提高數(shù)據(jù)的價值。