【正文】 v3最大可擴展至4 CPU，72 核支持8GB/16GB/32GB/64GB DDR4 高速內(nèi)存配置128GB DDR4 內(nèi)存配置6 塊600GB 15K SAS，3*4T NL SAS 硬盤。1監(jiān)控節(jié)點6應(yīng)用服務(wù)器CPU：2 顆E52630 v3 ≥24 個內(nèi)存插槽， 內(nèi)存，支持2133 MHz 內(nèi)存。當前配置64GB 內(nèi)存。支持SAS、SSD 和PCIe SSD 硬盤， 寸硬盤混插。支持24+2 寸 SAS/SATA 或者 14 寸 SAS/SATA + 2 寸SAS/SATA +16 個 SSD。硬盤：配置6 塊600GB 15K SAS 硬盤2應(yīng)用服務(wù)器7交換機48 10/100/1000BaseTX，4 100/1000BaseX SFP2網(wǎng)絡(luò)設(shè)備8防火墻多功能防火墻，4口以上2安防設(shè)備9工作站Intel(R)Xeon CPU E5，配置1T SATA 硬盤。內(nèi)存：8GB 2說明：硬件部分交換機、防火強及工作站，請根據(jù)標書確認！大數(shù)據(jù)服務(wù)器、RDBMS數(shù)據(jù)庫服務(wù)器及應(yīng)用服務(wù)器的具體配置參數(shù)請硬件朋友和標書上進行重新確認，這邊只對內(nèi)存量、CPU顆數(shù)及存儲空間大小做了要求。第5章 個人介紹吳宏勛：“烽火集成”高級大數(shù)據(jù)架構(gòu)師，曾擔(dān)任醫(yī)療大數(shù)據(jù)、公安大數(shù)據(jù)、財稅大數(shù)據(jù)項目大數(shù)據(jù)架構(gòu)師，具有豐富的大數(shù)據(jù)項目實施經(jīng)驗，對高吞吐、高并發(fā)、海量數(shù)據(jù)實時匯集，TB、PB級海量數(shù)據(jù)即席查詢與實時處理具有針對性方案和經(jīng)驗，研讀過部分Hadoop、HBase、Spark源碼，對Hadoop、HBase、Spark的原理有很深的理解，曾從事多個項目大數(shù)據(jù)平臺的調(diào)優(yōu)工作！第6章 專家系統(tǒng)架構(gòu)設(shè)計本系統(tǒng)總共分為四個層次，從下到上依次為數(shù)據(jù)采集層、基礎(chǔ)平臺層、應(yīng)用支撐層、應(yīng)用及展示層，各層在專家系統(tǒng)統(tǒng)一業(yè)務(wù)規(guī)范、技術(shù)規(guī)范、安全規(guī)范下進行數(shù)據(jù)通信及集成。1. 數(shù)據(jù)采集層：負責(zé)專家系統(tǒng)信息數(shù)據(jù)的匯集、轉(zhuǎn)換與加載，數(shù)據(jù)采集層提供多種數(shù)據(jù)采集方法:ETL、Flume、Kafka等，系統(tǒng)支持Flume+Kafka+Storm混合架構(gòu)的數(shù)據(jù)采集模式，以提高數(shù)據(jù)采集系統(tǒng)的吞吐量和并發(fā)量。2. 基礎(chǔ)平臺層：基礎(chǔ)平臺層為專家數(shù)據(jù)倉庫提供大數(shù)據(jù)基礎(chǔ)平臺支撐，包括分布式存儲系統(tǒng)、Hbase數(shù)據(jù)庫系統(tǒng)、Yarn并行計算資源管理與監(jiān)控等，同時支持Spark 機器學(xué)習(xí)算法庫，支持R等行業(yè)分析庫。3. 應(yīng)用支撐層：應(yīng)用支撐層為系統(tǒng)各類應(yīng)用提供支撐，是系統(tǒng)數(shù)據(jù)層和應(yīng)用層的連接紐帶。應(yīng)用支撐層包括基礎(chǔ)平臺和常規(guī)算法兩個部分，基礎(chǔ)平臺負責(zé)數(shù)據(jù)的存儲與并行計算，數(shù)據(jù)存儲支持分布式存儲、RDBMS存儲等存儲方式，常規(guī)算法負責(zé)數(shù)據(jù)分析與業(yè)務(wù)建模。4. 應(yīng)用及展示層：應(yīng)用層是系統(tǒng)各項業(yè)務(wù)功能的集合，主要包括資車輛故障診斷、車輛健康評估、車輛部件檢修、車輛故障處理及車輛對比分析等。展示層是用戶同系統(tǒng)交互的窗口，是應(yīng)用層對外提供服務(wù)的主要手段。支持多種圖表展示如餅圖、柱狀圖、曲線圖、熱力圖、氣泡圖和散點圖等可視化展示。第7章 平臺運維管理 Hadoop集群監(jiān)控大數(shù)據(jù)平臺以Web圖形界面實現(xiàn)Hadoop集群監(jiān)控，包括大數(shù)據(jù)平臺的硬件資源、軟件資源、數(shù)據(jù)資源的監(jiān)控，以及整個Hadoop集群的工作負載。主要包括以下幾個方面： 服務(wù)組件狀態(tài)監(jiān)控通過管理平臺可以看到所有目前已安裝的服務(wù)組件的健康狀況，綠色圈表示運行狀態(tài)健康。圖：服務(wù)組件運行狀況 存儲與內(nèi)存資源監(jiān)控包括獲取存儲量、剩余存儲量以及存儲系統(tǒng)整體情況信息。如果集群中的某臺機器的磁盤或者內(nèi)存的使用率達到指定的閥值，系統(tǒng)可以通過郵件或者短信的方式進行預(yù)警。圖：存儲和內(nèi)存資源監(jiān)控 系統(tǒng)負載管理I通過管理平臺可以實時看到整個平臺的資源負載情況，包括集群的CPU、集群磁盤IO、集群網(wǎng)絡(luò)IO、HDFS IO，如下圖所示：通過對集群運行任務(wù)的實時監(jiān)測，并根據(jù)任務(wù)優(yōu)先級和耗時不同對任務(wù)進行動態(tài)調(diào)度，減少出現(xiàn)大量任務(wù)等待和重要任務(wù)無法及時完成的可能，可以使Hadoop集群的運行變得更加高效合理。（1）、系統(tǒng)根據(jù)各隊列資源的最小值分配集群資源，這樣可以按照需求對各任務(wù)隊列獲取的集群資源進行分配，而且不會出現(xiàn)集群資源的閑置浪費。（2）、可以實現(xiàn)對各任務(wù)隊列獲取的集群資源大小實時動態(tài)調(diào)整，及時保證高優(yōu)先級任務(wù)所在隊列獲得更多的集群資源。（3）、可以實現(xiàn)在某個任務(wù)隊列出現(xiàn)空閑時，將該任務(wù)隊列獲取的集群資源自動分配給其他繁忙的任務(wù)隊列，以使得集群資源利用最大化。 操作系統(tǒng)管理 磁盤性能監(jiān)控對集群機器的硬盤進行監(jiān)控，如下圖所示，詳細的展示出磁盤IO的利用率，讀寫速度，磁盤的等待時間。圖：磁盤性能監(jiān)控 故障快速定位大數(shù)據(jù)平臺具備完整的告警監(jiān)控和故障快速定位能力。能夠?qū)⒂嬎憧蚣艿拿總€作業(yè)進度、狀態(tài)、資源利用情況進行監(jiān)控，并通過可視化圖形界面進行展示。當大數(shù)據(jù)平臺出現(xiàn)異常情況時，平臺能夠通過監(jiān)控系統(tǒng)，對服務(wù)器節(jié)點宕機等集群異常、安全異常等異常事件進行預(yù)警、報警，并通過郵件、短信等報警手段進行告警通知。提供預(yù)制的恢復(fù)規(guī)則和安全規(guī)則，對集群異常進行自動修復(fù)、自動限制非安全行為的操作。大數(shù)據(jù)平臺能夠通過對告警信息的分析，快速定位平臺內(nèi)部出現(xiàn)故障的節(jié)點，對于因故障無法繼續(xù)提供服務(wù)器的節(jié)點進行標記，將平臺的作業(yè)任務(wù)自動分配到其他的節(jié)點上運行，同時，大數(shù)據(jù)平臺采用分布式體系結(jié)構(gòu)及無單點故障設(shè)計，平臺內(nèi)任何節(jié)點的宕機都不會影響平臺的穩(wěn)定運行和業(yè)務(wù)的正常使用。待故障節(jié)點恢復(fù)正常后，再將該節(jié)點納入平臺的資源中，將作業(yè)任務(wù)分配到恢復(fù)后的節(jié)點上運行。 運行日志監(jiān)控針對每個服務(wù)組件運行的實時日志信息可以從平臺中查看，便于在服務(wù)組件運行中斷時查找和追蹤原因。例如，我們想要查看HBase服務(wù)組件中Mater角色的日志信息，如下圖所示： 平臺安全管理在Hadoop 。Kerberos可以將認證的密鑰在集群部署時事先放到可靠的節(jié)點上。集群運行時，集群內(nèi)的節(jié)點使用密鑰得到認證。只有被認證過節(jié)點才能正常使用，防止惡意的使用或篡改Hadoop集群的問題，確保Hadoop集群的可靠安全。 數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)標準化數(shù)據(jù)標準化包括數(shù)據(jù)標準制定及數(shù)據(jù)標準化處理兩個部分，數(shù)據(jù)標準制定是在專家系統(tǒng)業(yè)務(wù)統(tǒng)一規(guī)范前提下，指導(dǎo)專家系統(tǒng)大數(shù)據(jù)標準，包括數(shù)據(jù)格式標準、數(shù)據(jù)交換標準、數(shù)據(jù)共享標準等；數(shù)據(jù)標準規(guī)范化是指按照統(tǒng)一專家系統(tǒng)數(shù)據(jù)標準格式。將專家信息數(shù)據(jù)進行標準化處理，生成符合專家系統(tǒng)數(shù)據(jù)標準要求的信息數(shù)據(jù)。 數(shù)據(jù)質(zhì)量檢測根據(jù)數(shù)據(jù)質(zhì)量監(jiān)測規(guī)則，通過數(shù)據(jù)質(zhì)量檢測引擎，對數(shù)據(jù)表中的增量數(shù)據(jù)進行掃描，調(diào)用規(guī)則算法或擴展程序進行數(shù)據(jù)質(zhì)量檢測，并提供問題數(shù)據(jù)庫的建立、數(shù)據(jù)質(zhì)量報告的生成、問題數(shù)據(jù)的處理、以及對問題數(shù)據(jù)的通報和反饋來保證數(shù)據(jù)的質(zhì)量和實效性等功能。 數(shù)據(jù)關(guān)聯(lián)對采集的數(shù)據(jù)庫根據(jù)數(shù)據(jù)間的業(yè)務(wù)關(guān)聯(lián)關(guān)系實現(xiàn)數(shù)據(jù)的關(guān)聯(lián)，通過數(shù)據(jù)的關(guān)聯(lián)，增加實體數(shù)據(jù)的維度，將單個的數(shù)據(jù)擴展成行業(yè)信息資源，提高數(shù)據(jù)的價值。