【正文】 度保證數(shù)據(jù)的實(shí)時(shí)性。從存儲(chǔ)方面來(lái)說(shuō)，業(yè)務(wù)數(shù)據(jù)和 監(jiān)控?cái)?shù)據(jù)的分離主要體現(xiàn)在存儲(chǔ)方式，前者存到關(guān)系數(shù)據(jù)精選資料可修改編輯庫(kù)，后者存到 NOSQL 數(shù)據(jù) 庫(kù)。監(jiān)控服務(wù)為服務(wù)器虛擬化系統(tǒng)監(jiān)控資源狀態(tài)提供了極高的靈活性和擴(kuò)展性，大大縮短了系統(tǒng)故障的排查時(shí)間。? 獨(dú)立的監(jiān)控服務(wù)系統(tǒng)狀態(tài)是進(jìn)行決策的數(shù)據(jù)基礎(chǔ)，這些數(shù)據(jù)多數(shù)是由監(jiān)控服務(wù)提供的，監(jiān)控服務(wù)幾乎存在于任何大型的軟件系統(tǒng)之中。獨(dú)立的認(rèn)證服務(wù)從系統(tǒng)層面劃分出來(lái)一個(gè)切面，實(shí)現(xiàn)集中式的認(rèn)證管理，其他模塊只需與認(rèn)證服務(wù)交互，將復(fù)雜的認(rèn)證過(guò)程交由認(rèn)證服務(wù)處理，這一過(guò)程對(duì)模塊而言是透明的?；谶@一原則，系統(tǒng)可以分為兩個(gè)部分，命令部分和查詢(xún)部分，并采用不同的技術(shù)加以實(shí)現(xiàn)和優(yōu)化，簡(jiǎn)化整個(gè)系統(tǒng)的設(shè)計(jì)，提升整個(gè)系統(tǒng)的性能和可維護(hù)性。在設(shè)計(jì)理念上，整個(gè)系統(tǒng)遵循了以下幾個(gè)原則：? 命令查詢(xún)職責(zé)分離（CQRS ）CQRS 原則基于一個(gè)簡(jiǎn)單 的事實(shí)：資源（對(duì)象）的行 為只有兩種，即命令（Command）和查詢(xún)（Query ）。浪潮云海?服 務(wù)器虛擬化系 統(tǒng)為計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)提供了完整的虛 擬化解決方案，支持資源的靈活分配、動(dòng)態(tài)組 合、在 線(xiàn)調(diào)整與智能調(diào) 度，并以虛 擬機(jī)或虛擬集群的形式將最終資源呈現(xiàn)給用戶(hù)。Streaming 支持 Kafka, Flume 等常見(jiàn)消息隊(duì)列或采集工具。Streaming 中的復(fù) 雜應(yīng)用邏輯以 DAG 形式的服務(wù)常 駐在集群內(nèi)存中，生產(chǎn)系統(tǒng)的消息通過(guò)實(shí)時(shí)消息隊(duì)列進(jìn)入計(jì)算集群，在集群內(nèi)以 Pipeline 方式被依次處理，完成ETL、特征提取、策略檢查 、分析告警等復(fù)雜服務(wù)計(jì)算，最終輸出到 HBase 等存儲(chǔ)集群、告警頁(yè)面、實(shí)時(shí)展示頁(yè)面等。. Stream 流處理引擎Stream 實(shí)時(shí)流 處理引擎以 Spark Streaming 為基礎(chǔ)。? 高效 OLAP 和批量統(tǒng)計(jì)：HBASE 為 HIVE 引擎提供高效數(shù)據(jù)掃描接口，通 過(guò) HIVE 的擴(kuò)展 SQL 語(yǔ)法，充分利用浪潮 HBASE 的內(nèi)部數(shù)據(jù)結(jié)構(gòu)以及全局/輔助索引進(jìn)行 SQL 執(zhí)行加速，可以滿(mǎn)足高速的 OLAP 數(shù)據(jù)分析應(yīng)用需求；同時(shí)也支持高速的 SQL 離線(xiàn)批處理，性能接近于存儲(chǔ)在 HDFS 上的相同數(shù)據(jù)的統(tǒng)計(jì)。它有以下特點(diǎn)：? 多種數(shù)據(jù)類(lèi)型支持：HBASE 支持從 GB 到數(shù)十 PB 數(shù)據(jù)的處理，支持廣泛的數(shù)據(jù)類(lèi)型，包括對(duì)結(jié)構(gòu)化記錄、半 結(jié)構(gòu)化文本、圖數(shù)據(jù)、非 結(jié)構(gòu)化數(shù)據(jù)（圖片、音 頻、二進(jìn)制文檔等）的存儲(chǔ)、搜精選資料可修改編輯索、統(tǒng)計(jì)和分析。? 支持廣泛的 BI 和報(bào)表工具：HIVE 可以和常用的 BI 工具 對(duì)接，包括 Tableau, SAP Business Objects, Oracle OBIEE 等，用戶(hù)無(wú)需編程就可以方便地為大數(shù)據(jù)創(chuàng) 建美麗的報(bào)表，通過(guò)浪潮 HIVE 提供的高速大數(shù)據(jù)統(tǒng)計(jì)分析能力提高決策效率；? 高擴(kuò)展能力：Inceptor 可以隨著集群 規(guī)模的擴(kuò)展，線(xiàn)性擴(kuò)展處理能力，可以支持從 GB 到數(shù)百TB 的數(shù)據(jù)處理。完整的 SQL 支持幫助用戶(hù)平滑地從原有關(guān)系數(shù)據(jù)庫(kù)遷移到大數(shù)據(jù)平臺(tái)。它具有以下一些特點(diǎn)：? 高性能：HIVE 支持將二 維數(shù)據(jù)表緩 存入獨(dú)立的分布式內(nèi)存（或 SSD）中，建立列式存儲(chǔ)、分區(qū)/ 分塊和索引，采用改 進(jìn)后的 Apache Spark 作為執(zhí)行引擎，SQL 執(zhí)行性能比Apache Hadoop/Hive 快 10~100 倍左右。? 數(shù)據(jù)集成層：Sqoop 支持從 DB 到 Hadoop 的數(shù)據(jù)遷移，F(xiàn)lume 支持從日志系 統(tǒng)采集數(shù)據(jù)。? 計(jì)算引擎層：采用 Map/Reduce 2 完成大部分離線(xiàn)批處理計(jì)算任務(wù)。? 數(shù)據(jù)存儲(chǔ)層： 基于 HDFS 的大數(shù)據(jù)存儲(chǔ)和在線(xiàn)服務(wù)體系，支持 Erasure Code，在副本數(shù)降低至 倍的情況下，提高了可靠性，可同時(shí)容忍四個(gè)數(shù)據(jù)塊丟失，支持可靠存 儲(chǔ) TB級(jí)到數(shù)十 PB 級(jí)的數(shù)據(jù)量。. Hadoop 集群Hadoop 技術(shù)給 客戶(hù)提供穩(wěn)定的、可靠的、易用的大數(shù)據(jù)設(shè)計(jì)架構(gòu)，其組件包括:：Hadoop 企業(yè) 版，HIVE 分布式內(nèi)存分析引擎， HBASE 分布式實(shí)時(shí)在線(xiàn)數(shù)據(jù)處理引擎和 Stream 流處 理引擎。 精選資料可修改編輯. OLAP 函數(shù)分布式數(shù)據(jù)庫(kù)提供 OLAP 函數(shù)，用于支持復(fù)雜的分析操作，側(cè)重對(duì)決策人員和高層管理人員的決策支持。集群加載采用 C/S 架構(gòu)，包括數(shù)據(jù)分 發(fā)服務(wù)器和數(shù)據(jù)分發(fā)客戶(hù)端兩個(gè)應(yīng)用程序。精選資料可修改編輯 . 高性能數(shù)據(jù)加載數(shù)據(jù)加載功能作為浪潮分布式數(shù)據(jù)庫(kù)的一部分而存在，目的是將用戶(hù)從其他數(shù)據(jù)源得到的原始數(shù)據(jù)文件，按照某種加載規(guī)則分發(fā)至集群節(jié)點(diǎn)，集群各節(jié)點(diǎn)接收數(shù)據(jù)入庫(kù)保存到本地磁盤(pán)。精選資料可修改編輯 . 高性能在線(xiàn)擴(kuò)展分布式數(shù)據(jù)庫(kù)具備在線(xiàn)擴(kuò)展技術(shù)：通過(guò) SafeGroup 動(dòng)態(tài)擴(kuò)展集群 節(jié)點(diǎn)， 實(shí)際可擴(kuò)展到 64 3（192）個(gè)節(jié)點(diǎn)；每個(gè)節(jié)點(diǎn)可以處理 100 TB 有效數(shù)據(jù)，同 時(shí)提供計(jì)算和存 儲(chǔ)能力；GCware 負(fù)責(zé)新節(jié)點(diǎn)的數(shù)據(jù)同步。? 復(fù)制引擎自動(dòng)管理數(shù)據(jù)同步。. 高可用分布式數(shù)據(jù)庫(kù)通過(guò) SafeGroup 組內(nèi)冗余機(jī)制來(lái)保證集群的高可用特性：? 每個(gè) SafeGroup 可提供 1 個(gè)或 2 個(gè)副本數(shù)據(jù)冗余。GNode 負(fù)責(zé)集群數(shù)據(jù)在 節(jié) 點(diǎn)上的實(shí)際存儲(chǔ)，并從 GCluster 接收和執(zhí)行經(jīng)分解的SQL 執(zhí) 行計(jì)劃，執(zhí)行結(jié)果返回給 GCluster。GNode：GNode 是 GCluster 中最基本的存儲(chǔ)和計(jì)算單元。GCWare：GCWare 用于各 節(jié)點(diǎn) GCluster 和 GNode 實(shí)例間共享信息(包括集群結(jié)構(gòu)，節(jié)點(diǎn)狀態(tài)，節(jié)點(diǎn) 資源狀態(tài)等信息) ，以及控制多副本數(shù)據(jù)操作時(shí)，提供可操作 節(jié)點(diǎn)，并在多副本操作中，控制各節(jié)點(diǎn)數(shù)據(jù)一致性狀態(tài)。精選資料可修改編輯GCWare 用于各 節(jié)點(diǎn) GCluster 和 GNode 實(shí)例間共享信息，GCluster 負(fù)責(zé)集群調(diào)度，每個(gè) GNode 就是最基本的存儲(chǔ)和計(jì)算單元。精選資料可修改編輯. 系統(tǒng)架構(gòu). 分布式數(shù)據(jù)庫(kù)系統(tǒng). MPP + Share Nothing 架構(gòu)分布式數(shù)據(jù)庫(kù)采用完全并行的 MPP + Share Nothing 的分布式扁平架構(gòu)， 這種架構(gòu)中的每一個(gè)節(jié)點(diǎn)（ Node ）都是獨(dú)立的、自給的、節(jié)點(diǎn)之間對(duì)等，而且整個(gè)系統(tǒng)中不存在單點(diǎn)瓶頸，具有非常強(qiáng) 的擴(kuò)展性。降低總體擁有成本、提升服務(wù)水平、管理系 統(tǒng)風(fēng)險(xiǎn)是整個(gè)硬件平臺(tái)方案的設(shè)計(jì)戰(zhàn)略思想。精選資料可修改編輯因此，本方案的核心價(jià)值在于將這兩種方式的界限在實(shí)際應(yīng)用部署中打破，形成以全數(shù)據(jù)處理為核心，垂直整合操作系統(tǒng)、 MPP 數(shù)據(jù)庫(kù)、Hadoop、統(tǒng)一數(shù)據(jù)服務(wù)的基礎(chǔ)軟件平臺(tái)解決方案。隨著我校大規(guī)模計(jì)算和海量數(shù)據(jù)存儲(chǔ)需求的出現(xiàn)，使得科研大數(shù)據(jù)平臺(tái) 對(duì) IT 基礎(chǔ)設(shè)施的需求也隨之增 長(zhǎng)。單一的 MPP 數(shù)據(jù)庫(kù)或 Hadoop 產(chǎn)品已經(jīng)很難滿(mǎn)足研究所對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合的業(yè)務(wù)需求。多副本容錯(cuò)，數(shù)據(jù)安全無(wú)憂(yōu)。高可用采用分布式存儲(chǔ)系統(tǒng)，數(shù)據(jù)互備，快速 備份和恢復(fù)。動(dòng)態(tài)資源分配云計(jì)算被認(rèn)為是分布式處理、并行處理以及網(wǎng)絡(luò)計(jì)算的進(jìn)一步發(fā)展，其使用虛擬機(jī)力度方式，根據(jù)應(yīng)用的動(dòng)態(tài)對(duì)資源進(jìn)行增刪。? 數(shù)據(jù)架構(gòu)：采用與客戶(hù)習(xí)慣使用的 SQL 這種更易于理解的、交互性更好的 訪(fǎng)問(wèn)接口，架構(gòu)需要以 MPP 數(shù)據(jù)庫(kù)及計(jì)算框架為核心，將 MPP 運(yùn)算調(diào)度引擎完全融入精選資料可修改編輯非關(guān)系型運(yùn)算調(diào)度框架，實(shí)現(xiàn)可以同時(shí)調(diào)度關(guān)系運(yùn)算和非關(guān)系運(yùn)算的調(diào)度引擎，構(gòu)建統(tǒng)一的結(jié)構(gòu)化信息提取和數(shù)據(jù)類(lèi)型轉(zhuǎn)換框架，將非結(jié)構(gòu)化數(shù)據(jù)映射為關(guān)系模型，實(shí)現(xiàn)面向關(guān)系模型的全數(shù)據(jù)統(tǒng)一視圖，從而平滑的實(shí)現(xiàn) MPP 數(shù)據(jù)庫(kù)和 Hadoop 的統(tǒng)一調(diào)度和處理，為新型的基礎(chǔ)軟件平臺(tái)和上層應(yīng)用提供數(shù)據(jù)服務(wù)。. 方案簡(jiǎn)述根據(jù)對(duì)背景及需求的分析，為了幫助我校能夠更好地在大數(shù)據(jù)時(shí)代支撐大規(guī)模數(shù)據(jù)的應(yīng)用，分別從物理架構(gòu)及數(shù)據(jù)架構(gòu)建設(shè)科研大數(shù)據(jù)平臺(tái)系統(tǒng)。? 保護(hù)用戶(hù)現(xiàn)有資源，考慮系統(tǒng)現(xiàn)狀以及現(xiàn)有資源利用等，在系統(tǒng)建設(shè)中，充分考慮現(xiàn)有資源利舊。需求分析如下：? 尋求新的系統(tǒng)架構(gòu)，從物理架構(gòu)、數(shù)據(jù)架構(gòu)、業(yè)務(wù)模型架構(gòu)及應(yīng)用架構(gòu)等幾方面滿(mǎn)足業(yè)務(wù)需求。迫切需要尋求一種全新的系統(tǒng)架構(gòu)幫助我校滿(mǎn)足日常業(yè)務(wù)及數(shù)據(jù)分析。本項(xiàng)目分階段實(shí)施，初期重點(diǎn)在于建立一個(gè)能滿(mǎn)足業(yè)務(wù)需求的基于大數(shù)據(jù)的計(jì)算、存儲(chǔ) 以及通訊的硬件環(huán) 境平臺(tái)和數(shù)據(jù)管理架構(gòu)。精選資料可修改編輯科研大數(shù)據(jù)平臺(tái)項(xiàng)目技術(shù)建議書(shū)精選資料可修改編輯目 錄1. 概述 ...................................................................................................................................1. 項(xiàng)目背景 .........................................................................................................................................1. 需求分析 .........................................................................................................................................1. 方案簡(jiǎn)述 .........................................................................................................................................1. 方案價(jià)值 .........................................................................................................................................22. 設(shè)計(jì)方案 ...........................................................................................................................4. 設(shè)計(jì)原則 .........................................................................................................................................4. 系統(tǒng)架構(gòu) ..............................