【文章內(nèi)容簡介】 的同時，考慮最優(yōu)的性價比；堅持系統(tǒng)建設(shè)投資經(jīng)濟(jì)合理性的原則；? 高可靠性：全冗余設(shè)計，避免任何的單點故障，以保 證系統(tǒng)的可靠性，同時便于維護(hù)，減少計劃內(nèi)停機(jī)次數(shù)；? 高安全性： 保證系統(tǒng)數(shù)據(jù)的安全，做到重要數(shù)據(jù)冗余存儲，提供備份、容災(zāi)及 應(yīng)急設(shè)計；? 平滑擴(kuò)展性：基于統(tǒng)一標(biāo)準(zhǔn)設(shè)計的硬件平臺架構(gòu)，具有平滑擴(kuò)展的能力，可在未來方便的根據(jù)客戶需求增添新的硬件；? 開放性與標(biāo)準(zhǔn)化：采用標(biāo)準(zhǔn)的技術(shù)以保證與其他廠家的產(chǎn)品相兼容；? 產(chǎn)品利用率：考慮現(xiàn)有設(shè)備的使用情況，提高產(chǎn)品的利用率。降低總體擁有成本、提升服務(wù)水平、管理系 統(tǒng)風(fēng)險是整個硬件平臺方案的設(shè)計戰(zhàn)略思想。本次設(shè)計滿足當(dāng)前 階段應(yīng)用需求的同時，具備升級擴(kuò)容能力， 繼續(xù)滿足下一階段的應(yīng)用需求。精選資料可修改編輯. 系統(tǒng)架構(gòu). 分布式數(shù)據(jù)庫系統(tǒng). MPP + Share Nothing 架構(gòu)分布式數(shù)據(jù)庫采用完全并行的 MPP + Share Nothing 的分布式扁平架構(gòu)， 這種架構(gòu)中的每一個節(jié)點（ Node ）都是獨立的、自給的、節(jié)點之間對等，而且整個系統(tǒng)中不存在單點瓶頸，具有非常強(qiáng) 的擴(kuò)展性。 . 核心組件分布式數(shù)據(jù)庫產(chǎn)品總共包含三大核心組件，即 GCluster、GCware 和 GNode。精選資料可修改編輯GCWare 用于各 節(jié)點 GCluster 和 GNode 實例間共享信息，GCluster 負(fù)責(zé)集群調(diào)度，每個 GNode 就是最基本的存儲和計算單元。GCluster：GCluster 負(fù)責(zé) SQL 的解析、SQL 優(yōu)化、分布式執(zhí)行計劃生成、執(zhí)行調(diào)度。GCWare：GCWare 用于各 節(jié)點 GCluster 和 GNode 實例間共享信息(包括集群結(jié)構(gòu)，節(jié)點狀態(tài)，節(jié)點 資源狀態(tài)等信息) ，以及控制多副本數(shù)據(jù)操作時，提供可操作 節(jié)點，并在多副本操作中，控制各節(jié)點數(shù)據(jù)一致性狀態(tài)。GCWare 對于集群的管理工作是以節(jié)點為基本單位的。GNode：GNode 是 GCluster 中最基本的存儲和計算單元。GNode 是由 GCWare 管理的一個 8a 實例，每個 GCluster 節(jié)點上有一個 GNode實例運行。GNode 負(fù)責(zé)集群數(shù)據(jù)在 節(jié) 點上的實際存儲，并從 GCluster 接收和執(zhí)行經(jīng)分解的SQL 執(zhí) 行計劃，執(zhí)行結(jié)果返回給 GCluster。數(shù)據(jù)加載時，GNode 直接從集群加載服務(wù)接收數(shù)據(jù)，寫入本地存儲空間。. 高可用分布式數(shù)據(jù)庫通過 SafeGroup 組內(nèi)冗余機(jī)制來保證集群的高可用特性：? 每個 SafeGroup 可提供 1 個或 2 個副本數(shù)據(jù)冗余。? SafeGroup 內(nèi)數(shù)據(jù)副本自 動同步。? 復(fù)制引擎自動管理數(shù)據(jù)同步。? 采用扁平架構(gòu)，每一個節(jié)點都可以充當(dāng)主控節(jié)點，避免了 Master 節(jié)點產(chǎn)生的瓶頸以及當(dāng) Master 與 Standby 宕機(jī)產(chǎn)生的整個集群不可用。精選資料可修改編輯 . 高性能在線擴(kuò)展分布式數(shù)據(jù)庫具備在線擴(kuò)展技術(shù)：通過 SafeGroup 動態(tài)擴(kuò)展集群 節(jié)點， 實際可擴(kuò)展到 64 3（192）個節(jié)點；每個節(jié)點可以處理 100 TB 有效數(shù)據(jù)，同 時提供計算和存 儲能力；GCware 負(fù)責(zé)新節(jié)點的數(shù)據(jù)同步。 因為浪潮分布式數(shù)據(jù)庫采用高性能單節(jié)點的 MPP 扁平架構(gòu)，因此進(jìn)行集群擴(kuò)展時，可以保證平滑擴(kuò)展和性能的線性增長特性。精選資料可修改編輯 . 高性能數(shù)據(jù)加載數(shù)據(jù)加載功能作為浪潮分布式數(shù)據(jù)庫的一部分而存在，目的是將用戶從其他數(shù)據(jù)源得到的原始數(shù)據(jù)文件，按照某種加載規(guī)則分發(fā)至集群節(jié)點，集群各節(jié)點接收數(shù)據(jù)入庫保存到本地磁盤。分布式數(shù)據(jù)庫支持?jǐn)?shù)據(jù)高效并行加載，數(shù)據(jù)加載速度隨節(jié)點的擴(kuò)展而呈現(xiàn)線性增加。集群加載采用 C/S 架構(gòu)，包括數(shù)據(jù)分 發(fā)服務(wù)器和數(shù)據(jù)分發(fā)客戶端兩個應(yīng)用程序。數(shù)據(jù)分發(fā)服務(wù)器接收到客戶端的數(shù)據(jù)加載請求后，服務(wù)器端負(fù)責(zé)原始數(shù)據(jù)文件切分和數(shù)據(jù)文件的下發(fā)；各節(jié)點調(diào)用本地的集群加載服務(wù)接收數(shù)據(jù)入庫并保存到本地磁盤。 精選資料可修改編輯. OLAP 函數(shù)分布式數(shù)據(jù)庫提供 OLAP 函數(shù)，用于支持復(fù)雜的分析操作，側(cè)重對決策人員和高層管理人員的決策支持?？筛鶕?jù)分析人員的要求，快速靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，以便他們準(zhǔn)確掌握企業(yè)的經(jīng)營狀況，了解被服務(wù)對象的需求，制定正確的方案。. Hadoop 集群Hadoop 技術(shù)給 客戶提供穩(wěn)定的、可靠的、易用的大數(shù)據(jù)設(shè)計架構(gòu)，其組件包括:：Hadoop 企業(yè) 版，HIVE 分布式內(nèi)存分析引擎， HBASE 分布式實時在線數(shù)據(jù)處理引擎和 Stream 流處 理引擎。其特點如下：. Hadoop 企業(yè)版Hadoop 企業(yè) 版具有高模塊化和松耦合的五層架構(gòu)，針對不同的應(yīng)用領(lǐng)域通過組件之間的靈活組合與高效協(xié)作來提供定制化的支撐。? 數(shù)據(jù)存儲層： 基于 HDFS 的大數(shù)據(jù)存儲和在線服務(wù)體系，支持 Erasure Code，在副本數(shù)降低至 倍的情況下，提高了可靠性，可同時容忍四個數(shù)據(jù)塊丟失，支持可靠存 儲 TB級到數(shù)十 PB 級的數(shù)據(jù)量。? 資源管理層：缺省采用下一代資源管理框架 YARN 進(jìn)行資源的分配和調(diào)度，支持同時運行多個計算框架。? 計算引擎層：采用 Map/Reduce 2 完成大部分離線批處理計算任務(wù)。? 數(shù)據(jù)分析與挖掘?qū)樱褐С蛛x線批量 SQL 統(tǒng)計，支持 R 語言以及機(jī)器學(xué)習(xí)算法庫 Mahout。? 數(shù)據(jù)集成層：Sqoop 支持從 DB 到 Hadoop 的數(shù)據(jù)遷移，F(xiàn)lume 支持從日志系 統(tǒng)采集數(shù)據(jù)。精選資料可修改編輯. HIVE 分布式內(nèi)存分析引擎HIVE 內(nèi)存分析引擎提供大數(shù)據(jù)的交互式 SQL 統(tǒng)計和 R 語言挖掘能力。它具有以下一些特點：? 高性能：HIVE 支持將二 維數(shù)據(jù)表緩 存入獨立的分布式內(nèi)存（或 SSD）中，建立列式存儲、分區(qū)/ 分塊和索引，采用改 進(jìn)后的 Apache Spark 作為執(zhí)行引擎，SQL 執(zhí)行性能比Apache Hadoop/Hive 快 10~100 倍左右。? 更強(qiáng)的 SQL 支持：HIVE 同時兼容 Oracle PL/SQL 和 HiveQL 語法，自動識別不同語法，支持存儲過程和函數(shù)，支持常用 Oracle 擴(kuò)展函數(shù)。完整的 SQL 支持幫助用戶平滑地從原有關(guān)系數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺。? 更強(qiáng)的統(tǒng)計分析能力：用戶可以通過 RStudio 或者 R 命令行訪問存儲在分布式內(nèi)存中的數(shù)據(jù)，R 語言中數(shù)千個統(tǒng)計算法可以和浪潮 HIVE 提供的分布式并行數(shù)據(jù)挖掘算法交替混合使用，為各行業(yè)進(jìn)行大數(shù)據(jù)挖掘提供了易用而強(qiáng)大的分析工具。? 支持廣泛的 BI 和報表工具：HIVE 可以和常用的 BI 工具 對接，包括 Tableau, SAP Business Objects, Oracle OBIEE 等，用戶無需編程就可以方便地為大數(shù)據(jù)創(chuàng) 建美麗的報表，通過浪潮 HIVE 提供的高速大數(shù)據(jù)統(tǒng)計分析能力提高決策效率；? 高擴(kuò)展能力：Inceptor 可以隨著集群 規(guī)模的擴(kuò)展，線性擴(kuò)展處理能力，可以支持從 GB 到數(shù)百TB 的數(shù)據(jù)處理。. HBASE 分布式 實時在線數(shù)據(jù)處理引擎HBASE 實時在線數(shù)據(jù)處理引擎以 Apache HBase 為基礎(chǔ)，是企 業(yè)建立高并發(fā)的在線業(yè)務(wù)系統(tǒng)的最佳選擇。它有以下特點：? 多種數(shù)據(jù)類型支持：HBASE 支持從 GB 到數(shù)十 PB 數(shù)據(jù)的處理，支持廣泛的數(shù)據(jù)類型，包括對結(jié)構(gòu)化記錄、半 結(jié)構(gòu)化文本、圖數(shù)據(jù)、非 結(jié)構(gòu)化數(shù)據(jù)（圖片、音 頻、二進(jìn)制文檔等）的存儲、搜精選資料可修改編輯索、統(tǒng)計和分析。? 高速數(shù)據(jù)處理能力：HBASE 支持高速的數(shù)據(jù)檢索、搜索和 統(tǒng)計；根據(jù)索引 進(jìn)行檢索的延時在數(shù)毫秒到數(shù)百毫秒量級；支持上億的并發(fā)用戶同時進(jìn)行數(shù)據(jù)插入、修改、查詢和檢索；支持對文本建立增量全文索引并且支持秒級的全文關(guān)鍵字搜索。? 高效 OLAP 和批量統(tǒng)計：HBASE 為 HIVE 引擎提供高效數(shù)據(jù)掃描接口，通 過 HIVE 的擴(kuò)展 SQL 語法，充分利用浪潮 HBASE 的內(nèi)部數(shù)據(jù)結(jié)構(gòu)以及全局/輔助索引進(jìn)行 SQL 執(zhí)行加速，可以滿足高速的 OLAP 數(shù)據(jù)分析應(yīng)用需求；同時也支持高速的 SQL 離線批處理，性能接近于存儲在 HDFS 上的相同數(shù)據(jù)的統(tǒng)計。? 高效圖計算：HBASE 提供構(gòu)造圖形的 API，幫助用 戶構(gòu)造由上億頂 點組成的復(fù)雜大圖，同 時提供專有的高效圖算法，包括關(guān)聯(lián)網(wǎng)絡(luò)的高速分析。. Stream 流處理引擎Stream 實時流 處理引擎以 Spark Streaming 為基礎(chǔ)。Spark Streaming 提供了強(qiáng)大的流計算（Streaming ）表達(dá)能力，支持 DAG（有向無 環(huán)圖）計算模型；而 Hadoop 類的批處理系統(tǒng)只能通過外圍組件連接多個批次的作業(yè)完成復(fù)雜多階段作業(yè)處理，系統(tǒng)復(fù)雜而低效。Streaming 中的復(fù) 雜應(yīng)用邏輯以 DAG 形式的服務(wù)常 駐在集群內(nèi)存中，生產(chǎn)系統(tǒng)的消息通過實時消息隊列進(jìn)入計算集群，在集群內(nèi)以 Pipeline 方式被依次處理，完成ETL、特征提取、策略檢查 、分析告警等復(fù)雜服務(wù)計算，最終輸出到 HBase 等存儲集群、告警頁面、實時展示頁面等。系統(tǒng)具備強(qiáng)擴(kuò)展性、強(qiáng)容錯、低延 遲、高吞吐等特點，成熟應(yīng)用于傳感器網(wǎng)絡(luò)數(shù)據(jù)處理、服 務(wù)監(jiān)控、反作弊、實時報表系統(tǒng)等業(yè)務(wù)。Streaming 支持 Kafka, Flume 等常見消息隊列或采集工具。. 服務(wù)器虛擬化精選資料可修改編輯. 設(shè)計理念浪潮云海?服 務(wù)器虛擬化系 統(tǒng)是浪潮云計算解決方案的核心基礎(chǔ)，主要 負(fù)責(zé)完成底層物理資源的虛擬融合、按需分配與高效管理，可以 顯著提高資源交付的敏捷性和靈活性，提升資源的使用效率，為上層業(yè)務(wù)提供不間 斷地資源保障與可伸縮的資源供給。浪潮云海?服 務(wù)器虛擬化系 統(tǒng)為計算、存儲和網(wǎng)絡(luò)提供了完整的虛 擬化解決方案，支持資源的靈活分配、動態(tài)組 合、在 線調(diào)整與智能調(diào) 度，并以虛 擬機(jī)或虛擬集群的形式將最終資源呈現(xiàn)給用戶。 該系統(tǒng)既可以單獨使用，也可以配合浪潮云計算管理平臺來構(gòu)建更大范圍的云數(shù)據(jù)中心或者 IaaS 系統(tǒng)，同時 本系統(tǒng)還提供了開放接口，支持二次開發(fā)，方便與其他管理平臺整合。在設(shè)計理念上，整個系統(tǒng)遵循了以下幾個原則：? 命令查詢職責(zé)分離（CQRS ）CQRS 原則基于一個簡單 的事實：資源（對象）的行 為只有兩種，即命令（Command）和查詢（Query ）。命令可以改 變資源的狀 態(tài)，而 查詢不會?；谶@一原則，系統(tǒng)可以分為兩個部分，命令部分和查詢部分，并采用不同的技術(shù)加以實現(xiàn)和優(yōu)化，簡化整個系統(tǒng)的設(shè)計，提升整個系統(tǒng)的性能和可維護(hù)性。? 獨立的認(rèn)證服務(wù)服務(wù)器虛擬化是一個復(fù)雜的軟件系統(tǒng)，由多個不同功能的模塊組合而成，安全認(rèn)證是每個模塊必須的邏輯。獨立的認(rèn)證服務(wù)從系統(tǒng)層面劃分出來一個切面，實現(xiàn)集中式的認(rèn)證管理，其他