【文章內(nèi)容簡介】 的同時，考慮最優(yōu)的性價比；堅持系統(tǒng)建設投資經(jīng)濟合理性的原則；? 高可靠性：全冗余設計，避免任何的單點故障，以保 證系統(tǒng)的可靠性，同時便于維護，減少計劃內(nèi)停機次數(shù)；? 高安全性： 保證系統(tǒng)數(shù)據(jù)的安全，做到重要數(shù)據(jù)冗余存儲，提供備份、容災及 應急設計；? 平滑擴展性：基于統(tǒng)一標準設計的硬件平臺架構，具有平滑擴展的能力，可在未來方便的根據(jù)客戶需求增添新的硬件；? 開放性與標準化：采用標準的技術以保證與其他廠家的產(chǎn)品相兼容；? 產(chǎn)品利用率：考慮現(xiàn)有設備的使用情況，提高產(chǎn)品的利用率。降低總體擁有成本、提升服務水平、管理系 統(tǒng)風險是整個硬件平臺方案的設計戰(zhàn)略思想。本次設計滿足當前 階段應用需求的同時，具備升級擴容能力， 繼續(xù)滿足下一階段的應用需求。精選資料可修改編輯. 系統(tǒng)架構. 分布式數(shù)據(jù)庫系統(tǒng). MPP + Share Nothing 架構分布式數(shù)據(jù)庫采用完全并行的 MPP + Share Nothing 的分布式扁平架構， 這種架構中的每一個節(jié)點（ Node ）都是獨立的、自給的、節(jié)點之間對等，而且整個系統(tǒng)中不存在單點瓶頸，具有非常強 的擴展性。 . 核心組件分布式數(shù)據(jù)庫產(chǎn)品總共包含三大核心組件，即 GCluster、GCware 和 GNode。精選資料可修改編輯GCWare 用于各 節(jié)點 GCluster 和 GNode 實例間共享信息，GCluster 負責集群調度，每個 GNode 就是最基本的存儲和計算單元。GCluster：GCluster 負責 SQL 的解析、SQL 優(yōu)化、分布式執(zhí)行計劃生成、執(zhí)行調度。GCWare：GCWare 用于各 節(jié)點 GCluster 和 GNode 實例間共享信息(包括集群結構，節(jié)點狀態(tài)，節(jié)點 資源狀態(tài)等信息) ，以及控制多副本數(shù)據(jù)操作時，提供可操作 節(jié)點，并在多副本操作中，控制各節(jié)點數(shù)據(jù)一致性狀態(tài)。GCWare 對于集群的管理工作是以節(jié)點為基本單位的。GNode：GNode 是 GCluster 中最基本的存儲和計算單元。GNode 是由 GCWare 管理的一個 8a 實例，每個 GCluster 節(jié)點上有一個 GNode實例運行。GNode 負責集群數(shù)據(jù)在 節(jié) 點上的實際存儲，并從 GCluster 接收和執(zhí)行經(jīng)分解的SQL 執(zhí) 行計劃，執(zhí)行結果返回給 GCluster。數(shù)據(jù)加載時，GNode 直接從集群加載服務接收數(shù)據(jù)，寫入本地存儲空間。. 高可用分布式數(shù)據(jù)庫通過 SafeGroup 組內(nèi)冗余機制來保證集群的高可用特性：? 每個 SafeGroup 可提供 1 個或 2 個副本數(shù)據(jù)冗余。? SafeGroup 內(nèi)數(shù)據(jù)副本自 動同步。? 復制引擎自動管理數(shù)據(jù)同步。? 采用扁平架構，每一個節(jié)點都可以充當主控節(jié)點，避免了 Master 節(jié)點產(chǎn)生的瓶頸以及當 Master 與 Standby 宕機產(chǎn)生的整個集群不可用。精選資料可修改編輯 . 高性能在線擴展分布式數(shù)據(jù)庫具備在線擴展技術：通過 SafeGroup 動態(tài)擴展集群 節(jié)點， 實際可擴展到 64 3（192）個節(jié)點；每個節(jié)點可以處理 100 TB 有效數(shù)據(jù)，同 時提供計算和存 儲能力；GCware 負責新節(jié)點的數(shù)據(jù)同步。 因為浪潮分布式數(shù)據(jù)庫采用高性能單節(jié)點的 MPP 扁平架構，因此進行集群擴展時，可以保證平滑擴展和性能的線性增長特性。精選資料可修改編輯 . 高性能數(shù)據(jù)加載數(shù)據(jù)加載功能作為浪潮分布式數(shù)據(jù)庫的一部分而存在，目的是將用戶從其他數(shù)據(jù)源得到的原始數(shù)據(jù)文件，按照某種加載規(guī)則分發(fā)至集群節(jié)點，集群各節(jié)點接收數(shù)據(jù)入庫保存到本地磁盤。分布式數(shù)據(jù)庫支持數(shù)據(jù)高效并行加載，數(shù)據(jù)加載速度隨節(jié)點的擴展而呈現(xiàn)線性增加。集群加載采用 C/S 架構，包括數(shù)據(jù)分 發(fā)服務器和數(shù)據(jù)分發(fā)客戶端兩個應用程序。數(shù)據(jù)分發(fā)服務器接收到客戶端的數(shù)據(jù)加載請求后，服務器端負責原始數(shù)據(jù)文件切分和數(shù)據(jù)文件的下發(fā)；各節(jié)點調用本地的集群加載服務接收數(shù)據(jù)入庫并保存到本地磁盤。 精選資料可修改編輯. OLAP 函數(shù)分布式數(shù)據(jù)庫提供 OLAP 函數(shù)，用于支持復雜的分析操作，側重對決策人員和高層管理人員的決策支持?？筛鶕?jù)分析人員的要求，快速靈活地進行大數(shù)據(jù)量的復雜查詢處理，以便他們準確掌握企業(yè)的經(jīng)營狀況，了解被服務對象的需求，制定正確的方案。. Hadoop 集群Hadoop 技術給 客戶提供穩(wěn)定的、可靠的、易用的大數(shù)據(jù)設計架構，其組件包括:：Hadoop 企業(yè) 版，HIVE 分布式內(nèi)存分析引擎， HBASE 分布式實時在線數(shù)據(jù)處理引擎和 Stream 流處 理引擎。其特點如下：. Hadoop 企業(yè)版Hadoop 企業(yè) 版具有高模塊化和松耦合的五層架構，針對不同的應用領域通過組件之間的靈活組合與高效協(xié)作來提供定制化的支撐。? 數(shù)據(jù)存儲層： 基于 HDFS 的大數(shù)據(jù)存儲和在線服務體系，支持 Erasure Code，在副本數(shù)降低至 倍的情況下，提高了可靠性，可同時容忍四個數(shù)據(jù)塊丟失，支持可靠存 儲 TB級到數(shù)十 PB 級的數(shù)據(jù)量。? 資源管理層：缺省采用下一代資源管理框架 YARN 進行資源的分配和調度，支持同時運行多個計算框架。? 計算引擎層：采用 Map/Reduce 2 完成大部分離線批處理計算任務。? 數(shù)據(jù)分析與挖掘層：支持離線批量 SQL 統(tǒng)計，支持 R 語言以及機器學習算法庫 Mahout。? 數(shù)據(jù)集成層：Sqoop 支持從 DB 到 Hadoop 的數(shù)據(jù)遷移，F(xiàn)lume 支持從日志系 統(tǒng)采集數(shù)據(jù)。精選資料可修改編輯. HIVE 分布式內(nèi)存分析引擎HIVE 內(nèi)存分析引擎提供大數(shù)據(jù)的交互式 SQL 統(tǒng)計和 R 語言挖掘能力。它具有以下一些特點：? 高性能：HIVE 支持將二 維數(shù)據(jù)表緩 存入獨立的分布式內(nèi)存（或 SSD）中，建立列式存儲、分區(qū)/ 分塊和索引，采用改 進后的 Apache Spark 作為執(zhí)行引擎，SQL 執(zhí)行性能比Apache Hadoop/Hive 快 10~100 倍左右。? 更強的 SQL 支持：HIVE 同時兼容 Oracle PL/SQL 和 HiveQL 語法，自動識別不同語法，支持存儲過程和函數(shù)，支持常用 Oracle 擴展函數(shù)。完整的 SQL 支持幫助用戶平滑地從原有關系數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺。? 更強的統(tǒng)計分析能力：用戶可以通過 RStudio 或者 R 命令行訪問存儲在分布式內(nèi)存中的數(shù)據(jù)，R 語言中數(shù)千個統(tǒng)計算法可以和浪潮 HIVE 提供的分布式并行數(shù)據(jù)挖掘算法交替混合使用，為各行業(yè)進行大數(shù)據(jù)挖掘提供了易用而強大的分析工具。? 支持廣泛的 BI 和報表工具：HIVE 可以和常用的 BI 工具 對接，包括 Tableau, SAP Business Objects, Oracle OBIEE 等，用戶無需編程就可以方便地為大數(shù)據(jù)創(chuàng) 建美麗的報表，通過浪潮 HIVE 提供的高速大數(shù)據(jù)統(tǒng)計分析能力提高決策效率；? 高擴展能力：Inceptor 可以隨著集群 規(guī)模的擴展，線性擴展處理能力，可以支持從 GB 到數(shù)百TB 的數(shù)據(jù)處理。. HBASE 分布式 實時在線數(shù)據(jù)處理引擎HBASE 實時在線數(shù)據(jù)處理引擎以 Apache HBase 為基礎，是企 業(yè)建立高并發(fā)的在線業(yè)務系統(tǒng)的最佳選擇。它有以下特點：? 多種數(shù)據(jù)類型支持：HBASE 支持從 GB 到數(shù)十 PB 數(shù)據(jù)的處理，支持廣泛的數(shù)據(jù)類型，包括對結構化記錄、半 結構化文本、圖數(shù)據(jù)、非 結構化數(shù)據(jù)（圖片、音 頻、二進制文檔等）的存儲、搜精選資料可修改編輯索、統(tǒng)計和分析。? 高速數(shù)據(jù)處理能力：HBASE 支持高速的數(shù)據(jù)檢索、搜索和 統(tǒng)計；根據(jù)索引 進行檢索的延時在數(shù)毫秒到數(shù)百毫秒量級；支持上億的并發(fā)用戶同時進行數(shù)據(jù)插入、修改、查詢和檢索；支持對文本建立增量全文索引并且支持秒級的全文關鍵字搜索。? 高效 OLAP 和批量統(tǒng)計：HBASE 為 HIVE 引擎提供高效數(shù)據(jù)掃描接口，通 過 HIVE 的擴展 SQL 語法，充分利用浪潮 HBASE 的內(nèi)部數(shù)據(jù)結構以及全局/輔助索引進行 SQL 執(zhí)行加速，可以滿足高速的 OLAP 數(shù)據(jù)分析應用需求；同時也支持高速的 SQL 離線批處理，性能接近于存儲在 HDFS 上的相同數(shù)據(jù)的統(tǒng)計。? 高效圖計算：HBASE 提供構造圖形的 API，幫助用 戶構造由上億頂 點組成的復雜大圖，同 時提供專有的高效圖算法，包括關聯(lián)網(wǎng)絡的高速分析。. Stream 流處理引擎Stream 實時流 處理引擎以 Spark Streaming 為基礎。Spark Streaming 提供了強大的流計算（Streaming ）表達能力，支持 DAG（有向無 環(huán)圖）計算模型；而 Hadoop 類的批處理系統(tǒng)只能通過外圍組件連接多個批次的作業(yè)完成復雜多階段作業(yè)處理，系統(tǒng)復雜而低效。Streaming 中的復 雜應用邏輯以 DAG 形式的服務常 駐在集群內(nèi)存中，生產(chǎn)系統(tǒng)的消息通過實時消息隊列進入計算集群，在集群內(nèi)以 Pipeline 方式被依次處理，完成ETL、特征提取、策略檢查 、分析告警等復雜服務計算，最終輸出到 HBase 等存儲集群、告警頁面、實時展示頁面等。系統(tǒng)具備強擴展性、強容錯、低延 遲、高吞吐等特點，成熟應用于傳感器網(wǎng)絡數(shù)據(jù)處理、服 務監(jiān)控、反作弊、實時報表系統(tǒng)等業(yè)務。Streaming 支持 Kafka, Flume 等常見消息隊列或采集工具。. 服務器虛擬化精選資料可修改編輯. 設計理念浪潮云海?服 務器虛擬化系 統(tǒng)是浪潮云計算解決方案的核心基礎，主要 負責完成底層物理資源的虛擬融合、按需分配與高效管理，可以 顯著提高資源交付的敏捷性和靈活性，提升資源的使用效率，為上層業(yè)務提供不間 斷地資源保障與可伸縮的資源供給。浪潮云海?服 務器虛擬化系 統(tǒng)為計算、存儲和網(wǎng)絡提供了完整的虛 擬化解決方案，支持資源的靈活分配、動態(tài)組 合、在 線調整與智能調 度，并以虛 擬機或虛擬集群的形式將最終資源呈現(xiàn)給用戶。 該系統(tǒng)既可以單獨使用，也可以配合浪潮云計算管理平臺來構建更大范圍的云數(shù)據(jù)中心或者 IaaS 系統(tǒng)，同時 本系統(tǒng)還提供了開放接口，支持二次開發(fā)，方便與其他管理平臺整合。在設計理念上，整個系統(tǒng)遵循了以下幾個原則：? 命令查詢職責分離（CQRS ）CQRS 原則基于一個簡單 的事實：資源（對象）的行 為只有兩種，即命令（Command）和查詢（Query ）。命令可以改 變資源的狀 態(tài)，而 查詢不會?；谶@一原則，系統(tǒng)可以分為兩個部分，命令部分和查詢部分，并采用不同的技術加以實現(xiàn)和優(yōu)化，簡化整個系統(tǒng)的設計，提升整個系統(tǒng)的性能和可維護性。? 獨立的認證服務服務器虛擬化是一個復雜的軟件系統(tǒng)，由多個不同功能的模塊組合而成，安全認證是每個模塊必須的邏輯。獨立的認證服務從系統(tǒng)層面劃分出來一個切面，實現(xiàn)集中式的認證管理，其他