h3c大數(shù)據(jù)產(chǎn)品技術(shù)白皮書(參考版)
2025-07-16 20:36本頁面
【正文】 拼一個(gè)春夏秋冬！贏一個(gè)無悔人生！早安！—————獻(xiàn)給所有努力的人. 學(xué)習(xí)好幫手。不奮斗就是每天都很容易，可一年一年越來越難。是狼就要練好牙，是羊就要練好腿。DataEngine MPP Cluster提供的行列混合存儲(chǔ)技術(shù)，它通過創(chuàng)建行存列的機(jī)制，減少I/O訪問的次數(shù)，從而有效地提高I/O性能。可根據(jù)分析人員的要求，快速靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，以便他們準(zhǔn)確掌握企業(yè)的經(jīng)營(yíng)狀況，了解被服務(wù)對(duì)象的需求，制定正確的方案。數(shù)據(jù)分發(fā)服務(wù)器接收到客戶端的數(shù)據(jù)加載請(qǐng)求后，服務(wù)器端負(fù)責(zé)原始數(shù)據(jù)文件切分和數(shù)據(jù)文件的下發(fā)；各節(jié)點(diǎn)調(diào)用本地的集群加載服務(wù)接收數(shù)據(jù)入庫并保存到本地磁盤。圖 3 4 DataEngine MPP Cluster高性能高擴(kuò)展示意圖 高性能數(shù)據(jù)加載數(shù)據(jù)加載功能作為DataEngine MPP Cluster的一部分而存在，目的是將用戶從其他數(shù)據(jù)源得到的原始數(shù)據(jù)文件，按照某種加載規(guī)則分發(fā)至集群節(jié)點(diǎn)，集群各節(jié)點(diǎn)接收數(shù)據(jù)入庫保存到本地磁盤。 高可用DataEngine MPP Cluster通過SafeGroup組內(nèi)冗余機(jī)制來保證集群的高可用特性：1) 每個(gè)SafeGroup可提供1個(gè)或2個(gè)副本數(shù)據(jù)冗余；2) SafeGroup 內(nèi)數(shù)據(jù)副本自動(dòng)同步；3) 復(fù)制引擎自動(dòng)管理數(shù)據(jù)同步；圖 3 2 SafeGroup高可用性管理示意圖 高性能擴(kuò)展能力DataEngine MPP Cluster具備高性能擴(kuò)展能力：1) 通過SafeGroup 動(dòng)態(tài)擴(kuò)展集群節(jié)點(diǎn)；2) 每個(gè)節(jié)點(diǎn)可以處理10TB有效數(shù)據(jù)，同時(shí)提供計(jì)算和存儲(chǔ)能力；3) GCware 負(fù)責(zé)新節(jié)點(diǎn)的數(shù)據(jù)同步。GCMonit：GCMonit用于定期監(jiān)測(cè)DataEngine MPP Cluster服務(wù)程序的運(yùn)行狀態(tài), 一旦發(fā)現(xiàn)某個(gè)服務(wù)程序的進(jìn)程狀態(tài)發(fā)生變化，就會(huì)根據(jù)配置文件中的內(nèi)容來執(zhí)行相應(yīng)的命令。GNode負(fù)責(zé)集群數(shù)據(jù)在節(jié)點(diǎn)上的實(shí)際存儲(chǔ)，并從GCluster接收和執(zhí)行經(jīng)分解的SQL執(zhí)行計(jì)劃，執(zhí)行結(jié)果返回給GCluster。GNode：GNode是GCluster中最基本的存儲(chǔ)和計(jì)算單元。GCWare：GCWare用于各節(jié)點(diǎn)GCluster實(shí)例間共享信息(包括集群結(jié)構(gòu)，節(jié)點(diǎn)狀態(tài)，節(jié)點(diǎn)資源狀態(tài)等信息)，以及控制多副本數(shù)據(jù)操作時(shí)，提供可操作節(jié)點(diǎn)，并在多副本操作中，控制各節(jié)點(diǎn)數(shù)據(jù)一致性狀態(tài)。GCWare用于各節(jié)點(diǎn)GCluster實(shí)例間共享信息，GCluster負(fù)責(zé)集群調(diào)度，每個(gè)GNode就是最基本的存儲(chǔ)和計(jì)算單元。第2章3 DataEngine MPP Cluster核心技術(shù) MPP + Shared Nothing架構(gòu)DataEngine MPP Cluster采用完全并行的 MPP + Shared Nothing 的分布式扁平架構(gòu)，這種架構(gòu)中的每一個(gè)節(jié)點(diǎn)（node）都是獨(dú)立的、自給的、節(jié)點(diǎn)之間對(duì)等，而且整個(gè)系統(tǒng)中不存在單點(diǎn)瓶頸，具有非常強(qiáng)的擴(kuò)展性。l 內(nèi)存計(jì)算： Spark是一種內(nèi)存計(jì)算框架，它將數(shù)據(jù)盡可能放到內(nèi)存中以提高迭代應(yīng)用和交互式應(yīng)用的計(jì)算效率。HBase適合于存儲(chǔ)大表數(shù)據(jù)（表的規(guī)?？梢赃_(dá)到數(shù)十億行以及數(shù)百萬列），并且對(duì)大表數(shù)據(jù)的讀、寫訪問可以達(dá)到實(shí)時(shí)級(jí)別。l 分布式文件系統(tǒng)HDFS：分布式文件系統(tǒng)，有較強(qiáng)的容錯(cuò)性，可在x86平臺(tái)上運(yùn)行，減少總體成本，可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用。H3C通過對(duì)Hadoop開源組件的封裝和增強(qiáng)，對(duì)外提供數(shù)據(jù)分布式計(jì)算存儲(chǔ)、數(shù)據(jù)分析能力。數(shù)據(jù)管理實(shí)現(xiàn)數(shù)據(jù)的壓縮、備份、交
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1