h3c大數(shù)據(jù)產(chǎn)品技術(shù)白皮書-文庫吧資料
2025-07-19 20:36本頁面
【正文】 換及數(shù)據(jù)ETL的管理。安全管理支持本地、LDAP和Kerberos多種身份認(rèn)證方式，實(shí)現(xiàn)訪問權(quán)限控制。版本管理實(shí)現(xiàn)HDP Stack可用服務(wù)和軟件版本的管理功能。監(jiān)控和告警監(jiān)控集群運(yùn)行的健康狀態(tài)，在特定的情況下發(fā)出信息，幫助識(shí)別和定位問題原因。服務(wù)管理對(duì)集群的各項(xiàng)服務(wù)做集中式管理，提供啟動(dòng)服務(wù)、停止服務(wù)、修改屬性和設(shè)定運(yùn)行參數(shù)等功能。用戶和組管理支持單用戶和用戶組管理，便捷的用戶和組的增刪操作，提供不同級(jí)別的訪問權(quán)限控制；主機(jī)管理實(shí)時(shí)監(jiān)控主機(jī)各項(xiàng)硬件資源(CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等)及其上承載的服務(wù)的運(yùn)行狀態(tài)。機(jī)架管理實(shí)現(xiàn)HDFS副本存放策略的可視化管理。 產(chǎn)品功能簡介服務(wù)名稱服務(wù)功能說明安裝部署提供定制部署、Zero部署和虛機(jī)部署等多種集群部署方式，滿足用戶不用應(yīng)用場景需求。MPP分布式數(shù)據(jù)庫H3C MPP關(guān)系型數(shù)據(jù)庫集群，良好的SQL語言支持。Mahout機(jī)器學(xué)習(xí)算法庫，3個(gè)主要應(yīng)用場景是協(xié)作篩選、集群和分類，可使用MR、Scala、Spark來提交Mahout接口。將HiveQL轉(zhuǎn)換為MapReduce任務(wù)，從而完成海量數(shù)據(jù)的查詢和分析。Flume一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。具有容量巨大、面向列存儲(chǔ)和權(quán)限控制、稀疏性、高可用和高性能等特點(diǎn)。提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合存儲(chǔ)超大數(shù)據(jù)集。將MR程序轉(zhuǎn)化為有向無環(huán)圖，大大提升性能。Storm流處理框架，具有效率高、能保證每條消息都能被處理和實(shí)踐應(yīng)用很多等優(yōu)點(diǎn)。Spark迭代計(jì)算框架，基于內(nèi)存計(jì)算。用戶只需關(guān)注上層應(yīng)用的邏輯，完全不用關(guān)注底層分布式細(xì)節(jié)，大大提升了分布式應(yīng)用開發(fā)的效率和質(zhì)量。Kerberos一個(gè)基于共享密鑰對(duì)稱加密的安全網(wǎng)絡(luò)認(rèn)證系統(tǒng)，可防止對(duì)集群的惡意使用和篡改，保障Hadoop集群的安全可靠。Oozie提供Hadoop作業(yè)工作流管理功能，可管理MR、Hive、Pig、Sqoop和HDFS 等任務(wù)。提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。可使MapReduce、Spark、Storm等共存。提供集群快速安裝部署、機(jī)架展示、用戶權(quán)限管理、主機(jī)與服務(wù)管理、監(jiān)控及告警通知等多方面支持，在可管理性方面優(yōu)勢(shì)顯著。主要包括SQL接口、MapReduce/Spark/Storm計(jì)算接口等多種可編程API、全文實(shí)時(shí)搜索接口、業(yè)務(wù)定向接口、關(guān)聯(lián)查詢接口，滿足數(shù)據(jù)查詢、可視化BI展示、數(shù)據(jù)交換、數(shù)據(jù)分析、目錄服務(wù)、綜合查詢等業(yè)務(wù)應(yīng)用的需要?？蓭椭髽I(yè)建立高速可擴(kuò)展的數(shù)據(jù)倉庫和數(shù)據(jù)集市，結(jié)合多種報(bào)表工具提供交互式數(shù)據(jù)分析、即時(shí)報(bào)表和BI可視化展示能力。數(shù)據(jù)分析挖掘? 支持R語言，集成機(jī)器學(xué)習(xí)算法庫Mahout和Spark MLlib，包含聚類分析、分類算法、頻度關(guān)聯(lián)分析和推薦系統(tǒng)在內(nèi)的常用機(jī)器學(xué)習(xí)算法。該過程由一個(gè)統(tǒng)一的操作接口封裝，經(jīng)過無代碼的可視化配置后，可實(shí)現(xiàn)自動(dòng)化地、分布式地執(zhí)行整個(gè)ETL作業(yè)流程。支持從DBMS、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、企業(yè)生產(chǎn)系統(tǒng)等各種數(shù)據(jù)源中提取數(shù)據(jù)。高性價(jià)比的分布式集群? 基于x86服務(wù)器本地的計(jì)算與存儲(chǔ)資源，計(jì)算集群可以動(dòng)態(tài)調(diào)整，從數(shù)臺(tái)到數(shù)千臺(tái)之間彈性擴(kuò)展，按需構(gòu)建應(yīng)用，減少總體成本；同時(shí)，在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可靠因素，在軟件層面提供計(jì)算和存儲(chǔ)的高可靠保證，具備較強(qiáng)的容錯(cuò)性。集成MapReduce、Spark、Storm、Tez等多種計(jì)算框架，利用YARN資源管理做統(tǒng)一管理，可在同一份數(shù)據(jù)集上運(yùn)行多
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1