h3c大數(shù)據(jù)產(chǎn)品技術(shù)白皮書(編輯修改稿)
2025-08-09 20:36 本頁面
【文章內(nèi)容簡介】 Spark、Storm等共存。ZooKeeper分布式應用程序協(xié)調(diào)服務，保證集群的一致性。提供的功能包括：配置維護、名字服務、分布式同步、組服務等。Slider將已存在服務部署在YARN集群上，而不用修改已存在服務。Oozie提供Hadoop作業(yè)工作流管理功能，可管理MR、Hive、Pig、Sqoop和HDFS 等任務。Kafka一種低時延高吞吐量的分布式發(fā)布/訂閱消息系統(tǒng)，同時滿足在線和離線處理海量消息數(shù)據(jù)派發(fā)。Kerberos一個基于共享密鑰對稱加密的安全網(wǎng)絡認證系統(tǒng)，可防止對集群的惡意使用和篡改，保障Hadoop集群的安全可靠。計算服務MapReduce批處理框架，將一個大任務分成多個獨立的小任務，最后匯總各個小任務的結(jié)果。用戶只需關(guān)注上層應用的邏輯，完全不用關(guān)注底層分布式細節(jié)，大大提升了分布式應用開發(fā)的效率和質(zhì)量。主要用于離線計算和計算密集型應用。Spark迭代計算框架，基于內(nèi)存計算。性能比MR快10100倍，通用性好，支持批處理、流處理、SQL查詢、機器學習、圖計算等。Storm流處理框架，具有效率高、能保證每條消息都能被處理和實踐應用很多等優(yōu)點。TezMapReduce程序性能優(yōu)化器。將MR程序轉(zhuǎn)化為有向無環(huán)圖，大大提升性能。存儲服務HDFSHadoop分布式文件系統(tǒng)，具有高容錯性，可以部署在廉價的機器上。提供高吞吐量來訪問應用程序的數(shù)據(jù)，適合存儲超大數(shù)據(jù)集。HBase分布式、面向列數(shù)據(jù)庫，利用HDFS作為持久化數(shù)據(jù)存儲，使用Zookeeper作為協(xié)同服務組件。具有容量巨大、面向列存儲和權(quán)限控制、稀疏性、高可用和高性能等特點。數(shù)據(jù)處理SqoopHadoop和關(guān)系型數(shù)據(jù)庫之間進行批量數(shù)據(jù)轉(zhuǎn)移的工具。Flume一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。Hive基于Hadoop的數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，采用HiveQL作為查詢語言。將HiveQL轉(zhuǎn)換為MapReduce任務，從而完成海量數(shù)據(jù)的查詢和分析。Pig基于Hadoop的數(shù)據(jù)流處理引擎，將類SQL的數(shù)據(jù)分析請求轉(zhuǎn)換為Map/Reduce任務。Mahout機器學習算法庫，3個主要應用場景是協(xié)作篩選、集群和分類，可使用MR、Scala、Spark來提交Mahout接口。數(shù)據(jù)即服務提供機器學習Mahout、數(shù)據(jù)挖掘、數(shù)據(jù)檢索、R語言、交互式SQL（SQL on Hadoop）、可編程API等功能，滿足上次應用開發(fā)需求。MPP分布式數(shù)據(jù)庫H3C MPP關(guān)系型數(shù)據(jù)庫集群，良好的SQL語言支持。高性能、高容錯、高可用。 產(chǎn)品功能簡介服務名稱服務功能說明安裝部署提供定制部署、Zero部署和虛機部署等多種集群部署方式，滿足用戶不用應用場景需求。提供Web圖形化界面和快速向?qū)?，引導用戶快捷高效地建立集群。機架管理實現(xiàn)HDFS副本存放策略的可視化管理。配置管理實現(xiàn)集群各項服務配置參數(shù)的歷史快照功能，記錄配置變更，方便性能調(diào)優(yōu)。用戶和組管理支持單用戶和用戶組管理，便捷的用戶和組的增刪操作，提供不同級別的訪問權(quán)限控制；主機管理實時監(jiān)控主機各項硬件資源(CPU、內(nèi)存、磁盤、網(wǎng)絡等)及其上承載的服務的運行狀態(tài)。執(zhí)行主機級別操作如停止、運行主機上的服務等。服務管理對集群的各項服務做集中式管理，提供啟動服務、停止服務、修改屬性和設定運行參數(shù)等功能。實現(xiàn)集群各項服務運行狀態(tài)(基本信息、告
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1