h3c大數(shù)據(jù)產(chǎn)品技術(shù)白皮書(編輯修改稿)
2025-08-09 20:36 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 Spark、Storm等共存。ZooKeeper分布式應(yīng)用程序協(xié)調(diào)服務(wù)，保證集群的一致性。提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。Slider將已存在服務(wù)部署在YARN集群上，而不用修改已存在服務(wù)。Oozie提供Hadoop作業(yè)工作流管理功能，可管理MR、Hive、Pig、Sqoop和HDFS 等任務(wù)。Kafka一種低時(shí)延高吞吐量的分布式發(fā)布/訂閱消息系統(tǒng)，同時(shí)滿足在線和離線處理海量消息數(shù)據(jù)派發(fā)。Kerberos一個(gè)基于共享密鑰對(duì)稱加密的安全網(wǎng)絡(luò)認(rèn)證系統(tǒng)，可防止對(duì)集群的惡意使用和篡改，保障Hadoop集群的安全可靠。計(jì)算服務(wù)MapReduce批處理框架，將一個(gè)大任務(wù)分成多個(gè)獨(dú)立的小任務(wù)，最后匯總各個(gè)小任務(wù)的結(jié)果。用戶只需關(guān)注上層應(yīng)用的邏輯，完全不用關(guān)注底層分布式細(xì)節(jié)，大大提升了分布式應(yīng)用開發(fā)的效率和質(zhì)量。主要用于離線計(jì)算和計(jì)算密集型應(yīng)用。Spark迭代計(jì)算框架，基于內(nèi)存計(jì)算。性能比MR快10100倍，通用性好，支持批處理、流處理、SQL查詢、機(jī)器學(xué)習(xí)、圖計(jì)算等。Storm流處理框架，具有效率高、能保證每條消息都能被處理和實(shí)踐應(yīng)用很多等優(yōu)點(diǎn)。TezMapReduce程序性能優(yōu)化器。將MR程序轉(zhuǎn)化為有向無環(huán)圖，大大提升性能。存儲(chǔ)服務(wù)HDFSHadoop分布式文件系統(tǒng)，具有高容錯(cuò)性，可以部署在廉價(jià)的機(jī)器上。提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合存儲(chǔ)超大數(shù)據(jù)集。HBase分布式、面向列數(shù)據(jù)庫(kù)，利用HDFS作為持久化數(shù)據(jù)存儲(chǔ)，使用Zookeeper作為協(xié)同服務(wù)組件。具有容量巨大、面向列存儲(chǔ)和權(quán)限控制、稀疏性、高可用和高性能等特點(diǎn)。數(shù)據(jù)處理SqoopHadoop和關(guān)系型數(shù)據(jù)庫(kù)之間進(jìn)行批量數(shù)據(jù)轉(zhuǎn)移的工具。Flume一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。Hive基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，采用HiveQL作為查詢語(yǔ)言。將HiveQL轉(zhuǎn)換為MapReduce任務(wù)，從而完成海量數(shù)據(jù)的查詢和分析。Pig基于Hadoop的數(shù)據(jù)流處理引擎，將類SQL的數(shù)據(jù)分析請(qǐng)求轉(zhuǎn)換為Map/Reduce任務(wù)。Mahout機(jī)器學(xué)習(xí)算法庫(kù)，3個(gè)主要應(yīng)用場(chǎng)景是協(xié)作篩選、集群和分類，可使用MR、Scala、Spark來提交Mahout接口。數(shù)據(jù)即服務(wù)提供機(jī)器學(xué)習(xí)Mahout、數(shù)據(jù)挖掘、數(shù)據(jù)檢索、R語(yǔ)言、交互式SQL（SQL on Hadoop）、可編程API等功能，滿足上次應(yīng)用開發(fā)需求。MPP分布式數(shù)據(jù)庫(kù)H3C MPP關(guān)系型數(shù)據(jù)庫(kù)集群，良好的SQL語(yǔ)言支持。高性能、高容錯(cuò)、高可用。 產(chǎn)品功能簡(jiǎn)介服務(wù)名稱服務(wù)功能說明安裝部署提供定制部署、Zero部署和虛機(jī)部署等多種集群部署方式，滿足用戶不用應(yīng)用場(chǎng)景需求。提供Web圖形化界面和快速向?qū)?，引?dǎo)用戶快捷高效地建立集群。機(jī)架管理實(shí)現(xiàn)HDFS副本存放策略的可視化管理。配置管理實(shí)現(xiàn)集群各項(xiàng)服務(wù)配置參數(shù)的歷史快照功能，記錄配置變更，方便性能調(diào)優(yōu)。用戶和組管理支持單用戶和用戶組管理，便捷的用戶和組的增刪操作，提供不同級(jí)別的訪問權(quán)限控制；主機(jī)管理實(shí)時(shí)監(jiān)控主機(jī)各項(xiàng)硬件資源(CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等)及其上承載的服務(wù)的運(yùn)行狀態(tài)。執(zhí)行主機(jī)級(jí)別操作如停止、運(yùn)行主機(jī)上的服務(wù)等。服務(wù)管理對(duì)集群的各項(xiàng)服務(wù)做集中式管理，提供啟動(dòng)服務(wù)、停止服務(wù)、修改屬性和設(shè)定運(yùn)行參數(shù)等功能。實(shí)現(xiàn)集群各項(xiàng)服務(wù)運(yùn)行狀態(tài)(基本信息、告
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1