華為云計算與大數(shù)據(jù)(編輯修改稿)
2025-06-17 10:11 本頁面
【文章內(nèi)容簡介】 件層、存儲平臺層和存儲服務(wù)層。 ? 存儲平臺層是一套基于 DHT的分布式 KeyValue存儲系統(tǒng)，將大規(guī)模的存儲設(shè)備資源聚合成一個具有統(tǒng)一視圖的、海量的存儲空間。 ? 存儲服務(wù)層基于平臺層提供的 KeyValue接口，提供多種類型的存儲服務(wù)和接口協(xié)議，并提供存儲服務(wù)所需的訪問安全機制。 ? 存儲硬件層可以是通用的存儲服務(wù)器，也可以是定制優(yōu)化的專用硬件。 ? 華為云存儲解決方案實現(xiàn)了多種存儲服務(wù)的融合和統(tǒng)一。多種存儲服務(wù)可以采用一致的接口訪問存儲引擎，實現(xiàn)存儲容量、 IO的共享，同時為各存儲服務(wù)提供不同的 QoS。 ? 華為云存儲解決方案在架構(gòu)上考慮了如下要素：（ 1）海量的可擴展性；（ 2）自組織自管理；（ 3）強一致性；（ 4）高性能的塊存儲服務(wù)；（ 5）定制優(yōu)化的低成本、高密度存儲硬件 2021/6/15 17 華為云存儲解決方案 華為的大數(shù)據(jù)處理 核心技術(shù) CETC Cloud puting 大數(shù)據(jù)處理技術(shù)的趨勢與挑戰(zhàn) ? 當(dāng)前大數(shù)據(jù)表現(xiàn)為如下兩方面主要特征： (1)大數(shù)據(jù)量 十 T級是入門，百 T級PB級已非常常見； (2)響應(yīng)速度 數(shù)據(jù)產(chǎn)生的速度越來越快，對于數(shù)據(jù)中蘊含信息的提取，以及對于提取信息的反饋，要求越來越快。 ? 由于在數(shù)據(jù)量和響應(yīng)速度兩個維度的交織，給大數(shù)據(jù)的處理帶來很大的困難。在過去五到十年，兩類技術(shù)已經(jīng)發(fā)展起來，針對性地解決上述兩個的挑戰(zhàn)。 ? 發(fā)源于金融自動交易系統(tǒng)的復(fù)雜事件處理（ CEP）技術(shù)，經(jīng)過美國若干大學(xué)領(lǐng)先團隊的研究及創(chuàng)業(yè)公司的工程優(yōu)化，已走向?qū)嵱?，?shù)百萬每秒事件的處理，在工程上成為可能。 ? 隨著互聯(lián)網(wǎng)點擊流實時處理以及微博等業(yè)務(wù)的出現(xiàn)，流處理系統(tǒng)發(fā)展為分布式系統(tǒng)。雅虎和 Twitter都開源了其流處理系統(tǒng)，這進一步推動了大規(guī)模流處理系統(tǒng)的應(yīng)用。發(fā)源于谷歌的開源系統(tǒng) Hadoop，隨著眾多公司的加入，已形成大數(shù)據(jù)處理的事實標(biāo)準(zhǔn)。來自數(shù)據(jù)源的原始數(shù)據(jù)，以及經(jīng)過流處理再生成的結(jié)果數(shù)據(jù)，一起再進入 Hadoop系統(tǒng)形成一個可供后處理的全量數(shù)據(jù)處理平臺，已形成經(jīng)典的大數(shù)據(jù)處理模式。 2021/6/15 18 華為的大數(shù)據(jù)處理 核心技術(shù)
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1