華為云計(jì)算與大數(shù)據(jù)(編輯修改稿)
2025-06-17 10:11 本頁面
【文章內(nèi)容簡介】 件層、存儲(chǔ)平臺(tái)層和存儲(chǔ)服務(wù)層。 ? 存儲(chǔ)平臺(tái)層是一套基于 DHT的分布式 KeyValue存儲(chǔ)系統(tǒng)，將大規(guī)模的存儲(chǔ)設(shè)備資源聚合成一個(gè)具有統(tǒng)一視圖的、海量的存儲(chǔ)空間。 ? 存儲(chǔ)服務(wù)層基于平臺(tái)層提供的 KeyValue接口，提供多種類型的存儲(chǔ)服務(wù)和接口協(xié)議，并提供存儲(chǔ)服務(wù)所需的訪問安全機(jī)制。 ? 存儲(chǔ)硬件層可以是通用的存儲(chǔ)服務(wù)器，也可以是定制優(yōu)化的專用硬件。 ? 華為云存儲(chǔ)解決方案實(shí)現(xiàn)了多種存儲(chǔ)服務(wù)的融合和統(tǒng)一。多種存儲(chǔ)服務(wù)可以采用一致的接口訪問存儲(chǔ)引擎，實(shí)現(xiàn)存儲(chǔ)容量、 IO的共享，同時(shí)為各存儲(chǔ)服務(wù)提供不同的 QoS。 ? 華為云存儲(chǔ)解決方案在架構(gòu)上考慮了如下要素：（ 1）海量的可擴(kuò)展性；（ 2）自組織自管理；（ 3）強(qiáng)一致性；（ 4）高性能的塊存儲(chǔ)服務(wù)；（ 5）定制優(yōu)化的低成本、高密度存儲(chǔ)硬件 2021/6/15 17 華為云存儲(chǔ)解決方案 華為的大數(shù)據(jù)處理 核心技術(shù) CETC Cloud puting 大數(shù)據(jù)處理技術(shù)的趨勢與挑戰(zhàn) ? 當(dāng)前大數(shù)據(jù)表現(xiàn)為如下兩方面主要特征： (1)大數(shù)據(jù)量 十 T級(jí)是入門，百 T級(jí)PB級(jí)已非常常見； (2)響應(yīng)速度 數(shù)據(jù)產(chǎn)生的速度越來越快，對(duì)于數(shù)據(jù)中蘊(yùn)含信息的提取，以及對(duì)于提取信息的反饋，要求越來越快。 ? 由于在數(shù)據(jù)量和響應(yīng)速度兩個(gè)維度的交織，給大數(shù)據(jù)的處理帶來很大的困難。在過去五到十年，兩類技術(shù)已經(jīng)發(fā)展起來，針對(duì)性地解決上述兩個(gè)的挑戰(zhàn)。 ? 發(fā)源于金融自動(dòng)交易系統(tǒng)的復(fù)雜事件處理（ CEP）技術(shù)，經(jīng)過美國若干大學(xué)領(lǐng)先團(tuán)隊(duì)的研究及創(chuàng)業(yè)公司的工程優(yōu)化，已走向?qū)嵱?，?shù)百萬每秒事件的處理，在工程上成為可能。 ? 隨著互聯(lián)網(wǎng)點(diǎn)擊流實(shí)時(shí)處理以及微博等業(yè)務(wù)的出現(xiàn)，流處理系統(tǒng)發(fā)展為分布式系統(tǒng)。雅虎和 Twitter都開源了其流處理系統(tǒng)，這進(jìn)一步推動(dòng)了大規(guī)模流處理系統(tǒng)的應(yīng)用。發(fā)源于谷歌的開源系統(tǒng) Hadoop，隨著眾多公司的加入，已形成大數(shù)據(jù)處理的事實(shí)標(biāo)準(zhǔn)。來自數(shù)據(jù)源的原始數(shù)據(jù)，以及經(jīng)過流處理再生成的結(jié)果數(shù)據(jù)，一起再進(jìn)入 Hadoop系統(tǒng)形成一個(gè)可供后處理的全量數(shù)據(jù)處理平臺(tái)，已形成經(jīng)典的大數(shù)據(jù)處理模式。 2021/6/15 18 華為的大數(shù)據(jù)處理 核心技術(shù)
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1