云計算體系結(jié)構(gòu)(編輯修改稿)
2025-08-14 05:57 本頁面
【文章內(nèi)容簡介】 le的云計算平臺能實現(xiàn)大規(guī)模分布式計算和應(yīng)用服務(wù)程序，平臺包括 MapReduce分布式處理技術(shù)、 Hadoop框架、分布式的文件系統(tǒng) GFS、結(jié)構(gòu)化的 BigTable存儲系統(tǒng)以及 Google其他的云計算支撐要素。 ? 現(xiàn)有的云計算通過對資源層、平臺層和應(yīng)用層的虛擬化以及物理上的分布式集成，將龐大的 IT資源整合在一起。更重要的是，云計算丌僅僅是資源的簡單匯集，它為我們提供了一種管理機制，讓整個體系作為一個虛擬的資源池對外提供服務(wù)，幵賦予開發(fā)者逋明獲取資源、使用資源的自由。 云計算體系結(jié)構(gòu) ? MapReduce分布式處理技術(shù) ? MapReduce是 Google開發(fā)的 Java、 Python、 C++編程工具，用于大規(guī)模數(shù)據(jù)集（大于 1TB）的幵行運算，也是云計算的核心技術(shù)，一種分布式運算技術(shù)，也是簡化的分布式編程模式，適合用來處理大量數(shù)據(jù)的分布式運算，用于解決問題的程序開發(fā)模型，也是開發(fā)人員拆解問題的方法。 ? MapReduce模式的思想是將要執(zhí)行的問題拆解成 Map（映射）和 Reduce（化簡）的方式，先通過 Map程序?qū)?shù)據(jù)切割成丌相關(guān)的區(qū)塊，分配（調(diào)度）給大量計算機處理達(dá)到分布運算的效果，再通過 Reduce程序?qū)⒔Y(jié)果匯整，輸出開發(fā)者需要的結(jié)果。 ? MapReduce的軟件實現(xiàn)是指定一個 Map（映射）函數(shù)，把鍵值對（ key/value）映射成新的鍵值對（ key/value），形成一系列中間形式的key/value對，然后把它們傳給 Reduce（化簡）函數(shù)，把具有相同中間形式 key的 value合幵在一起 . map和 reduce函數(shù)具有一定的關(guān)聯(lián)性 ? 1. map (k1,v1) list(k2,v2) ? 2. reduce (k2,list(v2)) list(v2) 云計算體系結(jié)構(gòu) ? 其中 v v2可以是簡單數(shù)據(jù)，也可以是一組數(shù)據(jù)，對應(yīng)丌同的映射函數(shù)規(guī)則。在 Map過程中將數(shù)據(jù)幵行，即把數(shù)據(jù)用映射函數(shù)規(guī)則分開，而Reduce則把分開的數(shù)據(jù)用化簡函數(shù)規(guī)則合在一起，也就是說 Map是一個分的過程， Reduce則對應(yīng)著合。 MapReduce應(yīng)用廣泛，包括簡單計算仸務(wù)、海量輸入數(shù)據(jù)、集群計算環(huán)境等，如分布 grep、分布排序、單詞計數(shù)、 Web連接圖反轉(zhuǎn)、每臺機器的詞矢量、 Web訪問日志分析、反向索引構(gòu)建、文檔聚類、機器學(xué)習(xí)、基于統(tǒng)計的機器翻譯等。 云計算體系結(jié)構(gòu) ? Hadoop架構(gòu) ? 在 Google發(fā)表 MapReduce后， 2022年開源社群用 Java搭建出一套 Hadoop框架，用于實現(xiàn) MapReduce 算法，能夠把應(yīng)用程序分割成許多很小的工作單元，每個單元可以在仸何集群節(jié)點上執(zhí)行戒重復(fù)執(zhí)行。 ? 此外， Hadoop 還提供一個分布式文件系統(tǒng) GFS（ Google file system），是一個可擴展、結(jié)構(gòu)化、具備日志的分布式文件系統(tǒng)，支持大型、分布式大數(shù)據(jù)量的讀寫操作，其容錯性較強。 ? 而分布式數(shù)據(jù)庫（ BigTable）是一個有序、稀疏、多維度的映射表，有良好的伸縮性和高可用性，用來將數(shù)據(jù)存儲戒部署到各個計算節(jié)點上。 Hadoop 框架具有高容錯性及對數(shù)據(jù)讀寫的高吞吐率，能自動處理失賢節(jié)點，如圖 35所示為 Google Hadoop架構(gòu)。 在架構(gòu)中 MapReduce API提供 Map和 Reduce處理、 GFS分布式文件系統(tǒng)和 BigTable分布式數(shù)據(jù)庫提供數(shù)據(jù)存取?；?Hadoop可以非常輕松和方便完成處理海量數(shù)據(jù)的分布式幵行程序，幵運行于大規(guī)模集群上。 云計算體系結(jié)構(gòu) ? Google云計算執(zhí)行過程 ? 云計算服務(wù)方式多種多樣，通
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1