云計(jì)算-濟(jì)南大學(xué)張慶科-文庫吧
2025-05-30 19:14 本頁面
【正文】 NIC 在物理上的存儲(chǔ)方式 行關(guān)鍵字 時(shí)間戳 列 ”xxxx3” “ 報(bào)名 . ” T6 “text/html” Hbase物理模型 行關(guān)鍵字 時(shí)間戳 列 ”xxxx1” “ 報(bào)名 . ” T8 “html…” T6 “html…” 按列族存儲(chǔ)數(shù)據(jù)，列族內(nèi)具有統(tǒng)一的讀 /寫方式 把概念模型中的行進(jìn)行分割，按列存儲(chǔ) 25 云計(jì)算的關(guān)鍵技術(shù) 數(shù)據(jù)分布存儲(chǔ)技術(shù) 數(shù)據(jù)管理技術(shù) 虛擬化技術(shù) 編程模型 26 編程模型 ——Map/Reduce ? 簡化的分布式編程模型和高效的任務(wù)調(diào)度模型，用于大規(guī)模數(shù)據(jù)集（大于 1TB）的并行運(yùn)算 ? 通過 “ Map(映射 )”和 “ Reduce(化簡 )”這樣兩個(gè)簡單的概念來構(gòu)成運(yùn)算基本單元 ,用戶只需提供自己的 Map 函數(shù)以及 Reduce 函數(shù)即可并行處理海量數(shù)據(jù) ? 簡單講：任務(wù)的分解和結(jié)果的匯總 27 分段 0 分段 1 分段 2 分段 3 分段 M1 Map( ) Map( ) Map( ) Map( ) Map( ) Reduce( ) Reduce( ) Reduce( ) Reduce( ) 結(jié)果 0 結(jié)果 2 結(jié)果 1 結(jié)果 R1 … … … … … … 分區(qū) 輸入 M個(gè) Map任務(wù) R個(gè) Reduce任務(wù) 輸出 MapReduce處理大數(shù)據(jù)集的過程 K1,V1 K2,V2 Combine, K2,list(V2) K3,V3 28 實(shí)現(xiàn)機(jī)制 分布式并行計(jì)算 本地計(jì)算 任務(wù)粒度 Combine（連接） Partition（分區(qū)） 讀取中間結(jié)果 任務(wù)管道 實(shí)現(xiàn)機(jī)制框圖 一個(gè)管理模塊 +多個(gè)執(zhí)行模塊 計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)在一起 小數(shù)據(jù)集 HDFS的數(shù)據(jù)塊， M個(gè)小數(shù)據(jù)集，對(duì)應(yīng) M個(gè)子任務(wù) 合并 key,value,減少其數(shù)目 按 key分成 R份， hash(key) mod R 以文件方式，管理模塊調(diào)度 Reduce() 得到最終的 R個(gè)結(jié)果，可以是另一個(gè)計(jì)算的輸入 29 云計(jì)算的關(guān)鍵技術(shù) 數(shù)據(jù)分布存儲(chǔ)技術(shù) 數(shù)據(jù)管理技術(shù) 虛擬化技術(shù) 編程模型 30 虛擬化技術(shù) – 簡介 – 特點(diǎn) – 優(yōu)勢(shì) – 幾種常見的虛擬化技術(shù) 31 虛擬化技術(shù)簡介 傳統(tǒng)架構(gòu) 硬件層 虛擬軟件層 虛擬硬件 操作系統(tǒng) 應(yīng)用程序 虛擬硬件 操作系統(tǒng) 應(yīng)用程序 虛擬硬件 操作系統(tǒng) 應(yīng)用程序 虛擬化架構(gòu) 將一臺(tái)服務(wù)器當(dāng)做 N臺(tái)服務(wù)器來使用 硬件層 應(yīng)用程序 操作系統(tǒng) 32 分區(qū) ? 在一個(gè)物理機(jī)上運(yùn)行多個(gè) OS ? 更充分利用服務(wù)器資源 ? 支持高可用 ——分區(qū)之間可以組建集群（負(fù)載均衡、多機(jī)容錯(cuò)） 封裝 ? 將虛擬機(jī)封裝成與硬件配置無關(guān)的文件 ? 隨時(shí)對(duì)虛擬機(jī)進(jìn)行快照 ? 通過簡單的文件拷貝對(duì)虛擬機(jī)進(jìn)行遷徙 隔離 ? 從硬件層面隔離系統(tǒng)故障和安全威脅 ? 在虛擬機(jī)之間動(dòng)態(tài)的分配 CPU、內(nèi)存等系統(tǒng)資源 ? 保證服務(wù)可用 虛擬化的特點(diǎn) 33 虛擬化的優(yōu)勢(shì) 效率 隔離 可靠 便于管理 兼容 成本 有效的利用空閑資源 提高了服務(wù)器 /管理員的比例 與 x86兼容，可部署多套系統(tǒng) 改進(jìn)災(zāi)難恢復(fù)機(jī)制 完全隔離，確?？捎眯院桶踩? 更少的服務(wù)器提供更多的服務(wù) 34 虛擬化技術(shù) – 簡介 – 特點(diǎn) – 優(yōu)勢(shì) – 幾種常見的虛擬化技術(shù) 35 ? 特征 – 將硬件資源被劃分成數(shù)個(gè)分區(qū)，每個(gè)分區(qū)享有獨(dú)立的CPU、內(nèi)存，并安裝獨(dú)立的操作系統(tǒng)。 ? 缺點(diǎn) – 缺乏很好的靈活性，不能對(duì)資源做出有效調(diào)配。 36 VMM ? 特征： – 在 Host系統(tǒng)上加裝 Virtual Machine Monitor，虛擬層作為應(yīng)用級(jí)別的軟件而存在，不涉及操作系統(tǒng)內(nèi)核。 – 虛擬層會(huì)給每個(gè)虛擬機(jī)模擬一套獨(dú)立的硬件設(shè)備，在其上安裝 Guest操作系統(tǒng)。 ? 優(yōu)點(diǎn) : – 能在一個(gè)節(jié)點(diǎn)上安裝多個(gè)不同類型的操作系統(tǒng) ,更適合實(shí)驗(yàn)室環(huán)境 ? 缺點(diǎn) : – 虛擬硬件、翻譯代碼要消耗大量資源，性能損耗大 ? 代表產(chǎn)品： – VMware系列、微軟 Virtual PC/Server系列 37 (ParaVirtualizion) ? 特點(diǎn)： – 修改操作系統(tǒng)的內(nèi)核，加入一個(gè) Xen Hypervisor層。它允許安裝在同一硬件設(shè)備上的多個(gè)系統(tǒng)可以同時(shí)啟動(dòng)，由 Xen Hypervisor來進(jìn)行資源調(diào)配。 – 性能稍有提高，但并不十分顯著。 ? 發(fā)展： – 為提高性能， Intel和 AMD分別開發(fā)了 VT和 Pacifica虛擬技術(shù)，將虛擬指令加入到了 CPU中。使用了 CPU支持的硬件虛擬技術(shù)
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1