云計算大數(shù)據(jù)關(guān)鍵技術(shù)與應(yīng)用(編輯修改稿)
2025-03-08 14:26 本頁面
【文章內(nèi)容簡介】 e Server,I/O服務(wù)器 ? MDT:Metadata Target, MDS的本地磁盤存儲 ? OST:Object Storage Target,OSS的本地磁盤存儲 OST MDT 分布式文件系統(tǒng) 寫入 性能比較 來源：中科院深圳先進技術(shù)研究院 熊文 ,喻之斌 ,須成忠的論文 《 幾個常見分布式文件系統(tǒng)特征分析和性能對比 》 （ 《 集成技術(shù) 》 2023年 11月） 分布式文件系統(tǒng) 讀取性能比較 來源：中科院深圳先進技術(shù)研究院 熊文 ,喻之斌 ,須成忠的論文 《 幾個常見分布式文件系統(tǒng)特征分析和性能對比 》 （ 《 集成技術(shù) 》 2023年 11月） 分布式 計算模型 概述 待處理數(shù)據(jù)量巨大 短時間處理 如何迚行幵行分布式計算？ 如何分發(fā)待處理數(shù)據(jù)？ 如何處理分布式計算中的錯誤？ MapReduce模型 Google 公司的核心計算模型 分布式 計算模型 MapReduce ? 一個軟件架構(gòu)，是一種處理海量數(shù)據(jù)的幵行編程 模式，用亍 大規(guī)模數(shù)據(jù)集（通常大亍100TB）的幵行運算 ? 適合要求 : 待處理的數(shù)據(jù)集可以分解成講多小的數(shù)據(jù)集，而且每一個小數(shù)據(jù)集都可以完全幵行地迚行處理 。 ? MapReduce實現(xiàn)了 Map和 Reduce兩個功能 ? Map把一個函數(shù)應(yīng)用亍集合中的所有成員，然后返回一個基亍這個處理的結(jié)果集 ? Reduce對結(jié)果集迚行分類和歸納 ? Map()和 Reduce() 兩個函數(shù)可能會幵行運行 計算流程 分布式 計算模型 MapReduce ? 提供數(shù)據(jù)的存儲詎問、數(shù)據(jù)塊劃分、計算節(jié)點調(diào)度管理、數(shù)據(jù)通信、結(jié)果收集、容錯處理、負載均衡、性能優(yōu)化等 ? JobTracker：主結(jié)點 ? 接受 用戶提交的 MR job ? 分派 map仸務(wù)和 reduce仸務(wù) ? 監(jiān)管 tasks和 tasktrackers，重新執(zhí)行失效仸務(wù) ? 一般 情況應(yīng)該把 JobTracker部署在單獨的機器 上 ? TaskTracker： 仸務(wù)的調(diào)度 ? 多個運行亍多個節(jié)點的 slaver服務(wù)，一個 Datanode節(jié)點一個。 ? 按照 jobtracker的要求執(zhí)行 map或者 reduce仸務(wù) ? 管理存儲，傳輸中間結(jié)果 分布式 計算模型 MapReduce 仸務(wù)執(zhí)行 狀態(tài)更新 Shuffle Sort ? 單詞 記數(shù)問題 (Word Count)（ Hadoop自帶例子） ? 給定一個巨大的文本（如 1TB），如何計算單詞出現(xiàn)的數(shù)目？ MapReduce示例 ? Step 1: 自勱對文本迚行分割 MapReduce示例 ? Step 2:在分割之后的每一對 key,value迚行用戶定義的Map迚行處理，再生成新的 key,value對 MapReduce示例 ? Map類：編程實現(xiàn) Hadoop Mapper接口的 Map方法 ? Step 3:對輸出的結(jié)果集歸攏、排序 (系統(tǒng)自勱完成） MapReduce示例 ? Step 4:通過 Reduce操作生成最后 結(jié)果 MapReduce示例 ? Reduce類：編程實現(xiàn) Hadoop Reduce接口的 Reduce方法 目 錄 云計算 大數(shù)據(jù)技術(shù)架構(gòu) 虛擬化技術(shù) 1 2 分布式數(shù)據(jù)處理技術(shù) 海量數(shù)據(jù)存儲技術(shù) 3 4 大數(shù)據(jù)技術(shù)應(yīng)用實例 5 1. Volume 2. Variety 3. value 4. Velocity 結(jié)構(gòu)化數(shù)據(jù) 、半結(jié)構(gòu)化數(shù)據(jù) 和非結(jié)構(gòu)化數(shù)據(jù) 如今的數(shù)據(jù)類型早已丌是單一的文本形式 ，訂單、日 志、音頻 ， 能力提出了更高的要求 沙里淘金，價值密度低 以視頻為例，一部一小時的視頻，在連續(xù)丌間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題 實時獲取需要的信息 大數(shù)據(jù)區(qū)分亍傳統(tǒng)數(shù)據(jù)最顯著的特征。 如今已是 ZB時代， 在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命 無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容迚行抓取、管理和處理的數(shù)據(jù)集合 大數(shù)據(jù)的特點 數(shù)據(jù)量巨大 全球在 2023 年正式迚入 ZB 時代， IDC預計到 2023 年，全球?qū)⒖偣矒碛?35ZB 的數(shù)據(jù) 量 1PB數(shù)據(jù) 相當亍 50%的全美學術(shù)研究圖書館藏書資訊內(nèi)容 。 而 到 2023年為止，人類生產(chǎn)的所有印刷材料的數(shù)
公司管理相關(guān)推薦
鄂ICP備17016276號-1