大數(shù)據(jù)安全38(編輯修改稿)
2025-01-26 11:28 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 使用廉價(jià)的硬件（高可擴(kuò)展性）。 典型的代表： GFS(Google)、 HDFS(Hadoop) 0 Page 18 ?HDFS分布式文件系統(tǒng) 采用典型的主從結(jié)構(gòu)的架構(gòu)設(shè)計(jì)，實(shí)現(xiàn)文件系統(tǒng) 元數(shù)據(jù)和應(yīng)用數(shù)據(jù)分離存放。 名字節(jié)點(diǎn)：整個(gè)集群的主節(jié)點(diǎn)，管理元數(shù)據(jù)，文 件訪問(wèn)的控制。 數(shù)據(jù)節(jié)點(diǎn)：從節(jié)點(diǎn)，負(fù)責(zé)來(lái)自客戶端的讀寫請(qǐng) 求，完成對(duì)文件內(nèi)容的提取和保存。 文件分塊，采用一次寫多次讀的文件訪問(wèn)模式。 Page 19 ?HDFS分布式文件系統(tǒng) Page 20 ?MapReduce MapReduce 計(jì)算模型可以說(shuō)是大數(shù)據(jù)處理的核 心算法。 MapReduce實(shí)現(xiàn)了 Map和 Reduce兩個(gè)功能。 Map把一個(gè)函數(shù)應(yīng)用于集合中的所有成員，然后返 回一個(gè)基于這個(gè)處理的結(jié)果集。 Reduce對(duì)結(jié)果集進(jìn) 行分類和歸納。 Map()和 Reduce() 兩個(gè)函數(shù)可能會(huì)并行運(yùn)行，即 使不是在同一的系統(tǒng)的同一時(shí)刻。 Page 21 ?單詞計(jì)數(shù) 給一個(gè)巨大的文本，計(jì)算單詞的個(gè)數(shù)？！ Page 22 ?單詞計(jì)數(shù) 使用 MapReduce求解該問(wèn)題 定義 Map和 Reduce函數(shù) Page 23 ?單詞計(jì)數(shù) 使用 MapReduce求解該問(wèn)題 Step 1: 自動(dòng)對(duì)文本進(jìn)行分割，形成初始的key,value對(duì) 。 Page 24 ?單詞計(jì)數(shù) 使用 MapReduce求解該問(wèn)題 Step 2:在分割之后的每一對(duì) key,value進(jìn)行用 戶定義的 Map進(jìn)行處理，再生成新的 key,value 對(duì)。 Page 25 ?單詞計(jì)數(shù) 使用 MapReduce求解該問(wèn)題 Step 3:對(duì)輸出的結(jié)果集歸攏、排序 (系統(tǒng)自動(dòng)完成）。 Page 26 ?單詞計(jì)數(shù) 使用 MapReduce求解該問(wèn)題 Step 4:通過(guò) Reduce操作生成最后結(jié)果。 Page 27 0 Page 28
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1