gfs與mapreduce的實現(xiàn)研究及其應(yīng)用-文庫吧
2025-09-08 15:50 本頁面
【正文】 網(wǎng)絡(luò) –所有機器通過 1Gbps全雙工以太網(wǎng)卡與一個1Gbps交換機連接 10 記錄追加寫的效率 ? 一臺客戶機上啟動不同個客戶線程，網(wǎng)絡(luò)上限 125M ? 峰值 95MB/s，達理論上限的 75%（ GFS為 50%） ? 另一個實驗中，多客戶機多進程并發(fā)追加，總速率可達 380MB/s 11 讀操作的效率 ? 峰值 90MB/s，理論上限的 72%（ GFS為 75%） 12 TFS Shell 13 14 大綱 ? 引言 ? TFS分布式文件系統(tǒng) ? MapReduce分布式并行計算框架 ? 總結(jié) 15 例子：詞頻統(tǒng)計 中國 人民 美國 人民 中國 人民 銀行 美國 銀行 中國， 1 人民， 1 美國， 1 人民， 1 中國， 1 人民， 1 銀行， 1 美國， 1 銀行， 1 中國， 1 中國， 1 銀行， 1 銀行， 1 美國， 1 美國， 1 人民， 1 人民， 1 人民， 1 中國， 2 銀行， 2 美國， 2 人民， 3 map shuffle reduce 16 MapReduce運行流程 17 系統(tǒng)結(jié)構(gòu) A p p l i c a t i o nM a p R e d u c e M a s t e rM a p R e d u c e c l i e n t C r e a t e j o bC o m p l e t e j o bw o r k e rM a p T a s kR e d u c e T a s kM a p T a s kT r a n s T a s kw o r k e rM a p T a s kR e d u c e T a s kM a p T a s kT r a n s T a s kComplete taskAssign taskAssign taskComplete taskJ o b L i s tW o r k e r L i s tT a s k L i s t…L e g e n d :D a t a m e s s a g e sC o n t r o l m e s s a g e18 系統(tǒng)的優(yōu)化 ? 忽略失敗任務(wù) ? 連接輸出結(jié)果為一個文件 – Google實現(xiàn)中 R具有雙層含義： Reduce任務(wù)數(shù)；輸出文件個數(shù) – TFS提供的 concatFiles接口 ? 串行版 MapReduce ? 系統(tǒng)實時監(jiān)控 19 20 大綱 ? 引言 ? TFS分
教學課件相關(guān)推薦
鄂ICP備17016276號-1