gfs與mapreduce的實現(xiàn)研究及其應(yīng)用(編輯修改稿)
2024-11-17 15:50 本頁面
【文章內(nèi)容簡介】 布式文件系統(tǒng) ? MapReduce分布式并行計算框架 ? 總結(jié) 21 本文貢獻 ? 提出了一個與 GFS不同的設(shè)計方案，使得記錄追加寫的效率大大提升 ? 設(shè)計和實現(xiàn)了一個穩(wěn)定的分布式文件系統(tǒng) TFS，并已用于實際的研究工作 ? 設(shè)計和實現(xiàn)了 MapReduce分布式并行計算系統(tǒng)，并評測了它的性能 ? 在我們的 MapReduce系統(tǒng)基礎(chǔ)上實現(xiàn)了各種搜索引擎系統(tǒng)常見的應(yīng)用 ? 總結(jié)了在分布式系統(tǒng)的設(shè)計和實現(xiàn)的實踐中得到的一些寶貴的經(jīng)驗 22 未來工作 ? 繼續(xù)完善系統(tǒng)，提高系統(tǒng)性能，并根據(jù)用戶反饋增加必要的新特性 ? 構(gòu)建一個海量數(shù)據(jù)處理的基礎(chǔ)設(shè)施是我們研究小組的一個長期的目標，下一步是 bigtable系統(tǒng) ? 為進一步簡化程序員工作，在 MapReduce的基礎(chǔ)上設(shè)計和實現(xiàn)并行 STL算法庫 ? 總結(jié)和研究 MapReduce， MapReduceMerge，Dryad等模型的表達能力，探索新的模型 23 謝謝！ 24 致謝 ? 感謝我的導師 李曉明 教授三年來對我的教誨和研究工作論文工作的寶貴指導。李老師嚴謹?shù)闹螌W態(tài)度和高瞻遠矚的洞察力是我終身學習的楷模。 ? 感謝 閆宏飛 老師大三時把我?guī)刖W(wǎng)絡(luò)實驗室這個大家庭，在實驗室學習期間給予我工作學習的指導和對我各方面的能力的鍛煉，以及對我本科畢業(yè)設(shè)計和畢業(yè)論文的關(guān)心和指導。 ? 感謝 彭波 老師研究生期間對我研究工作的指導和各方面的關(guān)心和幫助。彭老師謙虛溫和的態(tài)度總是讓人如沐春風，清晰嚴謹?shù)乃悸肥冀K是我學習的榜樣。 ? 感謝北京大學 網(wǎng)絡(luò)實驗室 這個溫暖的大家庭，從大三進入實驗室實習起，我在這里度過了 5年的歲月。實驗室提供了如此好的環(huán)境和寬松的氛圍，使我能專心致力于研究工作。感謝 天網(wǎng)組 的每位老師同學，組會上面紅耳赤的學術(shù)爭論，閑暇時輕松幽默的調(diào)侃， 4樓小房間熱火朝天的 ``封閉開發(fā) 39。39。， 2020年夏回味無窮的威海之行，等等等等都將成為我生命中美好的回憶。 ? 感謝 TFS小組 的各位成員：涂其琛，樊楷，陳日閃，朱磊，還有彭波老師，沒有諸位的幫助和出色的工作，我的論文很難順利的完成。 ? 感謝 爸爸媽媽 對我從小到大的關(guān)愛和培養(yǎng)，無論何時何地你們的愛始終如我心靈深處暖暖的泉水，給我溫暖和力量。感謝我的女友 陳曉艷 ，可愛倔強的你始終堅定的支持我，才使我能順利的完成論文工作。 25 附錄 TFS補充 26 相關(guān)工作 ? NFS， AFS ? GFS ? Hadoop HDFS ? KFS 27 記錄追加寫中變長塊帶來的問題 ? 每個 chunk都增加了一個長度屬性 –增加了 master的內(nèi)存元數(shù)據(jù)開銷 ? Client可能產(chǎn)生小 chunk –實際中應(yīng)用產(chǎn)生的數(shù)據(jù)遠遠大于一個 chunk的大小，所以大部分 chunk被填慢 –如果 n個 client并發(fā)寫一個文件，結(jié)束時可能有 n個 chunk的
教學課件相關(guān)推薦
鄂ICP備17016276號-1