gfs與mapreduce的實現(xiàn)研究及其應用-資料下載頁
2024-10-12 15:50本頁面
【導讀】TFS分布式文件系統(tǒng)。MapReduce分布式并行計算框架。支持天網(wǎng)組內(nèi)工作的需要。典；網(wǎng)頁索引數(shù)據(jù)，Web鏈接圖；CWT100G,一個master，若干個chunkserver，若干個client. 一個文件由若干個定長塊。塊是普通linux文件，有若干個復本。Lease機制保證一致性。個偏移處寫入了一次；一臺客戶機上啟動不同個客戶線程，網(wǎng)絡上限125M. 另一個實驗中，多客戶機多進程并發(fā)追加，總速率可達380MB/s. 峰值90MB/s，理論上限的72%. 提出了一個與GFS不同的設計方案，使得記錄追。繼續(xù)完善系統(tǒng)，提高系統(tǒng)性能，并根據(jù)用戶反饋。構建一個海量數(shù)據(jù)處理的基礎設施是我們研究小。為進一步簡化程序員工作，在MapReduce的基礎。感謝閆宏飛老師大三時把我?guī)刖W(wǎng)絡實驗室這個大家庭，在實驗室學習期間。感謝彭波老師研究生期間對我研究工作的指導和各方面的關心和幫助。實驗室提供了如此好的環(huán)境和寬松的氛圍，使我能。感謝天網(wǎng)組的每位老師同學，組會上面紅耳赤的學術。夏回味無窮的威海之行，等等等等都將成為我生命中美好的回憶。
【正文】 erated using David A. Wheeler39。s 39。SLOCCount39。. 39 項目代碼量 ? TFS 總計約 14,000行 C++ ? SLOC Directory SLOCbyLanguage (Sorted) ? 12849 ice cpp=7060,java=5789 ? 3812 master cpp=3812 ? 2038 chunkserver cpp=2038 ? 2020 blackbox cpp=1995,sh=21 ? 1654 app cpp=1533,ansic=121 ? 1630 test cpp=1630 ? 1482 client cpp=1482 ? 912 build cpp=852,tcl=30,sh=30 ? 815 datatransfer cpp=815 ? 558 monitor java=530,cpp=28 ? 514 mon ansic=365,cpp=149 ? 193 util cpp=193 ? 133 mapred cpp=133 ? 59 distrib sh=59 ? 10 top_dir lisp=7,cpp=3 ? MapReduce 總計約 12,000行 C++ ? SLOC Directory SLOCbyLanguage (Sorted) ? 6963 src_ice cpp=4569,java=2394 ? 3131 src_client cpp=3131 ? 2940 test cpp=2940 ? 2406 src_app cpp=2116,perl=290 ? 2172 src_master cpp=2172 ? 1070 src_worker cpp=1070 ? 913 src_monitor java=692,cpp=221 ? 535 src_mon ansic=365,cpp=170 ? 273 src_sversion cpp=273 ? 56 distrib sh=56 ? 49 build tcl=30,sh=19 ? 18 src_util cpp=18 ? 13 top_dir lisp=13
教學課件相關推薦
鄂ICP備17016276號-1