hadoop入門教程(三)-mr重要運行參數(shù)-北京尚學堂(編輯修改稿)
2025-08-31 09:34 本頁面
【文章內容簡介】 數(shù)的角度來調試。監(jiān)控針對單個任務而設置的文件系統(tǒng)計數(shù)器，尤其是具體到map輸出到reduce的數(shù)據字節(jié)量，對調試影響任務運行性能都是非常有用的。如果內存管理特性啟用的話，用戶可以選擇性的覆蓋一些默認配置，比如虛擬內存，RAM。下面是一些對任務有效的參數(shù)：名稱類型特點int以字節(jié)為單位指定單個map或reduce任務的最大虛擬內存。如果任務超過該值就被killint以字節(jié)為單位指定單個map或reduce任務的最大RAM。這個值被調度器(Jobtracer)參考作為分配map\reduce任務的依據，避免讓一個節(jié)點超RAM負載使用。Map參數(shù)map讀出的一條記錄將被序列化到一個buffer，元數(shù)據存儲在元數(shù)據buffer中。如上面所說，當序列化buffer或者元數(shù)據buffer超出了設置的闕值，buffer中內容將被排序并在后臺寫入到磁盤，這個過程同時map持續(xù)輸出記錄行。如果buffer被寫滿就會發(fā)生一個spill過程，spill中map線程被阻塞。當map完成后，buffer中剩余記錄寫入磁盤并和在磁盤的按段存儲的記錄合并到一個文件中。減少spill次數(shù)可以縮短map時間，但是較大的buffer也會降低可用內存。名稱類型特點int默認100。以MB為單位設置序列化和元數(shù)據buffer的大小。float。map記錄序列化后數(shù)據元數(shù)據buffer所占總buffer百分比值。為了加速排序，除了序列化后本身尺寸外每條序列化后的記錄需要16字節(jié)的元數(shù)據。對輸出記錄較少的map，值越高越可降低spill發(fā)生的次數(shù)。float。元數(shù)據和序列化數(shù)據buffer空間閥值。當兩者任何一個buffer空間達到該閥值，數(shù)據將被spill到磁盤。=r, =x,=q,那么在map線程spill之前最大處理的記錄量為r*x*q*2^16。注意：較大的值可能降低spill的次數(shù)甚至避免合并，但是也會增加map被阻塞的幾率。通過精確估計map的輸出尺寸和減少spill次數(shù)可有效縮短map處理時間。其他注意事項： 如果spill闕值達到了，就
外語相關推薦
鄂ICP備17016276號-1