hadoop入門教程(三)-mr重要運(yùn)行參數(shù)-北京尚學(xué)堂(編輯修改稿)
2024-08-31 09:34 本頁面
【文章內(nèi)容簡介】 數(shù)的角度來調(diào)試。監(jiān)控針對(duì)單個(gè)任務(wù)而設(shè)置的文件系統(tǒng)計(jì)數(shù)器，尤其是具體到map輸出到reduce的數(shù)據(jù)字節(jié)量，對(duì)調(diào)試影響任務(wù)運(yùn)行性能都是非常有用的。如果內(nèi)存管理特性啟用的話，用戶可以選擇性的覆蓋一些默認(rèn)配置，比如虛擬內(nèi)存，RAM。下面是一些對(duì)任務(wù)有效的參數(shù)：名稱類型特點(diǎn)int以字節(jié)為單位指定單個(gè)map或reduce任務(wù)的最大虛擬內(nèi)存。如果任務(wù)超過該值就被killint以字節(jié)為單位指定單個(gè)map或reduce任務(wù)的最大RAM。這個(gè)值被調(diào)度器(Jobtracer)參考作為分配map\reduce任務(wù)的依據(jù)，避免讓一個(gè)節(jié)點(diǎn)超RAM負(fù)載使用。Map參數(shù)map讀出的一條記錄將被序列化到一個(gè)buffer，元數(shù)據(jù)存儲(chǔ)在元數(shù)據(jù)buffer中。如上面所說，當(dāng)序列化buffer或者元數(shù)據(jù)buffer超出了設(shè)置的闕值，buffer中內(nèi)容將被排序并在后臺(tái)寫入到磁盤，這個(gè)過程同時(shí)map持續(xù)輸出記錄行。如果buffer被寫滿就會(huì)發(fā)生一個(gè)spill過程，spill中map線程被阻塞。當(dāng)map完成后，buffer中剩余記錄寫入磁盤并和在磁盤的按段存儲(chǔ)的記錄合并到一個(gè)文件中。減少spill次數(shù)可以縮短map時(shí)間，但是較大的buffer也會(huì)降低可用內(nèi)存。名稱類型特點(diǎn)int默認(rèn)100。以MB為單位設(shè)置序列化和元數(shù)據(jù)buffer的大小。float。map記錄序列化后數(shù)據(jù)元數(shù)據(jù)buffer所占總buffer百分比值。為了加速排序，除了序列化后本身尺寸外每條序列化后的記錄需要16字節(jié)的元數(shù)據(jù)。對(duì)輸出記錄較少的map，值越高越可降低spill發(fā)生的次數(shù)。float。元數(shù)據(jù)和序列化數(shù)據(jù)buffer空間閥值。當(dāng)兩者任何一個(gè)buffer空間達(dá)到該閥值，數(shù)據(jù)將被spill到磁盤。=r, =x,=q,那么在map線程spill之前最大處理的記錄量為r*x*q*2^16。注意：較大的值可能降低spill的次數(shù)甚至避免合并，但是也會(huì)增加map被阻塞的幾率。通過精確估計(jì)map的輸出尺寸和減少spill次數(shù)可有效縮短map處理時(shí)間。其他注意事項(xiàng)： 如果spill闕值達(dá)到了，就
外語相關(guān)推薦
鄂ICP備17016276號(hào)-1