hadoop入門教程(三)-mr重要運行參數(shù)-北京尚學堂-文庫吧在線文庫
【正文】 (通過Xmx設置)。如果任務超過該值就被killint以字節(jié)為單位指定單個map或reduce任務的最大RAM。以MB為單位設置序列化和元數(shù)據(jù)buffer的大小。=r, =x,=q,那么在map線程spill之前最大處理的記錄量為r*x*q*2^16。 大于序列化數(shù)據(jù)buffer的一條記錄將首先觸發(fā)一個spill，然后被spill到一個獨立的文件中。如果文件數(shù)超過了該值，合并將分成多次。過大的值會降低獲取和合并的并行效率。對內(nèi)存不敏感的reduce任務，該值可以適當提高，來避免磁盤IO（一般不會有)。 內(nèi)存合并map輸出并刷到磁盤時reduce過程開始，如果有多個輸出片段spill到磁盤，那么中間合并過程是必須的，并且包含內(nèi)存中處理map輸出。Loading native libraries through DistributedCache。(int)指定一個大于1的值。 當biner運行，前面所說的較高的合闕值和大的buffer不適用。shuffle過程中緩存map輸出數(shù)據(jù)的內(nèi)存占整個子jvm進程堆最大尺寸()的百分比。通常該值較高(1000)，或者不啟用（0）,畢竟內(nèi)存內(nèi)合并比磁盤上合并成本更低。下面的配置參數(shù)影響reduce處理中的合并和內(nèi)存分配過程。 如果spill闕值達到了，就會發(fā)生spill，記錄收集將繼續(xù)直到spill完成。對輸出記錄較少的map，值越高越可降低spill發(fā)生的次數(shù)。如果buffer被寫滿就會發(fā)生一個spill過程，spill中map線程被阻塞。map和reduce任務的性能可以通過從影響操作并發(fā)和數(shù)據(jù)磁盤IO次數(shù)的角度來調(diào)試。如果 $taskid變量，這個變量值會在運行中被框架插入正在運行的任務id。指定作業(yè)過程中數(shù)據(jù)和/或者作業(yè)結(jié)果是否被壓縮和怎樣壓縮。 有一些參數(shù)通過方法可以直接設定，如通過setNumReduceTasks(int)等設定。但是一些其他參數(shù)和框架內(nèi)部、任務配置有更復雜的關(guān)系，所以設定更為復雜，比如要通過setNumMapTasks(int)來進行設定。也可以通過setMapDebugScript(Strin
外語相關(guān)推薦
鄂ICP備17016276號-1