《hadoop培訓》ppt課件-文庫吧
2025-09-17 23:38 本頁面
【正文】 務過程： JobTracker將隊列中的 tasks按調度算法分配給各tasktracker的空閑槽， tasktracker隨后就運行乊并監(jiān)視匯報 tasks的運行情冴。 Page 9 hadoop任務運行原理 通過 hadoop編程接口提交任務 ? 以一個任務的提交為例： ? 其代碼結構如下： 這個程序其實和普通的 java程序沒有區(qū)別，其實現(xiàn)了mapper， reducer接口，并通過 main函數(shù)加載配置和參數(shù)，上傳 jar，提交任務并監(jiān)控運行情冴 public class WordCount{ public static class TokenizerMapper extends MapperObject, Text, Text, IntWritable{} public static class IntSumReducer extends ReducerText,IntWritable,Text,IntWritable {} public static void main(String[] args){} } Page 10 hadoop編程接口， hadoop任務運行原理 ? 以一個任務的提交為例： ? 其 main函數(shù)如下，其中就包含了提交任務的流程： public static void main(String[] args) throws Exception { Configuration conf = new Configuration()。 //讀取默認的配置文件 String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs()。 //通用參數(shù)解析 if ( != 2) { (Usage: wordcount in out)。 (2)。 } Job job = new Job(conf, word count)。 //新建任務對象 ()。//主類 ()。//mapper ()。//作業(yè)合成類 ()。//reducer ()。//設置作業(yè)輸出數(shù)據(jù)的關鍵類 ()。//設置作業(yè)輸出值類 (job, new Path(otherArgs[0]))。//文件輸入 (job, new Path(otherArgs[1]))。//文件輸出 ((true) ? 0 : 1)。//提交任務，等待完成退出 . } Page 11 hadoop編程需要實現(xiàn)的接口 ? 調用提交任務接口： submitjobandmonitor(jobconf)。 其中jobconf需要在提交任務時設置好 ? 實現(xiàn) map接口： map端進程運行時調用的接口，默認為 ? 實現(xiàn) reduce接口： reduce端進程運行時調用的接口 ? 實現(xiàn) partitioner接口： partitio
教學課件相關推薦
鄂ICP備17016276號-1