武漢理工云計算重點-資料下載頁
2025-04-17 04:24本頁面
【正文】 IntWritable { private Text lineNumber = new Text()。 // 矩陣行序號 private static int i = 0。 private final static int[] vector = {2, 3, 4}。 // 向量值 public void map(Object key, Text value, Context context) hrows IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(())。 int j = 0。 // 向量序號 (i + )。 while (()) { int result = vector[j] * (())。 IntWritable one = new IntWritable(result)。 (lineNumber, one)。 j ++。 } i ++。 } } public static class IntSumReducer extends ReducerText, IntWritable, Text, IntWritable { private IntWritable result = new IntWritable()。 public void reduce(Text key, IterableIntWritable values,Context context) throws IOException, InterruptedException { int sum = 0。 for (IntWritable val : values) { sum += ()。 } (sum)。 (key, result)。 } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration()。 Job job = new Job(conf, word count11)。 ()。 ()。 ()。 ()。 ()。 ()。 (job, new Path(input))。 (job, new Path(output))。 ((true) ? 0 : 1)。 }}3. 程序中的類（1）matrix類用于存儲矩陣（2）IntPair類實現(xiàn)WritableComparable接口用于存儲整數(shù)對（3）matrixInputSplit類繼承了InputSplit接口，每個matrixInputSplit包括b個key,value對，用來生成一個積矩陣元素。key和value都為IntPair類型，key存儲的是積矩陣元素的位置，value為計算生成一個積矩陣元素的b個數(shù)據(jù)對中的一個（4）繼承InputFormat的matrixInputFormat類，用來數(shù)據(jù)輸入（5）matrixRecordReader類繼承了RecordReader接口，MapReduce框架調(diào)用此類生成key,value對賦給map方法（6）主類matrixMulti，其內(nèi)置類MatrixMapper繼承了Mapper重寫覆蓋了Map方法，類似地，F(xiàn)irstPartitioner、MatrixReducer也是如此。在main函數(shù)中，需要設置一系列的類，詳細內(nèi)容參考源碼（7）MultipleOutputFormat類用于向文件輸出結(jié)果（8）LineRecordWriter類被MultipleOutputFormat中的方法調(diào)用，向文件輸出一個結(jié)果key,value對 4. 程序的運行過程（1）程序從文件中讀出數(shù)據(jù)到內(nèi)存，生成matrix實例，通過組合左矩陣的行與右矩陣的列生成ac個matrixInputSplit（2）一個Mapper任務對一個matrixInputSplit中的每個key1,value1對調(diào)用一次Map方法對value1中的兩個整數(shù)相乘。輸入的key1,value1對中key1和value1的類型均為IntPair，其輸出為key1,value2對，key1不變，value2為IntWritable類型，值為value1中的兩個整數(shù)的乘積（3）MapReduce框架調(diào)用FirstPartitioner類的getPartition方法將Map的輸出 key1,value2對分配給指定的Reducer任務（4）Reducer任務對key1值相同的所有value2求和，得出積矩陣中的元素k的值。其輸入為key1,list(value2)對，輸出為key1,value3對，key1不變，value3為IntWritable類型，值為key1值相同的所有value2的和。（5）MapReduce框架實例化一個MultipleOutputFormat類，將結(jié)果輸出到文件
教學教案相關(guān)推薦
鄂ICP備17016276號-1