武漢理工云計算重點-閱讀頁
2025-05-02 04:24本頁面
【正文】 table { Collection most = new hashSet()。 private IntWritable result = new IntWritable()。//讀取TOP N } public void reduce(Text key, IterableIntWritable values, Context context) throws IOException, InterruptedException { int sum = 0。 } (sum)。 for(Iterator i : ()) {//前N保存到HashSet IntWritable temp = (IntWritable) i。 (key,result)。 IntWritable[] values = new IntWritable[3]。 int j=len。 values[i] = (IntWritable)k。 } while (j0) { //冒泡排序 for(i=0。i++) { if(values[i]values[i+1]) { IntWritable temp = values[i]。 values[i] = values [i+1]。 values[i+1] = temp。 } } } for (i=0。i++) { (keys[i],values[i])。 (N,5)。 if ( != 2) { (Usage: WordCount in out)。 } Job job = new Job(conf, word count)。 ()。 ()。 ()。 (job, new Path(otherArgs[1]))。 }}2. 矩陣相乘（整數(shù)矩陣） 左矩陣的一行和右矩陣的一列組成一個InputSplit，其存儲b個key,value對，key存儲積矩陣元素位置，value為生成一個積矩陣元素的b個數(shù)據(jù)對中的一個；Map方法計算一個key,value對的value中數(shù)據(jù)對的積；而Reduce方法計算key值相同的所有積的和public class MatrixVectorCompute { public static class TokenizerMapper extends MapperObject, Text, Text, IntWritable { private Text lineNumber = new Text()。 private final static int[] vector = {2, 3, 4}。 int j = 0。 while (()) { int result = vector[j] * (())。 (lineNumber, one)。 } i ++。 public void reduce(Text key, IterableIntWritable values,Context context) throws IOException, InterruptedException { int sum = 0。 } (sum)。 } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration()。 ()。 ()。 ()。 (job, new Path(input))。 ((true) ? 0 : 1)。key和value都為IntPair類型，key存儲的是積矩陣元素的位置，value為計算生成一個積矩陣元素的b個數(shù)據(jù)對中的一個（4）繼承InputFormat的matrixInputFormat類，用來數(shù)據(jù)輸入（5）matrixRecordReader類繼承了RecordReader接口，MapReduce框架調用此類生成key,value對賦給map方法（6）主類matrixMulti，其內置類MatrixMapper繼承了Mapper重寫覆蓋了Map方法，類似地，F(xiàn)irstPartitioner、MatrixReducer也是如此。輸入的key1,value1對中key1和value1的類型均為IntPair，其輸出為key1,value2對，key1不變，value2為IntWritable類型，值為value1中的兩個整數(shù)的乘積（3）MapReduce框架調用FirstPartitioner類的getPartition方法將Map的輸出 key1,value2對分配給指定的Reducer任務（4）Reducer任務對key1值相同的所有value2求和，得出積矩陣中的元素k的值。（5）MapReduce框架實例化一個MultipleOutputFormat類，將結果輸出到文件
教學教案相關推薦
鄂ICP備17016276號-1