武漢理工云計算重點-免費閱讀
【正文】 key和value都為IntPair類型，key存儲的是積矩陣元素的位置，value為計算生成一個積矩陣元素的b個數(shù)據對中的一個（4）繼承InputFormat的matrixInputFormat類，用來數(shù)據輸入（5）matrixRecordReader類繼承了RecordReader接口，MapReduce框架調用此類生成key,value對賦給map方法（6）主類matrixMulti，其內置類MatrixMapper繼承了Mapper重寫覆蓋了Map方法，類似地，F(xiàn)irstPartitioner、MatrixReducer也是如此。 ()。 public void reduce(Text key, IterableIntWritable values,Context context) throws IOException, InterruptedException { int sum = 0。 int j = 0。 ()。 if ( != 2) { (Usage: WordCount in out)。 values[i+1] = temp。 values[i] = (IntWritable)k。 for(Iterator i : ()) {//前N保存到HashSet IntWritable temp = (IntWritable) i。 } } public static class IntSumReducer extends ReducerText,IntWritable,Text,IntWritable { Collection most = new hashSet()。 public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(())。import 。TskTracker可以有多個，負責執(zhí)行任務。為了容錯，文件的所有數(shù)據塊都會有副本（副本數(shù)量即復制因子，可配置） 2）副本存放采用機架感知（Rackaware）的策略來改進數(shù)據的可靠性、可用性和網絡帶寬的利用率 3）心跳檢測NameNode周期性地從集群中的每個DataNode接受心跳包和塊報告，收到心跳包說明該DataNode工作正常 4）安全模式系統(tǒng)啟動時，NameNode會進入一個安全模式。讀寫都不會因為節(jié)點失效或網絡故障而失敗，只有所有節(jié)點都失效時讀寫才會被拒絕。（2） 選取子表的位置信息（3） 保存Bigtable的模式信息及訪問控制列表。同時這種鎖服務是建議性的，而非強制性的，這樣能帶來更大的靈活性。 云計算1. 云計算定義：云計算是一種商業(yè)計算模型。3. Chubby具有廣泛的應用場景，例如：（1）GFS選主服務器；（2）BigTable中的表鎖；4. Chubby系統(tǒng)分為兩個重要組件：（1）Chubby庫：客戶端通過調用Chubby代碼庫，申請鎖服務，并獲取相關信息，同時通過租約保持與服務器的連接；（2）Chubby服務器組：一個服務器組一般由五臺服務器組成，其中一臺master，服務維護與客戶端的所有通信；其他服務器不斷和主服務器通信，獲取用戶操作。 AWSAmazon云計算核心技術1. 彈性計算云EC22. 簡單存儲服務S33. 簡單數(shù)據庫服務Simple DB4. 簡單隊列服務SQS5. 彈性MapReduce服務6. 內容推送服務CloudFront7. 電子商務服務DevPay8. 靈活支付服務FPS（1） Dynamo核心思想：Dynamo是一個去中心化的系統(tǒng)，它只需要很少很少的人工管理。永久性故障處理：副本同步Dynamo實現(xiàn)了反熵（antientropy）或叫副本同步的協(xié)議。此時不會出現(xiàn)數(shù)據塊的寫操作 5）數(shù)據完整性檢測 HDFS客戶端軟件實現(xiàn)了對HDFS文件內容的校驗和（Checksum）檢查 6）空間回收 文件被用戶或應用程序刪除時，先把它移動到/trash目錄里；只要還在這個目錄里，文件就可以被迅速恢復 7）元數(shù)據磁盤失效NameNode可以配置為支持維護映像文件和事務日志的多個副本，任何對映像文件或事務日志的修改，都將同步到它們的副本上 8）快照 快照支持存儲某個時間的數(shù)據復制，當HDFS數(shù)據損壞時，可以回滾到過去一個已知正確的時間點。8. MapReduce程序設計1.1) key,value對2) 數(shù)據輸入3) Mapper階段4) Reducer階段5) 數(shù)據輸出package 。import 。 while (()) { (())。 int len。 if(() ()) { (())。 i++。 keys[i+1] = tempt。 (2)。 (job, new Path(otherArgs[0]))。 // 向量序號 (i
教學教案相關推薦
鄂ICP備17016276號-1