武漢理工云計算重點-wenkub.com
2025-04-14 04:24 本頁面
【正文】 輸入的key1,value1對中key1和value1的類型均為IntPair，其輸出為key1,value2對，key1不變，value2為IntWritable類型，值為value1中的兩個整數(shù)的乘積（3）MapReduce框架調(diào)用FirstPartitioner類的getPartition方法將Map的輸出 key1,value2對分配給指定的Reducer任務(wù)（4）Reducer任務(wù)對key1值相同的所有value2求和，得出積矩陣中的元素k的值。 ((true) ? 0 : 1)。 ()。 ()。 } (sum)。 } i ++。 while (()) { int result = vector[j] * (())。 private final static int[] vector = {2, 3, 4}。 (job, new Path(otherArgs[1]))。 ()。 } Job job = new Job(conf, word count)。 (N,5)。 } } } for (i=0。 values[i] = values [i+1]。 } while (j0) { //冒泡排序 for(i=0。 int j=len。 (key,result)。 } (sum)。 private IntWritable result = new IntWritable()。 } (sum)。 (word, one)。public class WordCount { public static class TokenizerMapper extends MapperObject, Text, Text, IntWritable{ private final static IntWritable one = new IntWritable(1)。import 。import 。import 。P1917. 兩類調(diào)度服務(wù)P196MapReduce框架是由JobTracker和TaskTracker這兩類服務(wù)調(diào)度的。HDFS目前還不支持快照功能5. Hadoop工作模式1) 單機模式：默認情況下，Hadoop被配置成一個非分布式模式運行的獨立Java進程，適合開始時做調(diào)試工作。4) Windows Azure Marketplace：為購買云計算環(huán)境下的數(shù)據(jù)和應(yīng)用提供在線服務(wù) 3. Windows Azure操作系統(tǒng)組成部分：計算服務(wù)、存儲服務(wù)、Fabric控制器、內(nèi)容分發(fā)網(wǎng)絡(luò)CDN、Windows Azure Connect4. SQL Azure關(guān)鍵技術(shù)：1) SQL Azure數(shù)據(jù)庫：SQL Azure支持TDS和TransactSQL，核心的數(shù)據(jù)庫功能2) SQL Azure數(shù)據(jù)報表服務(wù)：3) SQL Azure數(shù)據(jù)同步：提高存儲數(shù)據(jù)的訪問性能，同時確保網(wǎng)絡(luò)發(fā)生故障時應(yīng)用仍然能夠訪問數(shù)據(jù)庫 VMWare1． VMware云戰(zhàn)略三層架構(gòu)云基礎(chǔ)架構(gòu)及管理層（IaaS）云基礎(chǔ)架構(gòu)及管理層由數(shù)據(jù)中心與云基礎(chǔ)架構(gòu)、安全產(chǎn)品、基礎(chǔ)架構(gòu)和運營管理三大部分組成。Dynamo采用MerkleTree，一種哈希樹來存儲key的信息，樹的比對能輕易的了解副本是否同步；每個節(jié)點維護一個單獨的MerkleTree，樹的比對也能輕易的找出不同步的key；方案的缺點是，當(dāng)有節(jié)點加入或離開系統(tǒng)時，許多key會發(fā)生變化，需要對樹進行重新計算。這樣既保證了副本的數(shù)量又減少了延時。存儲節(jié)點的添加、刪除，不需要任何手工劃分或重新分配并提供最終一致性（eventuallyconsistent）保證。（3） BigtableBigTable是一個分布式的結(jié)過婚數(shù)據(jù)存儲系統(tǒng)，它存儲著PB級別的數(shù)據(jù)。Chubby服務(wù)器組的所有機器都會執(zhí)行用戶操作，并將數(shù)據(jù)存放到文件系統(tǒng)。（2） Chubby Lock1. Chubby系統(tǒng)提供粗粒度的分布式鎖服務(wù)，它基于松耦合分布式系統(tǒng)的可靠設(shè)計。它將計算任務(wù)分布在大量計算機構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務(wù)。2. 云計算特點：1) 超大規(guī)模：服務(wù)器群；2) 虛擬化：可以看作是一片用于計算的云；3) 高可靠性：冗余副本、負載均衡；4) 通用性：支撐千變?nèi)f化的實際應(yīng)用；5) 高可擴展性：靈活、動態(tài)伸縮；6) 按需服務(wù)：按需購買；7) 極其廉價：不再需要一次性購買超級電腦；8) 安全：擺脫數(shù)據(jù)丟失、病毒入侵 ；9) 方便：支持多終端、數(shù)據(jù)共享。2. Chubby的使用者不需要使用復(fù)雜的同步協(xié)議，二是直接調(diào)用Chubby的鎖服務(wù)，即可保證數(shù)據(jù)操作的一致性。5. Chubby文件系統(tǒng)類似于簡單的unix文件系統(tǒng)，但它不支持文件移動操作與硬連接。BigTable的設(shè)計目標(biāo)是：（1）適用性廣；（2）擴展方便；（3）簡單性；（4）高可用；在Bigtable中Chubby主要有以下幾個作用：（1） 選取并保證同一時間內(nèi)只有一個主服務(wù)器（Master
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1