【文章內(nèi)容簡介】 Windows Server 2008 HyperV，VMware ESX ServerVMware ESX重點于服務器虛擬化，技術較成熟，功能也多，支持虛機系統(tǒng)多；Xenserver重點在于桌面虛擬化，性價比高，網(wǎng)絡性能好，適用于快速與大規(guī)模部署，支持系統(tǒng)也不少，但做桌面能發(fā)布出來的只有MS系統(tǒng)；HyperV起步的最晚，目前貌似只支持MS自家的系統(tǒng)，屬于服務器級的，Server08版自帶功能，起步晚，但背靠大樹好乘涼； Hadoop1. 定義Apache開源組織的一個分布式計算框架，可以在大量廉價的硬件設備組成的集群上運行應用程序，為應用程序提供了一組穩(wěn)定可靠的接口，旨在構(gòu)建一個具有高可靠性和良好擴展性的分布式系統(tǒng).2. 組件3. 起源(如圖)4. HDFS保障可靠性的措施（簡答）P1921）冗余備份每個文件存儲成一系列數(shù)據(jù)塊（Block），默認塊大小為64MB（可配置）。為了容錯，文件的所有數(shù)據(jù)塊都會有副本（副本數(shù)量即復制因子，可配置） 2）副本存放采用機架感知（Rackaware）的策略來改進數(shù)據(jù)的可靠性、可用性和網(wǎng)絡帶寬的利用率 3）心跳檢測NameNode周期性地從集群中的每個DataNode接受心跳包和塊報告，收到心跳包說明該DataNode工作正常 4）安全模式系統(tǒng)啟動時，NameNode會進入一個安全模式。此時不會出現(xiàn)數(shù)據(jù)塊的寫操作 5）數(shù)據(jù)完整性檢測 HDFS客戶端軟件實現(xiàn)了對HDFS文件內(nèi)容的校驗和（Checksum）檢查 6）空間回收 文件被用戶或應用程序刪除時，先把它移動到/trash目錄里；只要還在這個目錄里，文件就可以被迅速恢復 7）元數(shù)據(jù)磁盤失效NameNode可以配置為支持維護映像文件和事務日志的多個副本，任何對映像文件或事務日志的修改，都將同步到它們的副本上 8）快照 快照支持存儲某個時間的數(shù)據(jù)復制，當HDFS數(shù)據(jù)損壞時，可以回滾到過去一個已知正確的時間點。HDFS目前還不支持快照功能5. Hadoop工作模式1) 單機模式：默認情況下，Hadoop被配置成一個非分布式模式運行的獨立Java進程，適合開始時做調(diào)試工作。2) 偽分布式模式：可以在單節(jié)點上以偽分布式模式運行，用不同的Java進程模擬分布式運行中各類節(jié)點（NameNode、DataNode、JobTracker、TaskTracker、Secondary NameNode）3) 完全分布式模式：在HDFS看來，節(jié)點分為NameNode和DataNode，其中NameNode只有一個，DataNode可以有多個；在MapReduce看來，節(jié)點又分為JobTracer和TaskTracker，其中JobTracer只有一個，也可以部署在同一臺機器上，部署NameNode和JobTracker的機器是主服務器（master），其余都是從服務器（slaves）。6. HDFS是一個主從結(jié)構(gòu)的體系，HDFS集群有一個NameNode和很多個DataNode組成。NameNode管理文件系統(tǒng)的元數(shù)據(jù)，DataNode存儲實際的數(shù)據(jù)。P1917. 兩類調(diào)度服務P196MapReduce框架是由JobTracker和TaskTracker這兩類服務調(diào)度的。JobTracker是主控服務，只有一個，負責調(diào)度和管理TaskTracker，把Map任務和Reduce任務分配給空閑的TaskTrcker，讓這些任務并行運行，并負責監(jiān)控任務的運行情況。TskTracker可以有多個，負責執(zhí)行任務。8. MapReduce程序設計1.1) key,value對2) 數(shù)據(jù)輸入3) Mapper階段4) Reducer階段5) 數(shù)據(jù)輸出package 。import 。import .*。 import 。import 。import 。import 。import 。import 。import 。import 。import 。import 。public class WordCount { public static class TokenizerMapper extends MapperObject, Text, Text, IntWritable{ private final static IntWritable one = new IntWritable(1)。 private Text word = new Text()。 public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(())。 while (()) { (())。 (word, one)。 } } } public static class IntSumCombiner extends ReducerText,IntWritable,Text,IntWritable { private IntWritable result = n