【正文】 他虛擬機(jī)造成影響 – 虛擬機(jī)之間的數(shù)據(jù)相對(duì)獨(dú)立，不會(huì)泄露 – 虛擬機(jī)之間如果需要互相訪問(wèn)，方式等同于獨(dú)立物理服務(wù)器之間的互相訪問(wèn)封裝性 – 硬件無(wú)關(guān) – 對(duì)外表現(xiàn)為單一的邏輯實(shí)體 – 一個(gè)虛擬機(jī)可以方便的在不同硬件之間復(fù)制、移動(dòng) – 將不同訪問(wèn)方式的硬件封裝成統(tǒng)一標(biāo)準(zhǔn)化的虛擬硬件設(shè)備，保證了虛擬機(jī)的兼容性高性能 – 可通過(guò)擴(kuò)展獲得“無(wú)限”的性能 – 虛擬化抽象層需要一定管理開(kāi)銷(xiāo)3 服務(wù)器虛擬化的關(guān)鍵技術(shù)？計(jì)算虛擬化 –CPU虛擬化 –計(jì)算負(fù)載的動(dòng)態(tài)分配 –能耗管理存儲(chǔ)虛擬化 –內(nèi)存虛擬化 –磁盤(pán)存儲(chǔ)動(dòng)態(tài)分配設(shè)備與I/O虛擬化 –軟件方式實(shí)現(xiàn) –統(tǒng)一、標(biāo)準(zhǔn)化的接口 –操作指令轉(zhuǎn)譯實(shí)時(shí)遷移技術(shù) –將整個(gè)虛擬機(jī)的運(yùn)行狀態(tài)完整、快速地從原宿主機(jī)的硬件平臺(tái)轉(zhuǎn)移到新的宿主機(jī)硬件平臺(tái)。 PaaS（平臺(tái)即服務(wù)）提供平臺(tái)給系統(tǒng)管理員和開(kāi)發(fā)人員，令其可以基于平臺(tái)構(gòu)建、測(cè)試及部署定制應(yīng)用程序。第一講：云計(jì)算概述1 什么是云計(jì)算？ 云計(jì)算是一種能夠?qū)?dòng)態(tài)伸縮的虛擬化資源通過(guò)互聯(lián)網(wǎng)以服務(wù)的方式提供給用戶的計(jì)算模式。也降低了管理系統(tǒng)的成本。4 創(chuàng)建虛擬化解決方案的步驟？創(chuàng)建虛擬化解決方案部署虛擬化解決方案管理虛擬化解決方案5 什么是數(shù)據(jù)中心？ 數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施，它不僅僅包括計(jì)算機(jī)系統(tǒng)和其它與之配套的設(shè)備（例如通信和存儲(chǔ)系統(tǒng)），還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)置以及各種安全裝置。將提供預(yù)制的鏡像或是為用戶創(chuàng)建的鏡像提供存儲(chǔ)機(jī)制，這樣用戶就能夠?qū)㈢R像以虛擬機(jī)的形式啟動(dòng)。通過(guò)HTTP協(xié)議，采用REST風(fēng)格實(shí)現(xiàn)接口定義和響應(yīng)，發(fā)送執(zhí)行消息指令至隊(duì)列，由具體的訂閱實(shí)現(xiàn)模塊執(zhí)行指令。 Role：即賦予該用戶的權(quán)限，Openstack提供的是一個(gè)多租戶環(huán)境，在Openstack中租戶對(duì)應(yīng)到項(xiàng)目(Project)。 – Account：賬戶。如果超過(guò)2^32仍然找不到節(jié)點(diǎn)，就會(huì)保存到第一個(gè)節(jié)點(diǎn)上。3 GFS的容錯(cuò)機(jī)制Master容錯(cuò) – 三類(lèi)元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、Chunk與文件名的映射以及Chunk副本的位置信息。5 Chubby鎖機(jī)制 Chubby是Google為解決分布式一致性問(wèn)題而設(shè)計(jì)的提供粗粒度鎖服務(wù)的文件系統(tǒng)。合并壓縮 – 合并壓縮操作讀取多個(gè)SSTable，創(chuàng)建一個(gè)新的SSTable來(lái)保持其中的最新數(shù)據(jù)。3 Hadoop執(zhí)行MR的過(guò)程master 節(jié)點(diǎn)運(yùn)行jobTracker 實(shí)例，接收客戶端job請(qǐng)求，一個(gè)job 是對(duì)一個(gè)數(shù)據(jù)集的處理，slave 節(jié)點(diǎn)運(yùn)行 TaskTracker 實(shí)例，一個(gè) task 是一次map或者reduce處理過(guò)程。 最終結(jié)果寫(xiě)入到GFS 文件系統(tǒng)中 補(bǔ)充：1 什么是MapReduce？一個(gè)軟件架構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模式。 執(zhí)行命令：JobTracker會(huì)給TaskTracker下達(dá)各種命令，主要包括：?jiǎn)?dòng)任務(wù)(LaunchTaskAction)、提交任務(wù)(CommitTaskAction)、殺死任務(wù)(KillTaskAction)、殺死作業(yè)(KillJobAction)和重新初始化(TaskTrackerReinitAction)。NameNode是整個(gè)HDFS的核心, 它通過(guò)維護(hù)一些數(shù)據(jù)結(jié)構(gòu)來(lái)記錄每一個(gè)文件被分割成了多少個(gè)塊、這些塊可以從哪些DataNode中獲得, 以及各個(gè)DataNode的狀態(tài)等重要信息。7 Yarn對(duì)Hadoop的核心改進(jìn)原框架中的JobTracker和TaskTracker 被ResourceManager, ApplicationMaster 與NodeManager取代。NodeManager功能比較專(zhuān)一, 就是負(fù)責(zé)Container狀態(tài)的維護(hù), 并向RM 保持心跳。DataNode負(fù)責(zé)處理文件系統(tǒng)客戶端的文件讀寫(xiě)操作, 并在 NameNode 的統(tǒng)一調(diào)度下進(jìn) 行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制操作。2 運(yùn)用mapreduce算法解決實(shí)際問(wèn)題詞頻： WordCount 基礎(chǔ)上map 函數(shù)中，加入*,num 鍵值對(duì)，一次mapreduce 過(guò)程得到每個(gè)詞出現(xiàn)的個(gè)數(shù)及總數(shù) inverted index （若干文本文件 倒排索引結(jié)果）： map 輸出：{token,fileID},one biner 輸出：{token,fileID},sum reduce 輸出：key,value = word ，articleId：num 計(jì)算文本相似度： — 進(jìn)行倒排索引 —計(jì)算兩兩文章對(duì)的相似性 map：同一個(gè)詞對(duì)應(yīng)的文章鏈表中，兩兩文章構(gòu)成一組{article1,article2},num reduce：進(jìn)行收集 —統(tǒng)計(jì)文章相似度 3 算法調(diào)優(yōu) 給shuffle過(guò)程盡可能多的內(nèi)存空間；Map和Reduce函數(shù)盡量少用內(nèi)存；運(yùn)行Map和Reduce任務(wù)的JVM 的內(nèi)存盡量大；Map端盡量估算Map輸入的大小，減少溢出寫(xiě)磁盤(pán)的次數(shù)；Reduce端的中間數(shù)據(jù)盡可能的多駐留在內(nèi)存；增加Hadoop的文件緩沖區(qū)。MapReduce實(shí)現(xiàn)了Map和Reduce兩個(gè)功能： – Map把一個(gè)函數(shù)應(yīng)用于集合中的所有成員，然后返回一個(gè)基于這個(gè)處理的結(jié)果集 – Reduce對(duì)結(jié)果集進(jìn)行分類(lèi)和歸納 – Map()和Reduce() 兩個(gè)函數(shù)可能會(huì)并行運(yùn)行，即使不是在同一的系統(tǒng)的同一時(shí)刻2 MapReduce的優(yōu)化？ – 任務(wù)備份機(jī)制 – 本地處理 – 跳過(guò)有問(wèn)題的記錄3 MapReduce中的術(shù)語(yǔ)？ job：MapReduce的一整個(gè)過(guò)程 task：在一個(gè)job中，每個(gè)mapper和每個(gè)reducer做的事情 task attempt：運(yùn)行一個(gè)task。客戶端設(shè)定配置之后，交 job ，將job 數(shù)據(jù)發(fā)送到 jobTracker 的文件系統(tǒng)中，Mapreduce庫(kù)會(huì)把所輸入文件分割成 M 塊，放到不同的 datanote 上。第七講：MapReduce算法原理1 Mapreduce算法的架構(gòu) 每個(gè)mapreduce 任務(wù)