武漢理工云計算重點(diǎn)-文庫吧資料
2025-04-23 04:24本頁面
【正文】 port 。import 。import .*。8. MapReduce程序設(shè)計1.1) key,value對2) 數(shù)據(jù)輸入3) Mapper階段4) Reducer階段5) 數(shù)據(jù)輸出package 。JobTracker是主控服務(wù)，只有一個，負(fù)責(zé)調(diào)度和管理TaskTracker，把Map任務(wù)和Reduce任務(wù)分配給空閑的TaskTrcker，讓這些任務(wù)并行運(yùn)行，并負(fù)責(zé)監(jiān)控任務(wù)的運(yùn)行情況。NameNode管理文件系統(tǒng)的元數(shù)據(jù)，DataNode存儲實(shí)際的數(shù)據(jù)。2) 偽分布式模式：可以在單節(jié)點(diǎn)上以偽分布式模式運(yùn)行，用不同的Java進(jìn)程模擬分布式運(yùn)行中各類節(jié)點(diǎn)（NameNode、DataNode、JobTracker、TaskTracker、Secondary NameNode）3) 完全分布式模式：在HDFS看來，節(jié)點(diǎn)分為NameNode和DataNode，其中NameNode只有一個，DataNode可以有多個；在MapReduce看來，節(jié)點(diǎn)又分為JobTracer和TaskTracker，其中JobTracer只有一個，也可以部署在同一臺機(jī)器上，部署NameNode和JobTracker的機(jī)器是主服務(wù)器（master），其余都是從服務(wù)器（slaves）。此時不會出現(xiàn)數(shù)據(jù)塊的寫操作 5）數(shù)據(jù)完整性檢測 HDFS客戶端軟件實(shí)現(xiàn)了對HDFS文件內(nèi)容的校驗(yàn)和（Checksum）檢查 6）空間回收 文件被用戶或應(yīng)用程序刪除時，先把它移動到/trash目錄里；只要還在這個目錄里，文件就可以被迅速恢復(fù) 7）元數(shù)據(jù)磁盤失效NameNode可以配置為支持維護(hù)映像文件和事務(wù)日志的多個副本，任何對映像文件或事務(wù)日志的修改，都將同步到它們的副本上 8）快照 快照支持存儲某個時間的數(shù)據(jù)復(fù)制，當(dāng)HDFS數(shù)據(jù)損壞時，可以回滾到過去一個已知正確的時間點(diǎn)。數(shù)據(jù)中心和基礎(chǔ)架構(gòu)是VMware云計算解決方案的基石云應(yīng)用平臺層（PaaS）VMware的云應(yīng)用平臺以SpringSource應(yīng)用和VMware vSphere為基礎(chǔ)，采用高級消息隊(duì)列協(xié)議AMQP，具有無縫擴(kuò)展的彈性數(shù)據(jù)管理技術(shù)和跨物理/虛擬環(huán)境可見性的性能監(jiān)控和應(yīng)用管理機(jī)制，并能實(shí)現(xiàn)私有云和公有云之間的遷移 桌面虛擬化產(chǎn)品（SaaS） 主要是基于桌面和應(yīng)用程序虛擬化，提供了VMware ThinApp、VMware Workstation、VMware Fusion、Zimbra、VMware Player、WMware移動虛擬平臺（MVP）及VMware ACE等產(chǎn)品 2． 虛擬化分類虛擬化從結(jié)構(gòu)上可以分為寄居架構(gòu)和裸金屬架構(gòu)寄居架構(gòu)：在操作系統(tǒng)的層面之上進(jìn)行虛擬機(jī)實(shí)現(xiàn)，如VMware Workstation 裸金屬架構(gòu)：在計算機(jī)硬件上直接進(jìn)行虛擬化，是架設(shè)在計算機(jī)硬件和操作系統(tǒng)之間的虛擬化 ，如ESX Server3． 三種虛擬化軟件（參考）Citrix XenServer，微軟 Windows Server 2008 HyperV，VMware ESX ServerVMware ESX重點(diǎn)于服務(wù)器虛擬化，技術(shù)較成熟，功能也多，支持虛機(jī)系統(tǒng)多；Xenserver重點(diǎn)在于桌面虛擬化，性價比高，網(wǎng)絡(luò)性能好，適用于快速與大規(guī)模部署，支持系統(tǒng)也不少，但做桌面能發(fā)布出來的只有MS系統(tǒng)；HyperV起步的最晚，目前貌似只支持MS自家的系統(tǒng)，屬于服務(wù)器級的，Server08版自帶功能，起步晚，但背靠大樹好乘涼； Hadoop1. 定義Apache開源組織的一個分布式計算框架，可以在大量廉價的硬件設(shè)備組成的集群上運(yùn)行應(yīng)用程序，為應(yīng)用程序提供了一組穩(wěn)定可靠的接口，旨在構(gòu)建一個具有高可靠性和良好擴(kuò)展性的分布式系統(tǒng).2. 組件3. 起源(如圖)4. HDFS保障可靠性的措施（簡答）P1921）冗余備份每個文件存儲成一系列數(shù)據(jù)塊（Block），默認(rèn)塊大小為64MB（可配置）。部署和管理云基礎(chǔ)架構(gòu)的工作均由AppFabric完成，開發(fā)者只需要關(guān)心應(yīng)用邏輯。（2） S3對象：數(shù)據(jù)和元數(shù)據(jù)（描述數(shù)據(jù)的數(shù)據(jù)：lastmodified,Etag,ContentType,ContentLength）鍵：對象的唯一標(biāo)識符桶：存儲對象容器（最多創(chuàng)建100個桶，不限桶中文件數(shù)量）S3系統(tǒng)采用冗余存儲優(yōu)勢：某些服務(wù)器出現(xiàn)故障時用戶仍然可以對其數(shù)據(jù)進(jìn)行操作弊端：用戶在操作時可能會出現(xiàn)如下幾種情況 (讀臟數(shù)據(jù))1. 一個進(jìn)程寫入一個新的對象并立即嘗試讀取它，但在該改變被傳送到S3的多個服務(wù)器前，服務(wù)器對該操作可能返回“鍵不存在”2. 一個進(jìn)程寫入一個新的對象并立即嘗試列出桶中已有的對象，但在該改變被傳送到S3的多個服務(wù)器前，該對象很可能不會出現(xiàn)在列表中3. 一個進(jìn)程用新數(shù)據(jù)替換現(xiàn)有的對象并立即嘗試讀取它，但在該改變被傳送到S3的多個服務(wù)器前，S3可能會返回以前的數(shù)據(jù)4. 一個進(jìn)程刪除現(xiàn)有的對象并立即嘗試讀取它，但在該改變被傳送到S3的多個服務(wù)器前，S3可能會返回被刪除的數(shù)據(jù)5. 一個進(jìn)程刪除現(xiàn)有的對象并立即嘗試列出桶中的所有對象，但在該改變被傳送到S3的多個服務(wù)器前，S3可能會列出被刪除的對象出現(xiàn)這些現(xiàn)象是因?yàn)镾3為了保證用戶數(shù)據(jù)的一致性而采取的一種折中手段，即在數(shù)據(jù)被充分傳播到所有的存放節(jié)點(diǎn)之前返回給用戶的仍是原數(shù)據(jù)安全措施：1）身份認(rèn)證：基于HMACSHA1的數(shù)字簽名方式來確定
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號-1