【正文】 負(fù)載相對(duì)較高，但是也沒有充分發(fā)揮硬件平臺(tái)的資源效率。在存儲(chǔ)陣列方面，XXX客戶數(shù)據(jù)中心的主要存儲(chǔ)設(shè)備及其相應(yīng)系統(tǒng)的容量與使用率情況如下所示。人力資源系統(tǒng)可使用的容量已全部分配完畢。u IBM DS5020陣列上，視頻服務(wù)器可使用的總?cè)萘繛?540G，現(xiàn)已使用了1530G，使用率為97%；防病毒系統(tǒng)可使用的總?cè)萘繛?70G，現(xiàn)已使用了206G，使用率為76%。u EMC CX500陣列上，任務(wù)管理系統(tǒng)可用總?cè)萘繛?20G，現(xiàn)已使用了95G，使用率為79%；固定資產(chǎn)管理系統(tǒng)可用總?cè)萘繛?00G，現(xiàn)已使用了280G，使用率為94%。上述存儲(chǔ)設(shè)備及其相應(yīng)系統(tǒng)的容量與使用率情況如下表所示。隨著之后系統(tǒng)和數(shù)據(jù)量的不斷增加，這一現(xiàn)象將會(huì)持續(xù)加劇?，F(xiàn)在機(jī)房?jī)?nèi)運(yùn)行的大部分機(jī)器的利用率都非常低，由于一臺(tái)服務(wù)器只能有一個(gè)操作系統(tǒng)，受系統(tǒng)和軟件開發(fā)平臺(tái)的限制，CPU、內(nèi)存、硬盤空間的資源利用率都很低，大量的系統(tǒng)資源被閑置。首先是可用性低，幾乎每個(gè)應(yīng)用服務(wù)器都是單機(jī)，如果某臺(tái)服務(wù)器出現(xiàn)故障，相對(duì)應(yīng)的業(yè)務(wù)也將中斷。u 兼容性差。新的軟件包括操作系統(tǒng)和應(yīng)用軟件無法運(yùn)行在老的硬件平臺(tái)，而老的代碼有時(shí)候也很難移植到新的硬件平臺(tái)上。為節(jié)省時(shí)間、物力和保持系統(tǒng)部署的順利，只能用增加服務(wù)器單獨(dú)部署的方法來解決。隨著應(yīng)用的不斷增加，服務(wù)器數(shù)量也跟著增加，每年要支出高額購置費(fèi)用不說，還有部分服務(wù)器已經(jīng)過保修期，部件逐漸進(jìn)入老化期，維護(hù)、維修預(yù)算費(fèi)用也逐年增加。當(dāng)有新的應(yīng)用需要部署時(shí)，需要重新部署服務(wù)器，存儲(chǔ)系統(tǒng)，并需要對(duì)網(wǎng)絡(luò)系統(tǒng)進(jìn)行調(diào)整以適應(yīng)新的IT應(yīng)用的需求。VMware的服務(wù)器虛擬化解決方案可以很好地解決上面這些問題，下面的章節(jié)將從方案的整體規(guī)劃設(shè)計(jì)，體系結(jié)構(gòu)，計(jì)算，網(wǎng)絡(luò)與安全，存儲(chǔ)，可用性，管理與自動(dòng)化等方面對(duì)該方案進(jìn)行全面地分析與介紹。原先設(shè)備可以根據(jù)制度進(jìn)行折舊報(bào)廢、或者利舊更新，使得IT管理人員有了更多的選擇。下圖是實(shí)施了VMware虛擬化方案之后的IT整體架構(gòu)。原有的服務(wù)器設(shè)備仍然可以正常運(yùn)行，并且與虛擬化服務(wù)器融合在一起?？蛻舳朔矫?，延續(xù)了原先的訪問模式，對(duì)于虛擬服務(wù)器的數(shù)據(jù)交互等操作，等同于原先傳統(tǒng)物理服務(wù)器的的訪問模式，不會(huì)對(duì)業(yè)務(wù)系統(tǒng)造成任何不利影響。 計(jì)算資源規(guī)劃虛擬機(jī)上運(yùn)行著為各個(gè)用戶和整個(gè)業(yè)務(wù)線提供支持的應(yīng)用與服務(wù)，其中有很多都是關(guān)鍵業(yè)務(wù)應(yīng)用，因此，用戶必須正確設(shè)計(jì)、調(diào)配和管理虛擬機(jī)，以確保這些應(yīng)用與服務(wù)能夠高效運(yùn)行。本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對(duì)計(jì)算資源進(jìn)行整體規(guī)劃，包括物理服務(wù)器，虛擬機(jī)等資源。 指導(dǎo)原則與最佳實(shí)踐u 除非確實(shí)需要多個(gè)虛擬CPU (vCPU)，否則默認(rèn)配置一個(gè)，使用盡可能少的虛擬CPU。應(yīng)用必須是多線程的，才能受益于多個(gè)虛擬CPU。u 不要規(guī)劃使用主機(jī)的所有CPU或內(nèi)存資源，在設(shè)計(jì)中保留一些可用資源。u 始終將透明頁共享保持啟用狀態(tài)，始終加載VMware Tools并啟用內(nèi)存釋放。資源池可用于為虛擬機(jī)分配專用CPU和內(nèi)存資源。u 部署一個(gè)系統(tǒng)磁盤和一個(gè)單獨(dú)的應(yīng)用數(shù)據(jù)磁盤。u 應(yīng)用要求應(yīng)作為向虛擬機(jī)分配資源的主要指標(biāo)。u 像保護(hù)物理機(jī)一樣保護(hù)虛擬機(jī)的安全。確保隨時(shí)更新所有的安全保護(hù)措施。u 為避免管理連接問題，應(yīng)向每個(gè)ESXi主機(jī)分配靜態(tài)IP地址和主機(jī)名。u 確保數(shù)據(jù)中心有足夠的電源和散熱容量以避免服務(wù)中斷。一致性包括CPU類型、內(nèi)存容量和內(nèi)存插槽分配、網(wǎng)卡和主機(jī)總線適配器類型，以及PCI插槽分配。u 使用橫向擴(kuò)展還是縱向擴(kuò)展集群由集群用途、基礎(chǔ)架構(gòu)規(guī)模、vSphere限制以及資金和運(yùn)營(yíng)成本等因素確定。 計(jì)算資源規(guī)劃基于上述指導(dǎo)原則與最佳實(shí)踐，結(jié)合XXX客戶數(shù)據(jù)中心的實(shí)際情況，我們對(duì)計(jì)算資源進(jìn)行如下的規(guī)劃設(shè)計(jì)。項(xiàng)目數(shù)值每個(gè)系統(tǒng)的平均CPU需求量2平均CPU主頻（MHz）2800MHz每個(gè)系統(tǒng)的平均正?；疌PU主頻（MHz）5663MHz每個(gè)系統(tǒng)的平均CPU使用率% ()每個(gè)系統(tǒng)的平均CPU峰值使用率9% ()1000臺(tái)虛擬機(jī)的峰值CPU總需求量509,670MHz表：CPU資源需求項(xiàng)目數(shù)值 每個(gè)系統(tǒng)的平均內(nèi)存需求量1024MB平均內(nèi)存使用率62% ()平均內(nèi)存峰值使用率70% ()無內(nèi)存共享時(shí)1000臺(tái)虛擬機(jī)的內(nèi)存峰值需求量716,800MB虛擬化后的內(nèi)存共享預(yù)期收益率50%內(nèi)存共享后1000臺(tái)虛擬機(jī)的內(nèi)存峰值總需求量358,400MB表：內(nèi)存資源需求我們建議如下的ESXi主機(jī)CPU與內(nèi)存配置。u 每臺(tái)服務(wù)器的運(yùn)算能力按照峰值而非平均值進(jìn)行估算，確?？梢灾С痔摂M機(jī)應(yīng)用同時(shí)運(yùn)行的最高值。u 內(nèi)存共享按照50%的比例進(jìn)行估算，這個(gè)數(shù)值是基于整合的應(yīng)用全部以Windows Server 2003服務(wù)器操作系統(tǒng)進(jìn)行核算的。下面這個(gè)公式用來估算可以滿足數(shù)據(jù)中心中這些虛擬機(jī)在CPU峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)。所有虛擬機(jī)的內(nèi)存峰值總需求量= 需要的ESXi主機(jī)個(gè)數(shù)每臺(tái)ESXi主機(jī)的可用內(nèi)存根據(jù)上述公式，XXX客戶為了使這1000款應(yīng)用可以在內(nèi)存峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)是：358,400MB (內(nèi)存總體需求量)= 個(gè)ESXi主機(jī)26,214MB (每臺(tái)主機(jī)的可用內(nèi)存)從CPU的角來說，需要17臺(tái)ESXi主機(jī)，而從內(nèi)存的角度來看，則需要14臺(tái)物理主機(jī)。為了使用vSphere的高可用功能，我們還需要添加一臺(tái)ESXi主機(jī)到該集群，因此，總的物理主機(jī)數(shù)目為18臺(tái)。 存儲(chǔ)資源規(guī)劃正確的存儲(chǔ)設(shè)計(jì)對(duì)組織實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)有著積極的影響，可以為性能良好的虛擬數(shù)據(jù)中心奠定一定的基礎(chǔ)。存儲(chǔ)設(shè)計(jì)必須經(jīng)過合理優(yōu)化，以滿足應(yīng)用、服務(wù)、管理員和用戶的多樣性需求。本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對(duì)存儲(chǔ)資源進(jìn)行整體規(guī)劃，包括共享存儲(chǔ)邏輯規(guī)劃，存儲(chǔ)空間規(guī)劃，存儲(chǔ)I/O控制規(guī)劃，存儲(chǔ)分層規(guī)劃等。 指導(dǎo)原則與最佳實(shí)踐在規(guī)劃存儲(chǔ)資源時(shí)，我們會(huì)遵循如下的指導(dǎo)原則與最佳實(shí)踐。在模塊化存儲(chǔ)解決方案中，應(yīng)同時(shí)考慮容量和性能。u 配置存儲(chǔ)多路徑功能，配置主機(jī)、交換機(jī)和存儲(chǔ)陣列級(jí)別的冗余以便提高可用性、可擴(kuò)展性和性能。u 啟用VMware vSphere Storage APIs Array Integration (VAAI)與存儲(chǔ)I/O控制。u 根據(jù)SLA、工作負(fù)載和成本在vSphere中創(chuàng)建多個(gè)存儲(chǔ)配置文件，并將存儲(chǔ)配置文件與相應(yīng)的提供商虛擬數(shù)據(jù)中心對(duì)應(yīng)起來。對(duì)于每秒要處理大量事務(wù)的工作負(fù)載來說，將工作負(fù)載分配到不同位置尤其重要（如數(shù)據(jù)采集或事務(wù)日志記錄系統(tǒng)）。u NFS存儲(chǔ)的最大容量取決于陣列供應(yīng)商。考慮將存儲(chǔ)DRS配置為使其成員數(shù)據(jù)存儲(chǔ)的使用量保持在80%（默認(rèn)設(shè)置）的均衡水平?？紤]配置存儲(chǔ)DRS，使數(shù)據(jù)存儲(chǔ)使用量保持在80%的均衡水平。u 對(duì)于基于IP的存儲(chǔ)，應(yīng)使用單獨(dú)的專用網(wǎng)絡(luò)或VLAN以隔離存儲(chǔ)流量，避免與其他流量類型爭(zhēng)用資源，從而可以降低延遲并提高性能。u 對(duì)于大多數(shù)應(yīng)用，除非存在對(duì)RDM的特定需求，否則請(qǐng)使用VMDK磁盤。 共享存儲(chǔ)邏輯規(guī)劃考慮采用本地存儲(chǔ)將無法形成整個(gè)虛擬化集群資源池，因此無法有效地使用vSphere虛擬化環(huán)境的高可用，靈活配置等功能。在設(shè)計(jì)存儲(chǔ)架構(gòu)時(shí)應(yīng)該充分考慮到冗余和性能，因此存儲(chǔ)架構(gòu)的選擇根據(jù)國(guó)家和各省級(jí)數(shù)據(jù)中心整體應(yīng)用對(duì)存儲(chǔ)的IOPS和吞吐量的需求進(jìn)行規(guī)劃，涉及到端到端的主機(jī)適配器選擇、控制器和端口數(shù)量選擇以及磁盤數(shù)量和RAID方式選擇等。圖：每臺(tái)服務(wù)器的存儲(chǔ)連接示意圖針對(duì)上圖的一些說明如下。u 底層LUN的需求根據(jù)實(shí)際虛擬機(jī)應(yīng)用對(duì)存儲(chǔ)IOPS的實(shí)際需求進(jìn)行規(guī)劃。u 對(duì)于IO密集型的應(yīng)用盡量采用單獨(dú)的VMFS存儲(chǔ)，避免在存儲(chǔ)端與其他應(yīng)用產(chǎn)生IO爭(zhēng)用。u 通常情況下1~2TB的LUN大小具有較好的性能和可管理性。u 對(duì)于雙活A(yù)LUA磁盤陣列（非雙活磁盤陣列），為了防止鏈路抖動(dòng)，對(duì)于每個(gè)LUN在同一時(shí)間配置只有一個(gè)ESXi服務(wù)器通過一個(gè)存儲(chǔ)處理器進(jìn)行訪問，這就需要在多路徑策略選擇時(shí)設(shè)置為MRU（最近使用策略），該策略可以保證只有在某個(gè)路徑故障時(shí)才啟用另一個(gè)存儲(chǔ)處理器連接LUN。 存儲(chǔ)空間規(guī)劃規(guī)劃LUN容量時(shí)，建議每個(gè)LUN運(yùn)行10到20個(gè)VM(數(shù)據(jù)事務(wù)類應(yīng)用可以適當(dāng)減少)，并且每個(gè)LUN的使用量不超過容量的80%。LUN容量規(guī)劃的公式如下所示。因此在構(gòu)建VMFS文件系統(tǒng)的空間時(shí)應(yīng)該充分考慮在其上運(yùn)行的虛擬機(jī)數(shù)量和可增長(zhǎng)空間，在規(guī)劃時(shí)將LUN的空間預(yù)留充足。我們建議XXX客戶采用如下的存儲(chǔ)配置。 存儲(chǔ)分層規(guī)劃每個(gè)存儲(chǔ)層具有不同的性能、容量和可用性特征，只要不是每個(gè)應(yīng)用都需要昂貴、高性能、高度可用的存儲(chǔ)，設(shè)計(jì)不同的存儲(chǔ)層將十分經(jīng)濟(jì)高效。圖：存儲(chǔ)分層實(shí)例在規(guī)劃存儲(chǔ)分層時(shí)，我們主要考量應(yīng)用和服務(wù)的如下存儲(chǔ)特征。u 考慮任何現(xiàn)有的服務(wù)級(jí)別協(xié)議(SLA)u 數(shù)據(jù)在信息生命周期中可能會(huì)在存儲(chǔ)層之間移動(dòng)基于上述原則，我們?yōu)閄XX客戶所做的存儲(chǔ)分層規(guī)劃如下所示。 數(shù)據(jù)存儲(chǔ)群集規(guī)劃數(shù)據(jù)存儲(chǔ)以及與數(shù)據(jù)存儲(chǔ)群集關(guān)聯(lián)的主機(jī)必須符合特定要求，才能成功使用數(shù)據(jù)存儲(chǔ)群集功能。u 數(shù)據(jù)存儲(chǔ)群集必須包含類似的或可互換的數(shù)據(jù)存儲(chǔ)。但是，下列類型的數(shù)據(jù)存儲(chǔ)不能共存于一個(gè)數(shù)據(jù)存儲(chǔ)群集中。 在同一個(gè)數(shù)據(jù)存儲(chǔ)群集中，不能組合使用NFS和VMFS數(shù)據(jù)存儲(chǔ)。 在同一個(gè)啟用了存儲(chǔ)DRS的數(shù)據(jù)存儲(chǔ)群集中，不能結(jié)合使用復(fù)制的數(shù)據(jù)存儲(chǔ)和非復(fù)制的數(shù)據(jù)存儲(chǔ)。如果數(shù)據(jù)存儲(chǔ)群集中的數(shù)據(jù)存儲(chǔ)連接到ESX/ESXi ，則存儲(chǔ)DRS不會(huì)運(yùn)行。u 最佳做法是，啟用了硬件加速的數(shù)據(jù)存儲(chǔ)不能與未啟用硬件加速的數(shù)據(jù)存儲(chǔ)放在同一個(gè)數(shù)據(jù)存儲(chǔ)群集中?；谏鲜鲈瓌t，我們建議XXX客戶采用如下數(shù)據(jù)存儲(chǔ)集群規(guī)劃。網(wǎng)絡(luò)設(shè)計(jì)必須經(jīng)過合理優(yōu)化，以滿足應(yīng)用、服務(wù)、存儲(chǔ)、管理員和用戶的各種需求。本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對(duì)網(wǎng)絡(luò)資源進(jìn)行整體規(guī)劃，包括虛擬交換機(jī)，網(wǎng)卡綁定等。u 連接要求u 帶寬要求u 延遲要求u 可用性要求u 成本要求 216。u 構(gòu)建模塊化網(wǎng)絡(luò)解決方案，該方案可隨時(shí)間的推移不斷擴(kuò)展以滿足組織的需求，使得用戶無需替換現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，進(jìn)而降低成本。u VLAN可減少所需的網(wǎng)絡(luò)端口和電纜數(shù)量，但需要得到物理網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的支持。對(duì)于每一個(gè)虛擬交換機(jī)vSwitch應(yīng)該配置至少兩個(gè)上行鏈路物理網(wǎng)絡(luò)端口。如果移除所有正在運(yùn)行的硬件，虛擬機(jī)仍可互相通信。u 連接到同一vSphere標(biāo)準(zhǔn)交換機(jī)或分布式交換機(jī)的每個(gè)物理網(wǎng)絡(luò)適配器還應(yīng)該連接到同一物理網(wǎng)絡(luò)。u 實(shí)施網(wǎng)絡(luò)組件和路徑冗余，以支持可用性和負(fù)載分配。u 對(duì)于多網(wǎng)口的冗余配置應(yīng)該遵循配置在不同PCI插槽間的物理網(wǎng)卡口之間。建議采用千兆以太網(wǎng)交換網(wǎng)絡(luò)，避免網(wǎng)絡(luò)瓶頸。簡(jiǎn)單的方法是通過在虛擬機(jī)網(wǎng)絡(luò)vSwitch或vPortGroup上通過對(duì)多塊1GbE端口捆綁負(fù)載均衡實(shí)現(xiàn)。u 為了保護(hù)大部分敏感的虛擬機(jī)，要在虛擬機(jī)中部署防火墻，以便在帶有上行鏈路（連接物理網(wǎng)絡(luò)）的虛擬網(wǎng)絡(luò)和無上行鏈路的純虛擬網(wǎng)絡(luò)之間路由。 虛擬交換機(jī)規(guī)劃為每臺(tái)vSphere服務(wù)器規(guī)劃的虛擬交換機(jī)配置如下。u 所選用的網(wǎng)卡必須在vSphere服務(wù)器的網(wǎng)絡(luò)I/O設(shè)備兼容列表里，請(qǐng)從。u 對(duì)于虛擬機(jī)應(yīng)用的網(wǎng)絡(luò)，為了確保虛擬機(jī)在執(zhí)行了vMotion遷移到另一物理主機(jī)時(shí)保持其原有的VLAN狀態(tài)，（VST）方式。u 對(duì)于虛擬機(jī)存儲(chǔ)，采用IPSAN網(wǎng)絡(luò)，通過虛擬機(jī)vmkernel包含的PSA多路徑模塊進(jìn)行存儲(chǔ)路徑匯聚及故障策略選擇。圖：主機(jī)網(wǎng)絡(luò)連接示意圖216。而通過使用來自多個(gè)網(wǎng)卡和主板接口的端口配置網(wǎng)卡綁定可進(jìn)一步減少單點(diǎn)故障的數(shù)量。圖：網(wǎng)卡綁定示意圖 可用性規(guī)劃本次規(guī)劃充分考慮了虛擬化環(huán)境的可用性設(shè)計(jì)，例如：在網(wǎng)絡(luò)層面和存儲(chǔ)層面分別利用了VMware vSphere內(nèi)置的網(wǎng)絡(luò)冗余和存儲(chǔ)多路徑控制確保高可用。本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對(duì)可用性進(jìn)行整體規(guī)劃。組件可用性故障影響維護(hù)正在運(yùn)行的工作負(fù)載vSphere 主機(jī)在高可用性集群中配置所有vSphere主機(jī)，最少應(yīng)實(shí)現(xiàn)n+1冗余。如果某臺(tái)主機(jī)出現(xiàn)故障，vSphere HA可在13秒內(nèi)檢測(cè)到故障，并開始在集群內(nèi)的其他主機(jī)上啟動(dòng)該主機(jī)的虛擬機(jī)。VMware建議采用一種名為“集群資源百分比”的接入控制策略，因?yàn)榇瞬呗圆粌H十分靈活，而且能夠?qū)崿F(xiàn)資源可用性。在vCenter中，可以定義用于監(jiān)控主機(jī)系統(tǒng)運(yùn)行狀況的規(guī)則。當(dāng)檢測(cè)到I/O沖突時(shí)，vSphere Storage I/O Control會(huì)自動(dòng)調(diào)節(jié)主機(jī)和虛擬機(jī)，確保在數(shù)據(jù)存儲(chǔ)中的虛擬機(jī)之間公平分配磁盤份額。Storage I/O Control會(huì)利用份額分配機(jī)制來確保每個(gè)虛擬機(jī)獲得應(yīng)得的資源。通過vSphere DRS或vSphere Storage DRS，無需停機(jī)即可在主機(jī)之間遷移虛擬機(jī)。Storage I/O Control會(huì)根據(jù)虛擬機(jī)和vSphere主機(jī)相應(yīng)的份額授權(quán)容量或配置的最大IOPS數(shù)量來調(diào)節(jié)虛擬機(jī)和vSphere主機(jī)。這包括管理和vMotion網(wǎng)絡(luò)。無影響。需要配置故障切換和故障恢復(fù)以及相應(yīng)的物理設(shè)置（如PortFast）?；诖鎯?chǔ)供應(yīng)商的設(shè)計(jì)指導(dǎo)準(zhǔn)則來甄選路徑選擇插件。即使發(fā)生故障切換，也不會(huì)導(dǎo)致服務(wù)中斷。vCenter Server Heartbeat 針對(duì)vCenter Server提供一個(gè)集群解決方案，可在節(jié)點(diǎn)之間實(shí)現(xiàn)全自動(dòng)故障切換，幾乎可實(shí)現(xiàn)零停機(jī)。在物理機(jī)發(fā)生故障時(shí)，可以被集群中的其他物理節(jié)點(diǎn)偵測(cè)到并且自動(dòng)在備用物理機(jī)或其他有空閑資源的物理機(jī)啟動(dòng)故障節(jié)點(diǎn)在線的虛擬機(jī)。利用VMware DRS動(dòng)態(tài)資源調(diào)配可以收集各物理主機(jī)和虛擬機(jī)資源（CPU、內(nèi)存等）使用情況，并且提供虛擬機(jī)最佳放置策略，可以自動(dòng)或手動(dòng)進(jìn)行虛擬機(jī)的在線遷移功能滿足最佳負(fù)載平衡需求。同時(shí)，可以構(gòu)建DRS HA集群在確保負(fù)載平衡的同時(shí)滿足高可用的要求。遷移后所有與客戶端的會(huì)話連接不會(huì)中斷，目前千兆網(wǎng)絡(luò)vSphere可以同時(shí)并發(fā)遷移4個(gè)虛擬主機(jī)。 管理與監(jiān)控規(guī)劃為了支持XXX客戶實(shí)現(xiàn)業(yè)務(wù)目標(biāo)，VMware vSphere虛擬基礎(chǔ)架構(gòu)每天都必須持續(xù)高效運(yùn)行