【正文】 網(wǎng)絡(luò)系統(tǒng)進(jìn)行調(diào)整以適應(yīng)新的IT應(yīng)用的需求。u 目前為每套生產(chǎn)系統(tǒng)，在開發(fā)測(cè)試中心均要保留一套開發(fā)測(cè)試環(huán)境，造成了資源很大的浪費(fèi)。VMware的服務(wù)器虛擬化解決方案可以很好地解決上面這些問題，下面的章節(jié)將從方案的整體規(guī)劃設(shè)計(jì)，體系結(jié)構(gòu)，計(jì)算，網(wǎng)絡(luò)與安全，存儲(chǔ)，可用性，管理與自動(dòng)化等方面對(duì)該方案進(jìn)行全面地分析與介紹。2 VMware解決方案規(guī)劃設(shè)計(jì)虛擬化技術(shù)的引入大大減少了需要維護(hù)和管理的設(shè)備，如服務(wù)器、交換機(jī)、機(jī)架、網(wǎng)線、UPS、空調(diào)等。原先設(shè)備可以根據(jù)制度進(jìn)行折舊報(bào)廢、或者利舊更新，使得IT管理人員有了更多的選擇。虛擬化可以提高資源利用率，降低硬件采購(gòu)成本，更加節(jié)能和節(jié)省空間，讓整個(gè)數(shù)據(jù)中心更加靈活。下圖是實(shí)施了VMware虛擬化方案之后的IT整體架構(gòu)。圖：數(shù)據(jù)中心整體架構(gòu)圖服務(wù)器虛擬化后，我們搭建了虛擬化集群，并統(tǒng)一進(jìn)行管理。原有的服務(wù)器設(shè)備仍然可以正常運(yùn)行，并且與虛擬化服務(wù)器融合在一起。隨著虛擬化的不斷應(yīng)用，可以不斷動(dòng)態(tài)地增加虛擬化集群的規(guī)模，搭建更健康的IT體系架構(gòu)?？蛻舳朔矫妫永m(xù)了原先的訪問模式，對(duì)于虛擬服務(wù)器的數(shù)據(jù)交互等操作，等同于原先傳統(tǒng)物理服務(wù)器的的訪問模式，不會(huì)對(duì)業(yè)務(wù)系統(tǒng)造成任何不利影響。本章節(jié)接下來的部分，將從計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)，可用性，管理與監(jiān)控五個(gè)方面對(duì)XXX客戶的數(shù)據(jù)中心進(jìn)行全面高效的規(guī)劃設(shè)計(jì)。 計(jì)算資源規(guī)劃虛擬機(jī)上運(yùn)行著為各個(gè)用戶和整個(gè)業(yè)務(wù)線提供支持的應(yīng)用與服務(wù)，其中有很多都是關(guān)鍵業(yè)務(wù)應(yīng)用，因此，用戶必須正確設(shè)計(jì)、調(diào)配和管理虛擬機(jī)，以確保這些應(yīng)用與服務(wù)能夠高效運(yùn)行。VMware ESXi主機(jī)是數(shù)據(jù)中心的基本計(jì)算構(gòu)造塊，這些主機(jī)資源聚合起來可構(gòu)建高可用動(dòng)態(tài)資源池環(huán)境，作為數(shù)據(jù)中心各應(yīng)用的整體計(jì)算資源。本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對(duì)計(jì)算資源進(jìn)行整體規(guī)劃，包括物理服務(wù)器，虛擬機(jī)等資源。216。 指導(dǎo)原則與最佳實(shí)踐u 除非確實(shí)需要多個(gè)虛擬CPU (vCPU)，否則默認(rèn)配置一個(gè)，使用盡可能少的虛擬CPU。操作系統(tǒng)必須支持對(duì)稱多處理(SMP)功能。應(yīng)用必須是多線程的，才能受益于多個(gè)虛擬CPU。虛擬CPU的數(shù)量不得超過主機(jī)上物理CPU核心（或超線程）的數(shù)量。u 不要規(guī)劃使用主機(jī)的所有CPU或內(nèi)存資源，在設(shè)計(jì)中保留一些可用資源。要實(shí)現(xiàn)虛擬機(jī)內(nèi)存性能最優(yōu)化，關(guān)鍵是在物理RAM中保留虛擬機(jī)的活動(dòng)內(nèi)存，應(yīng)避免過量分配活動(dòng)內(nèi)存。u 始終將透明頁共享保持啟用狀態(tài)，始終加載VMware Tools并啟用內(nèi)存釋放。u 資源池CPU和內(nèi)存份額設(shè)置不能用于配置虛擬機(jī)優(yōu)先級(jí)。資源池可用于為虛擬機(jī)分配專用CPU和內(nèi)存資源。u 在工作負(fù)載極易變化的環(huán)境中配置vSphere DPM，以降低能耗和散熱成本。u 部署一個(gè)系統(tǒng)磁盤和一個(gè)單獨(dú)的應(yīng)用數(shù)據(jù)磁盤。如果系統(tǒng)磁盤和數(shù)據(jù)磁盤需要相同的I/O特征（RAID級(jí)別、存儲(chǔ)帶寬和延遲），應(yīng)將它們一起放置在一個(gè)數(shù)據(jù)存儲(chǔ)中。u 應(yīng)用要求應(yīng)作為向虛擬機(jī)分配資源的主要指標(biāo)。使用默認(rèn)設(shè)置部署虛擬機(jī)，明確采用其他配置的情況除外。u 像保護(hù)物理機(jī)一樣保護(hù)虛擬機(jī)的安全。確保為虛擬基礎(chǔ)架構(gòu)中的每個(gè)虛擬機(jī)啟用了防病毒、反間諜軟件、入侵檢測(cè)和防火墻。確保隨時(shí)更新所有的安全保護(hù)措施。應(yīng)用合適的最新補(bǔ)丁，要將虛擬機(jī)軟件和應(yīng)用保持在最新狀態(tài)，應(yīng)使用補(bǔ)丁程序管理工具，或者安裝和配置Update Manager。u 為避免管理連接問題，應(yīng)向每個(gè)ESXi主機(jī)分配靜態(tài)IP地址和主機(jī)名。為便于管理，應(yīng)為DNS配置每個(gè)ESXi主機(jī)的主機(jī)名和IP地址。u 確保數(shù)據(jù)中心有足夠的電源和散熱容量以避免服務(wù)中斷。u 無論選擇了哪個(gè)硬件平臺(tái)，都應(yīng)設(shè)計(jì)一致的平臺(tái)配置，特別是在VMware集群中。一致性包括CPU類型、內(nèi)存容量和內(nèi)存插槽分配、網(wǎng)卡和主機(jī)總線適配器類型，以及PCI插槽分配。u 使用一個(gè)或多個(gè)啟用了vSphere HA和DRS的集群，以增加可用性和可擴(kuò)展性。u 使用橫向擴(kuò)展還是縱向擴(kuò)展集群由集群用途、基礎(chǔ)架構(gòu)規(guī)模、vSphere限制以及資金和運(yùn)營(yíng)成本等因素確定。216。 計(jì)算資源規(guī)劃基于上述指導(dǎo)原則與最佳實(shí)踐，結(jié)合XXX客戶數(shù)據(jù)中心的實(shí)際情況，我們對(duì)計(jì)算資源進(jìn)行如下的規(guī)劃設(shè)計(jì)。我們使用容量規(guī)劃工具對(duì)XXX客戶數(shù)據(jù)中心里的1000款不同的應(yīng)用進(jìn)行了采樣評(píng)測(cè)，以獲取這些應(yīng)用對(duì)CPU和內(nèi)存的需求情況，具體的分析結(jié)果如下所示。項(xiàng)目數(shù)值每個(gè)系統(tǒng)的平均CPU需求量2平均CPU主頻（MHz）2800MHz每個(gè)系統(tǒng)的平均正?；疌PU主頻（MHz）5663MHz每個(gè)系統(tǒng)的平均CPU使用率% ()每個(gè)系統(tǒng)的平均CPU峰值使用率9% ()1000臺(tái)虛擬機(jī)的峰值CPU總需求量509,670MHz表：CPU資源需求項(xiàng)目數(shù)值 每個(gè)系統(tǒng)的平均內(nèi)存需求量1024MB平均內(nèi)存使用率62% ()平均內(nèi)存峰值使用率70% ()無內(nèi)存共享時(shí)1000臺(tái)虛擬機(jī)的內(nèi)存峰值需求量716,800MB虛擬化后的內(nèi)存共享預(yù)期收益率50%內(nèi)存共享后1000臺(tái)虛擬機(jī)的內(nèi)存峰值總需求量358,400MB表：內(nèi)存資源需求我們建議如下的ESXi主機(jī)CPU與內(nèi)存配置。項(xiàng)目數(shù)值每臺(tái)主機(jī)的CPU數(shù)4每顆CPU的核心數(shù)4每個(gè)CPU核心的主頻（MHz）2,400每顆CPU的總主頻（MHz）9,600每臺(tái)主機(jī)的總CPU頻率（MHz）38,400最大CPU使用率建議80%每臺(tái)主機(jī)的可用CPU30,720MHz表：ESXi主機(jī)CPU配置建議項(xiàng)目數(shù)值每臺(tái)主機(jī)的內(nèi)存容量32,768MB (32GB)最大內(nèi)存使用率建議80%每臺(tái)主機(jī)的可用內(nèi)存26,214MB表：ESXi主機(jī)內(nèi)存配置建議對(duì)于上述配置的一些說明如下。u 每臺(tái)服務(wù)器的運(yùn)算能力按照峰值而非平均值進(jìn)行估算，確?？梢灾С痔摂M機(jī)應(yīng)用同時(shí)運(yùn)行的最高值。u CPU和內(nèi)存的估算需要預(yù)留20%的空間用于突發(fā)的計(jì)算能力過量。u 內(nèi)存共享按照50%的比例進(jìn)行估算，這個(gè)數(shù)值是基于整合的應(yīng)用全部以Windows Server 2003服務(wù)器操作系統(tǒng)進(jìn)行核算的。接下來，我們將根據(jù)上面這些應(yīng)用需求與ESXi主機(jī)配置，對(duì)計(jì)算資源進(jìn)行估算。下面這個(gè)公式用來估算可以滿足數(shù)據(jù)中心中這些虛擬機(jī)在CPU峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)。所有虛擬機(jī)的CPU峰值頻率需求量= 需要的ESXi主機(jī)個(gè)數(shù)每臺(tái)ESXi主機(jī)的可用CPU根據(jù)上述公式，XXX客戶為了使這1000款應(yīng)用可以在CPU峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)是：509,670MHz (CPU頻率總體需求量)= 個(gè)ESXi主機(jī)30,720MHz (每臺(tái)主機(jī)的可用CPU頻率)下面這個(gè)公式用來估算可以滿足數(shù)據(jù)中心中這些虛擬機(jī)在內(nèi)存峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)。所有虛擬機(jī)的內(nèi)存峰值總需求量= 需要的ESXi主機(jī)個(gè)數(shù)每臺(tái)ESXi主機(jī)的可用內(nèi)存根據(jù)上述公式，XXX客戶為了使這1000款應(yīng)用可以在內(nèi)存峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)是：358,400MB (內(nèi)存總體需求量)= 個(gè)ESXi主機(jī)26,214MB (每臺(tái)主機(jī)的可用內(nèi)存)從CPU的角來說，需要17臺(tái)ESXi主機(jī)，而從內(nèi)存的角度來看，則需要14臺(tái)物理主機(jī)。很顯然，我們應(yīng)該為該數(shù)據(jù)中心配置17臺(tái)ESXi主機(jī)并組建集群。為了使用vSphere的高可用功能，我們還需要添加一臺(tái)ESXi主機(jī)到該集群，因此，總的物理主機(jī)數(shù)目為18臺(tái)。上述對(duì)計(jì)算資源的規(guī)劃可以滿足虛擬機(jī)環(huán)境資源突發(fā)時(shí)的資源溢出要求。 存儲(chǔ)資源規(guī)劃正確的存儲(chǔ)設(shè)計(jì)對(duì)組織實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)有著積極的影響，可以為性能良好的虛擬數(shù)據(jù)中心奠定一定的基礎(chǔ)。它可以保護(hù)數(shù)據(jù)免受惡意或者意外破壞的影響，同時(shí)防止未經(jīng)授權(quán)的用戶訪問數(shù)據(jù)。存儲(chǔ)設(shè)計(jì)必須經(jīng)過合理優(yōu)化，以滿足應(yīng)用、服務(wù)、管理員和用戶的多樣性需求。存儲(chǔ)資源規(guī)劃的目標(biāo)是戰(zhàn)略性地協(xié)調(diào)業(yè)務(wù)應(yīng)用與存儲(chǔ)基礎(chǔ)架構(gòu)，以降低成本、改善性能、提高可用性、提供安全性，以及增強(qiáng)功能，同時(shí)將應(yīng)用數(shù)據(jù)分配到相應(yīng)的存儲(chǔ)層。本小節(jié)將根據(jù)XXX客戶的生產(chǎn)環(huán)境，對(duì)存儲(chǔ)資源進(jìn)行整體規(guī)劃，包括共享存儲(chǔ)邏輯規(guī)劃，存儲(chǔ)空間規(guī)劃，存儲(chǔ)I/O控制規(guī)劃，存儲(chǔ)分層規(guī)劃等。216。 指導(dǎo)原則與最佳實(shí)踐在規(guī)劃存儲(chǔ)資源時(shí)，我們會(huì)遵循如下的指導(dǎo)原則與最佳實(shí)踐。u 構(gòu)建模塊化存儲(chǔ)解決方案，該方案可以隨時(shí)間推移不斷擴(kuò)展，以滿足組織的需求，用戶無需替換現(xiàn)有的存儲(chǔ)基礎(chǔ)架構(gòu)。在模塊化存儲(chǔ)解決方案中，應(yīng)同時(shí)考慮容量和性能。u 每個(gè)存儲(chǔ)層具有不同的性能、容量和可用性特征，只要不是每個(gè)應(yīng)用都需要昂貴、高性能、高度可用的存儲(chǔ)，設(shè)計(jì)不同的存儲(chǔ)層將十分經(jīng)濟(jì)高效。u 配置存儲(chǔ)多路徑功能，配置主機(jī)、交換機(jī)和存儲(chǔ)陣列級(jí)別的冗余以便提高可用性、可擴(kuò)展性和性能。u 允許集群中的所有主機(jī)訪問相同的數(shù)據(jù)存儲(chǔ)。u 啟用VMware vSphere Storage APIs Array Integration (VAAI)與存儲(chǔ)I/O控制。配置存儲(chǔ)DRS以根據(jù)使用和延遲進(jìn)行平衡。u 根據(jù)SLA、工作負(fù)載和成本在vSphere中創(chuàng)建多個(gè)存儲(chǔ)配置文件，并將存儲(chǔ)配置文件與相應(yīng)的提供商虛擬數(shù)據(jù)中心對(duì)應(yīng)起來。u 對(duì)于光纖通道、NFS和iSCSI存儲(chǔ)，可對(duì)存儲(chǔ)進(jìn)行相應(yīng)設(shè)計(jì)，以降低延遲并提高可用性。對(duì)于每秒要處理大量事務(wù)的工作負(fù)載來說，將工作負(fù)載分配到不同位置尤其重要（如數(shù)據(jù)采集或事務(wù)日志記錄系統(tǒng)）。通過減少存儲(chǔ)路徑中的躍點(diǎn)數(shù)量來降低延遲。u NFS存儲(chǔ)的最大容量取決于陣列供應(yīng)商。單個(gè)NFS數(shù)據(jù)存儲(chǔ)的容量取決于將訪問數(shù)據(jù)存儲(chǔ)的每個(gè)虛擬機(jī)所需的空間，乘以在延遲可接受的情況下可以訪問數(shù)據(jù)存儲(chǔ)的虛擬機(jī)數(shù)量?？紤]將存儲(chǔ)DRS配置為使其成員數(shù)據(jù)存儲(chǔ)的使用量保持在80%（默認(rèn)設(shè)置）的均衡水平。u 單個(gè)VMFS數(shù)據(jù)存儲(chǔ)的容量取決于將訪問數(shù)據(jù)存儲(chǔ)的每個(gè)虛擬機(jī)所需的空間，乘以在延遲可接受的情況下可以訪問數(shù)據(jù)存儲(chǔ)的虛擬機(jī)數(shù)量。考慮配置存儲(chǔ)DRS，使數(shù)據(jù)存儲(chǔ)使用量保持在80%的均衡水平。保留10%到20%的額外容量，用于容納快照、交換文件和日志文件u 為促進(jìn)對(duì)iSCSI資源的穩(wěn)定訪問，應(yīng)該為iSCSI啟動(dòng)器和目標(biāo)配置靜態(tài)IP地址。u 對(duì)于基于IP的存儲(chǔ)，應(yīng)使用單獨(dú)的專用網(wǎng)絡(luò)或VLAN以隔離存儲(chǔ)流量，避免與其他流量類型爭(zhēng)用資源，從而可以降低延遲并提高性能。u 根據(jù)可用性要求選擇一個(gè)RAID級(jí)別，對(duì)大多數(shù)虛擬機(jī)工作負(fù)載而言，如果陣列具有足夠的電池供電緩存，RAID級(jí)別對(duì)性能不會(huì)產(chǎn)生影響。u 對(duì)于大多數(shù)應(yīng)用，除非存在對(duì)RDM的特定需求，否則請(qǐng)使用VMDK磁盤。216。 共享存儲(chǔ)邏輯規(guī)劃考慮采用本地存儲(chǔ)將無法形成整個(gè)虛擬化集群資源池，因此無法有效地使用vSphere虛擬化環(huán)境的高可用，靈活配置等功能。本方案將建議購(gòu)置或利用現(xiàn)有的存儲(chǔ)交換網(wǎng)絡(luò)SAN網(wǎng)絡(luò)，并新增磁盤陣列作為共享SAN存儲(chǔ)，同時(shí)做好相應(yīng)的設(shè)備（SAN HBA卡、交換機(jī)等）布線、空間、場(chǎng)地布局等相應(yīng)的規(guī)劃。在設(shè)計(jì)存儲(chǔ)架構(gòu)時(shí)應(yīng)該充分考慮到冗余和性能，因此存儲(chǔ)架構(gòu)的選擇根據(jù)國(guó)家和各省級(jí)數(shù)據(jù)中心整體應(yīng)用對(duì)存儲(chǔ)的IOPS和吞吐量的需求進(jìn)行規(guī)劃，涉及到端到端的主機(jī)適配器選擇、控制器和端口數(shù)量選擇以及磁盤數(shù)量和RAID方式選擇等。每臺(tái)vSphere服務(wù)器到存儲(chǔ)的連接示意圖如下所示。圖：每臺(tái)服務(wù)器的存儲(chǔ)連接示意圖針對(duì)上圖的一些說明如下。u 確保每個(gè)ESXi主機(jī)內(nèi)虛擬機(jī)并發(fā)IO隊(duì)列長(zhǎng)度與HBA適配卡設(shè)置保持一致。u 底層LUN的需求根據(jù)實(shí)際虛擬機(jī)應(yīng)用對(duì)存儲(chǔ)IOPS的實(shí)際需求進(jìn)行規(guī)劃。u 根據(jù)應(yīng)用的需要設(shè)置LUN的RAID結(jié)構(gòu)，如對(duì)于隨機(jī)讀寫的數(shù)據(jù)庫如Oracle、SQL數(shù)據(jù)庫，建議在LUN級(jí)別采用RAID10結(jié)構(gòu)，對(duì)于數(shù)據(jù)庫日志通常為連續(xù)寫或恢復(fù)時(shí)連續(xù)讀，建議在LUN級(jí)別采用RAID5結(jié)構(gòu)。u 對(duì)于IO密集型的應(yīng)用盡量采用單獨(dú)的VMFS存儲(chǔ)，避免在存儲(chǔ)端與其他應(yīng)用產(chǎn)生IO爭(zhēng)用。u 多個(gè)虛擬機(jī)共用一個(gè)數(shù)據(jù)存儲(chǔ)或者多個(gè)主機(jī)共享一個(gè)數(shù)據(jù)存儲(chǔ)時(shí)，可以啟用存儲(chǔ)隊(duì)列QoS確保核心應(yīng)用的延時(shí)在可控范圍以及對(duì)數(shù)據(jù)存儲(chǔ)讀寫的優(yōu)先級(jí)。u 通常情況下1~2TB的LUN大小具有較好的性能和可管理性。u 磁盤陣列的選擇應(yīng)該滿足整個(gè)虛擬化環(huán)境最大IOPS的吞吐量需求，并配置足夠的存儲(chǔ)處理器、緩存和端口數(shù)。u 對(duì)于雙活A(yù)LUA磁盤陣列（非雙活磁盤陣列），為了防止鏈路抖動(dòng)，對(duì)于每個(gè)LUN在同一時(shí)間配置只有一個(gè)ESXi服務(wù)器通過一個(gè)存儲(chǔ)處理器進(jìn)行訪問，這就需要在多路徑策略選擇時(shí)設(shè)置為MRU（最近使用策略），該策略可以保證只有在某個(gè)路徑故障時(shí)才啟用另一個(gè)存儲(chǔ)處理器連接LUN。216。 存儲(chǔ)空間規(guī)劃規(guī)劃LUN容量時(shí)，建議每個(gè)LUN運(yùn)行10到20個(gè)VM(數(shù)據(jù)事務(wù)類應(yīng)用可以適當(dāng)減少)，并且每個(gè)LUN的使用量不超過容量的80%。若VM需要直接訪問存儲(chǔ)卷，如NTFS或EXT3，應(yīng)在存儲(chǔ)中另外創(chuàng)建一LUN，以RDM方式映射到VM，VM以裸磁盤方式使用。LUN容量規(guī)劃的公式如下所示。LUN容量 = (Z x (X + Y) *) 其中：n Z = 每LUN上駐留10個(gè)虛擬機(jī)n Y = 虛擬磁盤文件容量n X = 內(nèi)存大小根據(jù)XXX客戶的實(shí)際生產(chǎn)環(huán)境的情況，即：1GB內(nèi)存，單一VMDK文件需要80GB，LUN容量計(jì)算如下：LUN容量= (10 x (1 + 80) * ) ≈ 1000 GB根據(jù)最佳實(shí)踐，部署的每一個(gè)VMFS文件系統(tǒng)下最好分配一個(gè)LUN磁盤，這樣可以避免虛擬機(jī)文件VMDK跨LUN造成的性能不一致等問題。因此在構(gòu)建VMFS文件系統(tǒng)的空間時(shí)應(yīng)該充分考慮在其上運(yùn)行的虛擬機(jī)數(shù)量和可增長(zhǎng)空間，在規(guī)劃時(shí)將LUN的空間預(yù)留充足。雖然將來仍然可以利用vmkfstools等工具在線擴(kuò)充VMFS，但是仍然無法避免上述虛擬機(jī)磁盤跨LUN使用的問題。我們建議XXX客戶采用如下的存儲(chǔ)配置。項(xiàng)目說明存儲(chǔ)類型Fibre Channel SAN存儲(chǔ)處理器個(gè)數(shù)2 (冗余)交換機(jī)個(gè)數(shù)每個(gè)主機(jī)上每個(gè)交換機(jī)的端口數(shù)2 (冗余)1LUN大小1TBLUN總數(shù)根據(jù)總量確定每個(gè)LU