【正文】 于通知的警報(bào)。u 必須在虛擬機(jī)、ESX/ESXi主機(jī)和管理系統(tǒng)中保持時(shí)間同步。u 如果設(shè)計(jì)包括多個(gè)vCenter Server系統(tǒng)，應(yīng)該配置vCenter鏈接模式。然后在目錄服務(wù)中創(chuàng)建用戶和組u 使用文件夾為需要相似訪問權(quán)限的對(duì)象分配角色，通過簡(jiǎn)化權(quán)限分配來簡(jiǎn)化管理和增強(qiáng)安全性u(píng) 在獨(dú)立于vCenter Server系統(tǒng)的系統(tǒng)中安裝vCenter Server可選模塊。對(duì)具有vCenter Server訪問權(quán)限的用戶采用最低特權(quán)原則。為基礎(chǔ)架構(gòu)服務(wù)創(chuàng)建獨(dú)立的管理集群。如果配置了vCenter鏈接模式（僅限基于Windows的vCenter Server系統(tǒng)）或vSphere Fault Tolerance (FT)，必須啟用vCenter Server證書檢查。u 對(duì)于除包括少量主機(jī)的小型基礎(chǔ)架構(gòu)外的所有基礎(chǔ)架構(gòu)而言，請(qǐng)勿將vCenter Server數(shù)據(jù)庫(kù)系統(tǒng)和vCenter Server置于相同的系統(tǒng)中：u 使用數(shù)據(jù)庫(kù)供應(yīng)商提供的可用性方法（如果可能），如果數(shù)據(jù)庫(kù)供應(yīng)商未提供特定的方法，請(qǐng)使用vSphere HA保護(hù)數(shù)據(jù)庫(kù)服務(wù)器。如果無法容忍停機(jī)一或兩分鐘以上，請(qǐng)使用vCenter Server Heartbeat之類的產(chǎn)品或第三方集群解決方案保護(hù)vCenter Server系統(tǒng)。u 配置靜態(tài)IP地址和主機(jī)名稱，以避免與vCenter Server實(shí)例的連接中斷。u 首選使用虛擬機(jī)部署vCenter Server和數(shù)據(jù)庫(kù)系統(tǒng)。216。而保持這種高效性首先要從正確設(shè)計(jì)管理和監(jiān)視組件開始。綜上，我們建議XXX客戶在數(shù)據(jù)中心的虛擬化基礎(chǔ)架構(gòu)中綜合采用VMware vMotion，DRS，Storage DRS，HA和vCenter Server Heartbeat等提高可用性的技術(shù)，確保所有運(yùn)行虛擬機(jī)均得到同樣的高可用運(yùn)行環(huán)境保護(hù)，提高整體的應(yīng)用SLA。對(duì)于需要對(duì)虛擬機(jī)所在物理機(jī)運(yùn)行環(huán)境進(jìn)行升級(jí)維護(hù)時(shí)，可以采用VMware VMotion技術(shù)在線將該物理機(jī)運(yùn)行的虛擬機(jī)通過網(wǎng)絡(luò)遷移到其他物理主機(jī)，并且確保遷移過程中對(duì)虛擬機(jī)應(yīng)用沒有影響。利用DRS建立資源池，可以最大限度的保證XXXX信息中心虛擬化環(huán)境的核心應(yīng)用，例如針對(duì)辦公系統(tǒng)的SQL數(shù)據(jù)庫(kù)設(shè)置高優(yōu)先級(jí)別，確保其在資源池中CPU、內(nèi)存等資源的配比保持最優(yōu)。此外，如果虛擬機(jī)操作系統(tǒng)故障也可以被VMware HA偵測(cè)到并嘗試重啟該虛擬機(jī)，最大限度保持虛擬機(jī)應(yīng)用的可用性。 表：可用性技術(shù)相關(guān)說明VMware HA提供了簡(jiǎn)單易用、高效、高可用的虛擬機(jī)應(yīng)用運(yùn)行環(huán)境。保持工作負(fù)載可訪問性VMware vCenter ServervCenter Server 作為虛擬機(jī)運(yùn)行并使用 vCenter Server Heartbeat。無影響。vSphere主機(jī)存儲(chǔ)連接對(duì)于每個(gè)LUN或NFS共享，將vSphere主機(jī)配置為至少具有兩個(gè)物理路徑，以防止因單個(gè)存儲(chǔ)路徑故障而影響到服務(wù)。即使發(fā)生故障切換，也不會(huì)導(dǎo)致服務(wù)中斷?？墒褂没谪?fù)載的綁定機(jī)制來避免超額使用網(wǎng)絡(luò)鏈路的情況。vSphere主機(jī)網(wǎng)絡(luò)連接為端口組最少配置兩個(gè)物理路徑，防止因單個(gè)鏈路故障而影響到平臺(tái)或虛擬機(jī)連接。無影響。無影響。這可確保鄰位干擾虛擬機(jī)不會(huì)獨(dú)占存儲(chǔ)I/O資源。虛擬機(jī)資源使用情況vSphere DRS和vSphere Storage DRS可在主機(jī)之間遷移虛擬機(jī)，以便平衡集群資源和降低出現(xiàn)“鄰位干擾”虛擬機(jī)的風(fēng)險(xiǎn)，防止虛擬機(jī)在主機(jī)內(nèi)獨(dú)占CPU、內(nèi)存和存儲(chǔ)資源，從而避免侵害相同主機(jī)上的其他虛擬機(jī)。此外，VMware還建議對(duì)vCenter進(jìn)行配置，使之能夠主動(dòng)將虛擬機(jī)從運(yùn)行狀況不穩(wěn)定的主機(jī)中遷移出來。vSphere HA接入控制會(huì)確保集群內(nèi)有足夠的資源用于重新啟動(dòng)虛擬機(jī)。這樣可保護(hù)客戶的虛擬機(jī)、托管平臺(tái)門戶/管理應(yīng)用?？捎眯韵嚓P(guān)技術(shù)的說明與配置指導(dǎo)原則如下。在服務(wù)器高可用性上，vSphere內(nèi)置了HA，DRS和vMotion等功能可以應(yīng)對(duì)本地站點(diǎn)多種虛擬機(jī)應(yīng)用計(jì)劃內(nèi)和計(jì)劃外意外停機(jī)的問題。除此之外，網(wǎng)卡綁定還可以增加網(wǎng)絡(luò)路徑的可用帶寬網(wǎng)卡綁定要求滿足以下條件：u 將兩個(gè)或更多網(wǎng)卡分配到同一虛擬交換機(jī)u 同一端口組中的所有網(wǎng)卡都位于相同的第二層廣播域中網(wǎng)卡綁定的示意圖如下所示。 網(wǎng)卡綁定服務(wù)器整合會(huì)將各種故障影響混在一起，從而增加對(duì)冗余的需要。vSphere主機(jī)網(wǎng)絡(luò)連接配置示意圖如下所示。采用此方式可以確保遷移主機(jī)可以保留原有的網(wǎng)絡(luò)配置如網(wǎng)關(guān)等，并且建議在網(wǎng)絡(luò)設(shè)置中啟用通知物理交換機(jī)功能，該功能可以確保遷移主機(jī)通過反向ARP通知物理交換機(jī)虛擬機(jī)端口的更改，確保新的用戶會(huì)話可以被正確建立。u 對(duì)于虛擬交換機(jī)的雙端口冗余，如果網(wǎng)卡自帶軟件支持可以在ESX操作系統(tǒng)級(jí)別實(shí)現(xiàn)NIC Teaming，本方案建議通過在vSwitch交換機(jī)層面配置雙網(wǎng)卡的負(fù)載均衡或主備切換策略，負(fù)載均衡策略可以基于虛擬機(jī)源地址或目標(biāo)地址IP哈希值，也可以設(shè)置為基于MAC地址哈希值。標(biāo)準(zhǔn)虛擬交換機(jī)／分布式虛擬交換機(jī)功能物理網(wǎng)卡端口數(shù)VDS0管理網(wǎng)絡(luò)2VDS1vSphere vMotion2VDS2虛擬機(jī)網(wǎng)絡(luò)2表：每臺(tái)服務(wù)器的虛擬交換機(jī)建議上述配置的相關(guān)說明如下。216。u ，避免使用MSI和MSIX模式，因?yàn)檫@會(huì)明顯影響性能。u 對(duì)吞吐量和并發(fā)網(wǎng)絡(luò)帶寬有較高使用要求的情況，可以考慮采用10GbE，不過采用萬(wàn)兆網(wǎng)絡(luò)在適配器和交換機(jī)上的投入成本也會(huì)相應(yīng)增加。u 對(duì)于物理交換網(wǎng)絡(luò)也應(yīng)該相應(yīng)的進(jìn)行冗余設(shè)置，避免單點(diǎn)故障。u 使用具有活動(dòng)/備用端口配置的網(wǎng)卡綁定，以減少所需端口的數(shù)量，同時(shí)保持冗余。將所有VMkernel網(wǎng)絡(luò)適配器配置為相同MTU。如果保留一個(gè)網(wǎng)絡(luò)適配器原封不動(dòng)，則所有的虛擬機(jī)仍然可以與物理網(wǎng)絡(luò)相連。u 可以在不影響虛擬機(jī)或在交換機(jī)后端運(yùn)行的網(wǎng)絡(luò)服務(wù)的前提下，向標(biāo)準(zhǔn)或分布式交換機(jī)添加或從中移除網(wǎng)絡(luò)適配器。u 首選分布式交換機(jī)，并應(yīng)盡可能少配置虛擬交換機(jī)。u 為了減少爭(zhēng)用和增強(qiáng)安全性，應(yīng)該按照流量類型（vSphere管理網(wǎng)絡(luò)（HA心跳互聯(lián)網(wǎng)絡(luò)）、vMotion在線遷移網(wǎng)絡(luò)、虛擬機(jī)對(duì)外提供服務(wù)的網(wǎng)絡(luò)、FT、IP存儲(chǔ)）對(duì)網(wǎng)絡(luò)流量進(jìn)行邏輯分離。 指導(dǎo)原則與最佳實(shí)踐在規(guī)劃網(wǎng)絡(luò)資源時(shí)，我們會(huì)遵循如下的指導(dǎo)原則與最佳實(shí)踐。在規(guī)劃網(wǎng)絡(luò)設(shè)計(jì)時(shí)，我們主要從以下幾個(gè)方面進(jìn)行考量并進(jìn)行相關(guān)的設(shè)計(jì)。網(wǎng)絡(luò)資源規(guī)劃的目標(biāo)是設(shè)計(jì)一種能降低成本、改善性能、提高可用性、提供安全性，以及增強(qiáng)功能的虛擬網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，該架構(gòu)能夠更順暢地在應(yīng)用、存儲(chǔ)、用戶和管理員之間傳遞數(shù)據(jù)。集群名存儲(chǔ) DRS自動(dòng)化是否啟動(dòng) I/O Metric空間使用率I/O 延遲DataClustersW/O啟用全自動(dòng)化是85%15msDataClustersW啟用未自動(dòng)化是85%15ms表：數(shù)據(jù)存儲(chǔ)集群設(shè)計(jì) 網(wǎng)絡(luò)資源規(guī)劃正確的網(wǎng)絡(luò)設(shè)計(jì)對(duì)組織實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)有著積極的影響，它可確保經(jīng)過授權(quán)的用戶能夠及時(shí)訪問業(yè)務(wù)數(shù)據(jù)，同時(shí)防止未經(jīng)授權(quán)的用戶訪問數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)群集中的數(shù)據(jù)存儲(chǔ)必須屬于同類，才能保證實(shí)現(xiàn)硬件加速支持的行為。u 數(shù)據(jù)存儲(chǔ)群集中不能包含跨多個(gè)數(shù)據(jù)中心共享的數(shù)據(jù)存儲(chǔ)。u 連接到數(shù)據(jù)存儲(chǔ)群集中的數(shù)據(jù)存儲(chǔ)的所有主機(jī)必須是ESXi 。一個(gè)數(shù)據(jù)存儲(chǔ)群集中可以混用不同大小和I/O能力的數(shù)據(jù)存儲(chǔ)，還可以混用來自不同陣列和供應(yīng)商的數(shù)據(jù)存儲(chǔ)。創(chuàng)建數(shù)據(jù)存儲(chǔ)群集時(shí)，應(yīng)遵循下列準(zhǔn)則。層接口應(yīng)用速度RAID磁盤數(shù)注釋1光纖通道 電子郵件 Web 服務(wù)器 客戶資源管理15K RPM10810 VMs/VMFS 數(shù)據(jù)存儲(chǔ)2光纖通道 薪酬管理 人力資源15K RPM5415 VMs/VMFS數(shù)據(jù)存儲(chǔ)3光纖通道 測(cè)試 開發(fā)10K RPM5415 VMs/VMFS數(shù)據(jù)存儲(chǔ)表：存儲(chǔ)分層實(shí)現(xiàn)216。u 每秒I/O操作數(shù)(IOPS)要求u 每秒兆字節(jié)數(shù)(MBps)要求u 容量要求u 可用性要求u 延遲要求并依據(jù)下列信息將應(yīng)用及服務(wù)移至設(shè)計(jì)有匹配特征的存儲(chǔ)層。一個(gè)典型的存儲(chǔ)分層實(shí)例如下圖所示。項(xiàng)目說明存儲(chǔ)類型Fibre Channel SAN存儲(chǔ)處理器個(gè)數(shù)2 (冗余)交換機(jī)個(gè)數(shù)每個(gè)主機(jī)上每個(gè)交換機(jī)的端口數(shù)2 (冗余)1LUN大小1TBLUN總數(shù)根據(jù)總量確定每個(gè)LUN上的VMFS數(shù)據(jù)存儲(chǔ)數(shù)1VMFS版本5表：存儲(chǔ)配置建議216。雖然將來仍然可以利用vmkfstools等工具在線擴(kuò)充VMFS，但是仍然無法避免上述虛擬機(jī)磁盤跨LUN使用的問題。LUN容量 = (Z x (X + Y) *) 其中：n Z = 每LUN上駐留10個(gè)虛擬機(jī)n Y = 虛擬磁盤文件容量n X = 內(nèi)存大小根據(jù)XXX客戶的實(shí)際生產(chǎn)環(huán)境的情況，即：1GB內(nèi)存，單一VMDK文件需要80GB，LUN容量計(jì)算如下：LUN容量= (10 x (1 + 80) * ) ≈ 1000 GB根據(jù)最佳實(shí)踐，部署的每一個(gè)VMFS文件系統(tǒng)下最好分配一個(gè)LUN磁盤，這樣可以避免虛擬機(jī)文件VMDK跨LUN造成的性能不一致等問題。若VM需要直接訪問存儲(chǔ)卷，如NTFS或EXT3，應(yīng)在存儲(chǔ)中另外創(chuàng)建一LUN，以RDM方式映射到VM，VM以裸磁盤方式使用。216。u 磁盤陣列的選擇應(yīng)該滿足整個(gè)虛擬化環(huán)境最大IOPS的吞吐量需求，并配置足夠的存儲(chǔ)處理器、緩存和端口數(shù)。u 多個(gè)虛擬機(jī)共用一個(gè)數(shù)據(jù)存儲(chǔ)或者多個(gè)主機(jī)共享一個(gè)數(shù)據(jù)存儲(chǔ)時(shí)，可以啟用存儲(chǔ)隊(duì)列QoS確保核心應(yīng)用的延時(shí)在可控范圍以及對(duì)數(shù)據(jù)存儲(chǔ)讀寫的優(yōu)先級(jí)。u 根據(jù)應(yīng)用的需要設(shè)置LUN的RAID結(jié)構(gòu)，如對(duì)于隨機(jī)讀寫的數(shù)據(jù)庫(kù)如Oracle、SQL數(shù)據(jù)庫(kù)，建議在LUN級(jí)別采用RAID10結(jié)構(gòu)，對(duì)于數(shù)據(jù)庫(kù)日志通常為連續(xù)寫或恢復(fù)時(shí)連續(xù)讀，建議在LUN級(jí)別采用RAID5結(jié)構(gòu)。u 確保每個(gè)ESXi主機(jī)內(nèi)虛擬機(jī)并發(fā)IO隊(duì)列長(zhǎng)度與HBA適配卡設(shè)置保持一致。每臺(tái)vSphere服務(wù)器到存儲(chǔ)的連接示意圖如下所示。本方案將建議購(gòu)置或利用現(xiàn)有的存儲(chǔ)交換網(wǎng)絡(luò)SAN網(wǎng)絡(luò)，并新增磁盤陣列作為共享SAN存儲(chǔ)，同時(shí)做好相應(yīng)的設(shè)備（SAN HBA卡、交換機(jī)等）布線、空間、場(chǎng)地布局等相應(yīng)的規(guī)劃。216。u 根據(jù)可用性要求選擇一個(gè)RAID級(jí)別，對(duì)大多數(shù)虛擬機(jī)工作負(fù)載而言，如果陣列具有足夠的電池供電緩存，RAID級(jí)別對(duì)性能不會(huì)產(chǎn)生影響。保留10%到20%的額外容量，用于容納快照、交換文件和日志文件u 為促進(jìn)對(duì)iSCSI資源的穩(wěn)定訪問，應(yīng)該為iSCSI啟動(dòng)器和目標(biāo)配置靜態(tài)IP地址。u 單個(gè)VMFS數(shù)據(jù)存儲(chǔ)的容量取決于將訪問數(shù)據(jù)存儲(chǔ)的每個(gè)虛擬機(jī)所需的空間，乘以在延遲可接受的情況下可以訪問數(shù)據(jù)存儲(chǔ)的虛擬機(jī)數(shù)量。單個(gè)NFS數(shù)據(jù)存儲(chǔ)的容量取決于將訪問數(shù)據(jù)存儲(chǔ)的每個(gè)虛擬機(jī)所需的空間，乘以在延遲可接受的情況下可以訪問數(shù)據(jù)存儲(chǔ)的虛擬機(jī)數(shù)量。通過減少存儲(chǔ)路徑中的躍點(diǎn)數(shù)量來降低延遲。u 對(duì)于光纖通道、NFS和iSCSI存儲(chǔ)，可對(duì)存儲(chǔ)進(jìn)行相應(yīng)設(shè)計(jì)，以降低延遲并提高可用性。配置存儲(chǔ)DRS以根據(jù)使用和延遲進(jìn)行平衡。u 允許集群中的所有主機(jī)訪問相同的數(shù)據(jù)存儲(chǔ)。u 每個(gè)存儲(chǔ)層具有不同的性能、容量和可用性特征，只要不是每個(gè)應(yīng)用都需要昂貴、高性能、高度可用的存儲(chǔ)，設(shè)計(jì)不同的存儲(chǔ)層將十分經(jīng)濟(jì)高效。u 構(gòu)建模塊化存儲(chǔ)解決方案，該方案可以隨時(shí)間推移不斷擴(kuò)展，以滿足組織的需求，用戶無需替換現(xiàn)有的存儲(chǔ)基礎(chǔ)架構(gòu)。216。存儲(chǔ)資源規(guī)劃的目標(biāo)是戰(zhàn)略性地協(xié)調(diào)業(yè)務(wù)應(yīng)用與存儲(chǔ)基礎(chǔ)架構(gòu)，以降低成本、改善性能、提高可用性、提供安全性，以及增強(qiáng)功能，同時(shí)將應(yīng)用數(shù)據(jù)分配到相應(yīng)的存儲(chǔ)層。它可以保護(hù)數(shù)據(jù)免受惡意或者意外破壞的影響，同時(shí)防止未經(jīng)授權(quán)的用戶訪問數(shù)據(jù)。上述對(duì)計(jì)算資源的規(guī)劃可以滿足虛擬機(jī)環(huán)境資源突發(fā)時(shí)的資源溢出要求。很顯然，我們應(yīng)該為該數(shù)據(jù)中心配置17臺(tái)ESXi主機(jī)并組建集群。所有虛擬機(jī)的CPU峰值頻率需求量= 需要的ESXi主機(jī)個(gè)數(shù)每臺(tái)ESXi主機(jī)的可用CPU根據(jù)上述公式，XXX客戶為了使這1000款應(yīng)用可以在CPU峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)是：509,670MHz (CPU頻率總體需求量)= 個(gè)ESXi主機(jī)30,720MHz (每臺(tái)主機(jī)的可用CPU頻率)下面這個(gè)公式用來估算可以滿足數(shù)據(jù)中心中這些虛擬機(jī)在內(nèi)存峰值時(shí)正常運(yùn)行所需的ESXi主機(jī)個(gè)數(shù)。接下來，我們將根據(jù)上面這些應(yīng)用需求與ESXi主機(jī)配置，對(duì)計(jì)算資源進(jìn)行估算。u CPU和內(nèi)存的估算需要預(yù)留20%的空間用于突發(fā)的計(jì)算能力過量。項(xiàng)目數(shù)值每臺(tái)主機(jī)的CPU數(shù)4每顆CPU的核心數(shù)4每個(gè)CPU核心的主頻（MHz）2,400每顆CPU的總主頻（MHz）9,600每臺(tái)主機(jī)的總CPU頻率（MHz）38,400最大CPU使用率建議80%每臺(tái)主機(jī)的可用CPU30,720MHz表：ESXi主機(jī)CPU配置建議項(xiàng)目數(shù)值每臺(tái)主機(jī)的內(nèi)存容量32,768MB (32GB)最大內(nèi)存使用率建議80%每臺(tái)主機(jī)的可用內(nèi)存26,214MB表：ESXi主機(jī)內(nèi)存配置建議對(duì)于上述配置的一些說明如下。我們使用容量規(guī)劃工具對(duì)XXX客戶數(shù)據(jù)中心里的1000款不同的應(yīng)用進(jìn)行了采樣評(píng)測(cè)，以獲取這些應(yīng)用對(duì)CPU和內(nèi)存的需求情況，具體的分析結(jié)果如下所示。216。u 使用一個(gè)或多個(gè)啟用了vSphere HA和DRS的集群，以增加可用性和可擴(kuò)展性。u 無論選擇了哪個(gè)硬件平臺(tái)，都應(yīng)設(shè)計(jì)一致的平臺(tái)配置，特別是在VMware集群中。為便于管理，應(yīng)為DNS配置每個(gè)ESXi主機(jī)的主機(jī)名和IP地址。應(yīng)用合適的最新補(bǔ)丁，要將虛擬機(jī)軟件和應(yīng)用保持在最新狀態(tài)，應(yīng)使用補(bǔ)丁程序管理工具，或者安裝和配置Update Manager。確保為虛擬基礎(chǔ)架構(gòu)中的每個(gè)虛擬機(jī)啟