【文章內(nèi)容簡介】 個(gè)寧夏電信 IT 數(shù)據(jù)中心，對(duì)現(xiàn)有的業(yè)務(wù)區(qū)域劃分為 M/B/O/S 等多個(gè)業(yè)務(wù)資源池的架構(gòu)， 第 3 頁共 23 頁 各資源池共享 IBM v7000 存儲(chǔ)。 安全 部署 上，各業(yè)務(wù)區(qū)域之間通過虛擬防火墻的模式實(shí)現(xiàn)業(yè)務(wù)區(qū)域邊界的隔離。虛擬防火墻可采用物理防火墻虛擬，也可以采用 vmware 的 vshield 部署。 整個(gè)架構(gòu)考慮系統(tǒng)的安全性合冗余性，均采用雙中心設(shè)置，其中 Vcenter采用虛擬機(jī)架構(gòu)實(shí)現(xiàn)容災(zāi) 。 在實(shí)施過程中，為了方便與對(duì)物理系統(tǒng) 和數(shù)據(jù)系統(tǒng)進(jìn)行管理維護(hù)，我們將采用 vlan 的方式對(duì)業(yè)務(wù)數(shù)據(jù)和管理數(shù)據(jù)進(jìn)行隔離，后期，用戶考慮監(jiān)控物理設(shè)備狀態(tài)，建議重新部署一個(gè) monitor 的監(jiān)控網(wǎng)絡(luò)，實(shí)現(xiàn)不同業(yè)務(wù)，不同數(shù)據(jù)的 物理分離。對(duì)于虛擬化 的 vmotion、 FT、 ESXI 管理網(wǎng)絡(luò)， 分別 需要獨(dú)立的 VLAN，獨(dú)立的 IP 地址段進(jìn)行配置。并將物理網(wǎng)絡(luò)與 ESXI 網(wǎng)絡(luò)進(jìn)行一對(duì)一模式。方便與日后在主機(jī)維護(hù)過程中，確認(rèn)主機(jī)故 障。整體環(huán)境的 物理 架構(gòu)如下圖 Si Si匯 聚 交 換 機(jī)虛 擬 機(jī) 服務(wù) 器 群2 8 塊 刀 片S A N 交 換 機(jī)S A N 交 換 機(jī)I B M V 7 0 0 0存 儲(chǔ)… …I B M V 7 0 0 0存 儲(chǔ)數(shù) 據(jù) 庫 / 應(yīng)用 服 務(wù) 器 群1 2 臺(tái) P C 第 4 頁共 23 頁 ESXi 主機(jī)物理配置 虛擬化 Server 主機(jī)平臺(tái)規(guī)格屬性 規(guī)格 主機(jī)數(shù) 14 服務(wù)器 型號(hào) IBM X240 CPU 2顆 8核 內(nèi)存 192GB 網(wǎng)卡數(shù)網(wǎng)卡速度 2個(gè) 以太網(wǎng)網(wǎng)絡(luò)端口， 2個(gè) 8Gb的 FC 本地驅(qū)動(dòng)器數(shù) 和 RAID級(jí)別 2塊 300G raid0+1 集成交換機(jī) 2塊 8Gb單端口 FC、 2個(gè)萬兆以太網(wǎng)、 2個(gè) 16GB的 FC 物理區(qū)域 Server 主機(jī)平臺(tái)規(guī)格屬性 規(guī)格 主機(jī)數(shù) 8 服務(wù)器 型號(hào) IBM x3850 CPU 2顆 8核 內(nèi)存 128GB 網(wǎng)卡數(shù)網(wǎng)卡速度 4*1GE網(wǎng)卡 ， 2*8GE HBA 本地驅(qū)動(dòng)器數(shù) 和 RAID級(jí)別 4*600G raid0+1 (Hostspare) 物理配置 對(duì)于存儲(chǔ)的配置問題，一直是一個(gè)重點(diǎn)，在實(shí)施過程中，我們要求每個(gè) LUN的大小為 500G，以實(shí)現(xiàn)最優(yōu)的性能 與容量比率 。 存儲(chǔ)的 RAID 模式是按照 v7000的配置模式來進(jìn)行的， v7000 本身對(duì)于存儲(chǔ)的配置是沒有 hotspare 盤的，實(shí)現(xiàn)存儲(chǔ)空間的最高利用。 型號(hào) 控制器 容量 磁盤保護(hù) 用途 第 5 頁共 23 頁 IBM V70001 雙控制器 96* 600G、 32G cache,8個(gè) 8G前端口 Mdisk 虛擬化區(qū)域 IBM V70002 雙控制器 192*600G； 10*220G SSD； 32G cache,8個(gè) 8G 前端口 Mdisk 虛擬化區(qū)域 在服務(wù)器部署過程中，采用創(chuàng)建 單一 集群 多個(gè)資源池 來進(jìn)行應(yīng)用部署的模式，其架構(gòu)如下 如圖所示， 在寧夏電信創(chuàng)建一個(gè)寧夏電信 IT 的 資源池 數(shù)據(jù)中心，分別部署MBOSS 等 不同的資源池， 所有的資源池共享物理存儲(chǔ)， 以確保系統(tǒng)能夠獨(dú)立的運(yùn)行在不同的主機(jī)環(huán)境，這樣做的優(yōu)點(diǎn)是可以動(dòng)態(tài)調(diào)整每個(gè) 資源池 的大小，而不會(huì)影響或改變 虛擬機(jī)的配置 。在集群中，資源池與資源池之間相互獨(dú)立，除了共用一個(gè)集群資源外，沒有任何聯(lián)系。 確保系統(tǒng)的獨(dú)立性與穩(wěn)定性。 第 6 頁共 23 頁 首先 FC SAN 網(wǎng)絡(luò)和業(yè)務(wù) IP 網(wǎng)絡(luò) 得到 了物理 隔離， 雙方互不干擾，發(fā)揮最大的性能。 根據(jù)新購的 刀片服務(wù)器 配置， 只有兩個(gè)物理 以 網(wǎng)卡，無法將管理網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)在物理上進(jìn)行隔離。 為保證 vmotion、 FT、 ESXI 管理網(wǎng)絡(luò)跟虛擬機(jī)生產(chǎn)網(wǎng)絡(luò) 流量分離，使用二層 vlan 的方式在 虛擬化平臺(tái)內(nèi)達(dá)到相互隔離 效果 ； 根據(jù)用戶環(huán)境和 VMware 運(yùn)行需求，現(xiàn)將網(wǎng)絡(luò)規(guī)劃如下 ， IP 地址可考慮采用資源池私有網(wǎng)段。如： （例） ： 選項(xiàng) Vlan IP 地址 池 子網(wǎng)掩碼 網(wǎng)關(guān) ESXiMgmt Vlan10 一個(gè) C 類 Vmotion Vlan20 一個(gè) C 類 FT Vlan30 一個(gè) C 類 vCenter Vlan10 一個(gè) C 類 數(shù)據(jù)網(wǎng)絡(luò) 在 業(yè)務(wù) 數(shù)據(jù)網(wǎng)絡(luò)中，虛擬機(jī)通過專用的網(wǎng)絡(luò)接口與外界進(jìn)行通訊， 通過創(chuàng)建不同的二層虛擬端口組，實(shí)現(xiàn)同 一物理機(jī)運(yùn)行不同 vlan 的業(yè)務(wù)，保證業(yè)務(wù)之間的二層隔離的安全要求 ， 集成交換機(jī)和 vswitch 交換機(jī)到物理 匯聚換機(jī)之間采用trunk 的配置。對(duì)于數(shù)據(jù)區(qū)域的物理服務(wù)器，不需要采用 trunk 方式，采用 access方式即可。為保證減少二層環(huán)路的影響，建議刀片交換機(jī)的上行匯聚交換機(jī)支持IRF2 協(xié)議或者堆疊協(xié)議，減少 STP 生成樹的部署，如果匯聚交換機(jī)不支持 IRF2技術(shù)，所有的物理交換機(jī)之間的 trunk 啟用 STP 協(xié)議，避免二層網(wǎng)絡(luò)環(huán)路。 為實(shí)現(xiàn)不同業(yè)務(wù)數(shù)據(jù)網(wǎng)絡(luò)的邊界隔離，每個(gè)業(yè)務(wù)采用一個(gè)二層 vlan，實(shí)現(xiàn)業(yè)務(wù)之間的隔離，業(yè)務(wù)和業(yè)務(wù)之間的通信，通過傳統(tǒng)三層路由方式，在核心層或者匯聚層實(shí)現(xiàn)路由交換。 選項(xiàng) Vlan IP 地址 池 子網(wǎng)掩碼 網(wǎng)關(guān) App1 Vlan100 一個(gè) C 類 第 7 頁共 23 頁 App2 Vlan101 一個(gè) C 類 App3 Vlan102 一個(gè) C 類 App4 Vlan103 一個(gè) C 類 本次寧夏電信 IT 資源池建設(shè)，為方便部署和管理虛擬機(jī)資源， Vwitch 交換機(jī)采用分布式交換機(jī)部署，試下網(wǎng)絡(luò)配置的統(tǒng)一下發(fā)和管理。如下圖： Server 網(wǎng)絡(luò)規(guī)劃 主機(jī)網(wǎng)卡硬件配置 每臺(tái) ESXi Server 主機(jī)有 2 個(gè) 1Gb 端口 ,背板 交換機(jī)通過與刀片服務(wù)器相 連 ，背板 交換機(jī)通過 uplink 口通過萬兆口連接 匯聚 交換機(jī)。 下述配置會(huì)確保管理流量和 生產(chǎn)虛擬機(jī) 通過 vlan 隔離， 管理 流量和生產(chǎn)流量同時(shí) 走在 兩個(gè)物理網(wǎng)卡上。 VMware ESXi Server 主機(jī)平臺(tái)規(guī)格 ： 虛擬交換機(jī) 物理適配器 VLAN 連接類型 備注 vSwitch0/vDs Vmnic0,1000 Full Vmnic1,1000 Full Management FT 管理網(wǎng)絡(luò) 第 8 頁共 23 頁 vMotion VM Network 數(shù)據(jù)網(wǎng)絡(luò) 其基礎(chǔ)架構(gòu)如下圖所示 需要說明的是，在配置過程中，對(duì)于服務(wù)器端的配置方式為 vmnic 0 1 將統(tǒng)一的加到同一個(gè) vSwitch。取名為 vSwitch1。詳細(xì)的配置方式為， 全激活狀態(tài) ，在配置時(shí)確認(rèn)出口基于 源端口 PORT ID。在匯聚交換機(jī)上進(jìn)行端口綁定，并啟用trunk。則能保證交換機(jī)的主備模式，并且 數(shù)據(jù)的轉(zhuǎn)發(fā)采用負(fù)載均衡的模式。 第 9 頁共 23 頁 VMware 的 SAN 存儲(chǔ)要求是高負(fù)載隨機(jī)訪問環(huán)境的典型要求。為平衡可管理性、性能和可用性要求，下表提供以下一系列配置準(zhǔn)則。 在對(duì) LUN 中存放虛擬機(jī)的時(shí)候，建議將高 IO的虛擬機(jī)與低 IO 的虛擬機(jī)混合放置，以降低因?yàn)槿?IO 帶來的虛擬機(jī)訪問過慢問題。對(duì)于已經(jīng)出現(xiàn)存儲(chǔ)告警的 LUN，應(yīng)謹(jǐn)慎放置虛擬機(jī)。 項(xiàng)目 做法 原因 LUN RAID 5 根據(jù)高讀寫比率，選擇了 RAID5 來確?？捎眯?。 每個(gè) LUN 的虛擬機(jī)數(shù) 每個(gè) LUN最多 10 雖然一個(gè) LUN 最多可以同時(shí)連接 32 個(gè)主機(jī)，但是 第 10 頁共 23 頁 個(gè) 最好將訪問特定 LUN 的活動(dòng)虛擬機(jī)數(shù)降至最少，以減少可能導(dǎo)致的 I/O 競爭。因?yàn)槊總€(gè)虛擬機(jī)都可以由不同的服務(wù)器來托管，所以主機(jī)數(shù)可以與虛擬機(jī)數(shù)相同。此外，還會(huì)降低單個(gè) LUN 丟失產(chǎn)生的影響。 每個(gè) LUN的大小 500G 對(duì)于每個(gè) LUN的大小，應(yīng)用于最佳實(shí)踐中，建議為500G大小，但因?yàn)?IBM V7000存儲(chǔ)的特性，可以動(dòng)態(tài)的調(diào)整 LUN的大小，以滿足需求。因此，在項(xiàng)目實(shí)施過程中，會(huì)以 500G為標(biāo)準(zhǔn)，進(jìn)行浮動(dòng)。依據(jù)業(yè)務(wù)系統(tǒng)的要求，動(dòng)態(tài)的調(diào)整大小。 模板 / ISO LUN 獨(dú)立的 LUN 為確保最佳性能，建議將虛擬機(jī)文件與其他文件（如模板和具有較高 I/O 特征的 ISO 文件）分開。最佳做法是將獨(dú)立的數(shù)據(jù)存儲(chǔ)區(qū) /LUN 專用于虛擬機(jī)模板和 ISO/FLP 文件，與虛擬機(jī)分開。 所確定的可能故障點(diǎn)和冗余措施如下： ESXi Server 主機(jī)故障點(diǎn) 冗余 ESXi Server 主機(jī) 每主機(jī) 2個(gè) HBA卡 用于連接存儲(chǔ) SAN存儲(chǔ)網(wǎng)絡(luò) 交換機(jī) 2臺(tái)光纖 交換機(jī) 存儲(chǔ)陣列 每個(gè)存儲(chǔ)陣列 2個(gè)存儲(chǔ)處理器 規(guī)劃 在數(shù)據(jù)安全方面，主要進(jìn)行以下兩個(gè)方面的考慮，第一，數(shù)據(jù)安全。第二，系統(tǒng)安全。 三、業(yè)務(wù) 區(qū)域 邊界安全 ，安全總體規(guī)劃如下： 第 11 頁共 23 頁 在數(shù)據(jù)安全方面的考慮主要是對(duì)數(shù)據(jù)進(jìn)行備份操作，保證數(shù)據(jù)的穩(wěn)定性。此次實(shí)施過程中擬采用 VMWARE vdp 來進(jìn)行數(shù)據(jù)備份。主 要是因?yàn)?VMware VDP 為 VMware vsphere 環(huán)境的重要組件，方便與管理， 用于 備份與恢復(fù)虛擬機(jī)的。當(dāng)然 VMware VDP 的備份容量還是有待考慮，但就當(dāng)前環(huán)境。采用 VDP 進(jìn)行數(shù)據(jù)備份是一個(gè)不錯(cuò)的選擇，在一定程度上能降低虛擬機(jī)的故障恢復(fù)難度。 但考慮到存儲(chǔ)空間容量的問題，此方案需要在確定當(dāng)前虛擬機(jī)環(huán)境之后，確認(rèn)實(shí)施細(xì)節(jié)。 在系統(tǒng)本身的安全方面，建議進(jìn)行防病毒維護(hù)， 采用 vmwarevshield endpoint 與第三方 殺毒軟件 配合， 對(duì)虛擬機(jī)進(jìn)行殺毒。 對(duì) 本已相互隔離的虛擬機(jī)進(jìn)行二次防護(hù)。確保系統(tǒng)的穩(wěn)定與安全。在補(bǔ)丁管理方面，將不用進(jìn)行更改，直接使用現(xiàn)有的補(bǔ)丁更新系統(tǒng)。確保各個(gè)應(yīng)用系統(tǒng)都能夠及時(shí)，安全的進(jìn)行系統(tǒng)更新。為數(shù)據(jù)安全加一層保障。 第 12 頁共 23 頁 區(qū)域 邊界安全 對(duì)于 IT 系統(tǒng)的邊界安全，按照電信集團(tuán)安全域的要求，實(shí)現(xiàn) MBOSS 之間的業(yè)務(wù)安全。本次虛擬化規(guī)劃中，已經(jīng)采用 MBOSS 分別建 設(shè)資源池的規(guī)劃，為保證個(gè)業(yè)務(wù)區(qū)域相互隔離，便于控制，建議在匯聚層 使用支持虛擬化的硬件防火墻實(shí)現(xiàn)。每個(gè)業(yè)務(wù)區(qū)域分配單獨(dú)的防火墻，區(qū)域之間的橫向通信采用防火墻的控制實(shí)現(xiàn)。如果安全級(jí)別需要達(dá)到到服務(wù)器級(jí)別的訪問控制，可以考慮部署 vmware的 vmwarevshield 防火墻來實(shí)現(xiàn)。 基礎(chǔ)平臺(tái)規(guī)劃 Server 配置 在此項(xiàng)目中我們將采用 VMware 最新虛擬化平臺(tái) VMware 版本。 Server 命名規(guī)則 ESXiServer 主機(jī)按照如下規(guī)則命名： F6N14XXX 解釋： 編號(hào)： F 表示樓層， F6 表示六樓。 N14 代表 14 排機(jī)柜， 例如： F6N14103: 表示 六樓， 14 排 1 號(hào)機(jī)柜第三臺(tái)設(shè)備。 Server 時(shí)間配置 在虛擬化環(huán)境中，共享文件的計(jì)算機(jī)之間的時(shí)鐘是否同步至關(guān)重要，因此 所有 ESXi 物理服務(wù)器 時(shí)間將借助于網(wǎng)絡(luò)已存在的 NTP 時(shí)間服務(wù)器來同步。 所以 寧夏電信需提供 NTP 時(shí)間服務(wù)器地址 。 第 13 頁共 23 頁 的配置規(guī)劃 虛擬硬件配置 結(jié)合 vCenter 需求和實(shí)際環(huán)境，設(shè)計(jì)虛擬硬件環(huán)境如下： VMware vCenter 規(guī)格屬性 規(guī)格 vCPU數(shù) 8 內(nèi)存 8GB 網(wǎng)卡數(shù) 1 硬件容量 厚格式 100GB（ C盤） ? 由于 VMware 的 vCenter 須運(yùn)行于 64 位系統(tǒng)下 ， 因 此 VC 服務(wù)器將安裝 64 位 Windows 2021 R2 操作系統(tǒng)； ? 為了使 vCenter 可以利用到虛擬化平臺(tái)的高級(jí)功能和節(jié)省硬件資源，因此會(huì)將其部署在一臺(tái)虛擬機(jī)中； ? vCenter 自帶默認(rèn)安裝的 SQL 2021 Express 版本數(shù)據(jù)庫可支持到 50臺(tái) VM，無法 滿足此項(xiàng)目的需求。 在本項(xiàng)目中建議使用獨(dú)立的數(shù)據(jù)庫。 屬性 規(guī)格 服務(wù)器名稱 vCenterDB(內(nèi)網(wǎng) ) 版本 MS SQL Server2021 數(shù)據(jù)庫名稱 NXDXVDB 數(shù)據(jù)庫用戶 Sa 最小表格空間大小 1 GB TEMP 表格空間大小 512 MB 第 14 頁共 23 頁 自動(dòng)擴(kuò)展 是 VMware vCenter將 ESXi Server組織成多個(gè)數(shù)據(jù)中心，其包含共享資源的所有環(huán)境。數(shù)據(jù)中心命名 為： NXDX_DC 對(duì)于數(shù)據(jù)中心的劃分，過細(xì)則會(huì)降低資源整合的優(yōu)勢，過大則會(huì)帶來管理混亂，為此，在配置過程中，我們建議采用 1個(gè)數(shù)據(jù)