【正文】 回生產(chǎn)站點(diǎn)，并將通過增量復(fù)制的方式更新生產(chǎn)站點(diǎn)的數(shù)據(jù)； Veeam的優(yōu)勢(shì)分析Veeam backup amp。 最后，驗(yàn)證生產(chǎn)站點(diǎn)虛擬服務(wù)器的狀態(tài)和數(shù)據(jù)后，確認(rèn)數(shù)據(jù)回復(fù)完成，此時(shí)，veeam恢復(fù)到故障切換前的保護(hù)狀態(tài)，仍然按照原有的災(zāi)備策略執(zhí)行定時(shí)復(fù)制任務(wù)；第6章 災(zāi)備技術(shù)說明 Veeam的實(shí)現(xiàn)過程本次災(zāi)備方案中針對(duì)集團(tuán)總部的vmware虛擬化環(huán)境，我們采用veeam backup amp。 針對(duì)信息披露系統(tǒng)的Oracle數(shù)據(jù)庫服務(wù)器和股份門戶的SQL Server數(shù)據(jù)庫服務(wù)器，故障回復(fù)過程如下：Oralce數(shù)據(jù)庫：將災(zāi)備站點(diǎn)中Oracle的數(shù)據(jù)導(dǎo)出一份到生產(chǎn)站點(diǎn)的Oracle服務(wù)器，在生產(chǎn)站點(diǎn)的Oracle服務(wù)器上執(zhí)行數(shù)據(jù)的導(dǎo)入工作；SQL Server數(shù)據(jù)庫：將災(zāi)備站點(diǎn)中的SQL Server數(shù)據(jù)備份傳輸一份到生產(chǎn)站點(diǎn)的SQL Server數(shù)據(jù)庫，在生產(chǎn)站點(diǎn)的SQL Server服務(wù)器上執(zhí)行數(shù)據(jù)的恢復(fù)工作；216。 針對(duì)生產(chǎn)站點(diǎn)中信息披露系統(tǒng)的web服務(wù)器、HFM服務(wù)器和數(shù)據(jù)管理服務(wù)器全部恢復(fù)正常的情況，僅需執(zhí)行網(wǎng)絡(luò)切換即可完成業(yè)務(wù)系統(tǒng)的切換；216。 選擇故障回復(fù)的類型；216。 針對(duì)生產(chǎn)站點(diǎn)中信息披露系統(tǒng)的web服務(wù)器、HFM服務(wù)器和數(shù)據(jù)管理服務(wù)器全部損壞的情況，故障切換過程如下：216。 最后，虛擬服務(wù)器啟動(dòng)完畢，數(shù)據(jù)庫連接文件修改完畢后，驗(yàn)證災(zāi)備站點(diǎn)中虛擬服務(wù)器的狀態(tài)和數(shù)據(jù)。 針對(duì)TDS服務(wù)器，處理過程如下：（與生產(chǎn)站點(diǎn)TDS系統(tǒng)的負(fù)載均衡地址相同）；216。 針對(duì)股份門戶網(wǎng)站的web服務(wù)器和CMS服務(wù)器，處理過程如下：在災(zāi)難發(fā)生后， Server數(shù)據(jù)庫的IP地址，北龍中網(wǎng)的智能DNS解析服務(wù)器檢測(cè)到生產(chǎn)站點(diǎn)的服務(wù)器故障后，會(huì)自動(dòng)將所有訪問流量切換到上海災(zāi)備站點(diǎn)，以此保障股份門戶網(wǎng)站在數(shù)分鐘即可恢復(fù)；216。第5章 數(shù)據(jù)災(zāi)備及數(shù)據(jù)回復(fù)的實(shí)現(xiàn)過程 數(shù)據(jù)災(zāi)備過程當(dāng)生產(chǎn)站點(diǎn)發(fā)生災(zāi)難，需要啟動(dòng)災(zāi)備中心的相應(yīng)服務(wù)時(shí)：216。7. 業(yè)務(wù)系統(tǒng)切換到災(zāi)備中心后，原生產(chǎn)中心核心區(qū)域網(wǎng)段內(nèi)（）的主機(jī)及服務(wù)器，將無法訪問災(zāi)備中心的主機(jī)或系統(tǒng)，原因?yàn)楹诵膮^(qū)域的設(shè)備會(huì)認(rèn)為災(zāi)備中心的設(shè)備還在同一個(gè)網(wǎng)段內(nèi)，會(huì)進(jìn)行ARP查詢對(duì)應(yīng)IP地址的MAC（結(jié)果為ARP查詢超時(shí)，無法封包成功），而不會(huì)進(jìn)行路由查找，將數(shù)據(jù)包發(fā)送到網(wǎng)關(guān)。5. 集團(tuán)管理信息部智能DNS服務(wù)器增加上海災(zāi)備中心公網(wǎng)IP地址，用戶股份門戶網(wǎng)站雙活訪問。11. 當(dāng)生產(chǎn)中心恢復(fù)正常后，中企網(wǎng)絡(luò)將按照客戶要求，將VM數(shù)據(jù)反向同步到生產(chǎn)中心，并按約定時(shí)間刪除相應(yīng)的主機(jī)路由廣播，路由收斂完成后，業(yè)務(wù)系統(tǒng)的訪問流量將會(huì)引導(dǎo)回原有路徑（紅色線路）。9. 集團(tuán)及各子公司的CE路由器等將通過BGP協(xié)議接收到災(zāi)備中心的主機(jī)路由，并把這些路由與現(xiàn)有的生產(chǎn)中心路由（//24等大路由）同時(shí)放入路由表。7. 中企網(wǎng)絡(luò)收到切換需求后，將第一時(shí)間安排云計(jì)算工程師協(xié)助集團(tuán)啟用災(zāi)備中心的虛擬服務(wù)器，并按要求修改系統(tǒng)設(shè)置（如需要）。5. 當(dāng)生產(chǎn)中心恢復(fù)正常后，中企網(wǎng)絡(luò)將按照客戶要求，將VM數(shù)據(jù)反向同步到生產(chǎn)中心，并按約定時(shí)間刪除相應(yīng)的主機(jī)路由廣播，路由收斂完成后，業(yè)務(wù)系統(tǒng)的訪問流量將會(huì)引導(dǎo)回原有路徑（紅色線路）。3. 同時(shí)中企網(wǎng)絡(luò)將安排網(wǎng)絡(luò)工程師，修改災(zāi)備中心的PE路由器的配置，按計(jì)劃將災(zāi)備系統(tǒng)相關(guān)業(yè)務(wù)系統(tǒng)的主機(jī)路由信息（披露系統(tǒng)、股份門戶網(wǎng)站、TDS服務(wù)器和DNS服務(wù)器）通過BGP協(xié)議廣播到集團(tuán)的第二張MPLS VPN網(wǎng)內(nèi)（紫色線路）。 災(zāi)備切換場(chǎng)景及業(yè)務(wù)數(shù)據(jù)流向分析 正常情況下的路由及數(shù)據(jù)流1. 在生產(chǎn)中心正常工作的情況下，集團(tuán)的兩臺(tái)6509核心交換機(jī)將通過BGP協(xié)議向中企的PE路由器宣告災(zāi)備系統(tǒng)的路由；2. 中企的PE路由器收到這些BGP路由后，會(huì)將這些路由信息通過BGP協(xié)議在MPLS VPN網(wǎng)內(nèi)傳播，最終將傳達(dá)到各子公司的CE路由器（藍(lán)色線路）；3. 各子公司將通過集團(tuán)廣播的核心區(qū)域路由進(jìn)行尋址，經(jīng)過中企的MPLS VPN骨干網(wǎng)后，訪問位于集團(tuán)核心區(qū)的信息披露系統(tǒng)（紅色線路）4. 中信股份門戶網(wǎng)站通過互聯(lián)網(wǎng)進(jìn)行訪問； 災(zāi)備切換場(chǎng)景概述 . 集團(tuán)管理信息部整個(gè)業(yè)務(wù)系統(tǒng)故障1. 集團(tuán)生產(chǎn)站點(diǎn)發(fā)生災(zāi)難性故障，業(yè)務(wù)系統(tǒng)全部故障，且無法在短時(shí)間內(nèi)恢復(fù)業(yè)務(wù)時(shí)，由集團(tuán)工程師通過電話、郵件等方式向中企網(wǎng)絡(luò)發(fā)起災(zāi)備切換需求。代理端協(xié)作復(fù)制任務(wù) （藍(lán)色線路）；3. Veeam代理端與集團(tuán)管理信息部的vCenter進(jìn)行授權(quán)連接，將生產(chǎn)站點(diǎn)VMware虛擬服務(wù)器的快照文件通過MPLS VPN網(wǎng)絡(luò)復(fù)制到上海的災(zāi)備中心（紅色線路）；4. 集團(tuán)管理信息部為Veeam代理服務(wù)器單獨(dú)劃分一個(gè)Vlan（具體Vlan可在實(shí)施階段協(xié)調(diào)）與現(xiàn)有生產(chǎn)網(wǎng)絡(luò)隔離，Veeam代理服務(wù)器與生產(chǎn)網(wǎng)絡(luò)vCenter服務(wù)器實(shí)現(xiàn)路由可達(dá)；5. 復(fù)制到災(zāi)備站點(diǎn)的快照文件存儲(chǔ)在SmartCLOUD vONE私有云的存儲(chǔ)中，并處于隨時(shí)可開機(jī)啟動(dòng)的狀態(tài)；6. 為災(zāi)備中心的Veeam管理服務(wù)器劃分一個(gè)單獨(dú)的vlan，該vlan ID與災(zāi)備中心vCenter的Vlan ID一致，使之與披露系統(tǒng)、中信股份門戶網(wǎng)站災(zāi)備服務(wù)器相互隔離， 應(yīng)用系統(tǒng)數(shù)據(jù)復(fù)制生產(chǎn)中心的oracle服務(wù)器和股份門戶網(wǎng)站的web服務(wù)器、CMS服務(wù)器以及SQL Server數(shù)據(jù)庫服務(wù)器不通過Veeam進(jìn)行災(zāi)備復(fù)制，需要在應(yīng)用系統(tǒng)層面進(jìn)行定時(shí)的數(shù)據(jù)同步。7． 披露系統(tǒng)和TDS服務(wù)器屬于同一個(gè)Vlan，中信股份門戶網(wǎng)站屬于另一個(gè)Vlan，Veeam服務(wù)器單獨(dú)在另一個(gè)Vlan 災(zāi)備數(shù)據(jù)業(yè)務(wù)流向 Veeam災(zāi)備數(shù)據(jù)復(fù)制集團(tuán)管理信息部的VM鏡像可直接通過Veeam進(jìn)行數(shù)據(jù)備份，Veeam的備份任務(wù)是通過上海災(zāi)備中心的Veeam服務(wù)器進(jìn)行調(diào)度 Veeam備份和調(diào)度示意圖1. 在上海寶山災(zāi)備中心建立一個(gè)Veeam管理服務(wù)器，在集團(tuán)管理信息部建立一個(gè)Veeam代理服務(wù)器。5． 兩臺(tái)3945路由器上，需要部署少量靜態(tài)NAT配置,原因是披露系統(tǒng)中Web服務(wù)器、HFM、數(shù)據(jù)管理服務(wù)器、Ocacle服務(wù)器要求IP地址不能變動(dòng)，所以在做數(shù)據(jù)備份時(shí)需要在災(zāi)備中心CE路由器配置NAT轉(zhuǎn)換，以使得完成路由可達(dá)性（），中信股份門戶網(wǎng)站災(zāi)備IP地址可以改變，所以在備份過程中不需要針對(duì)此系統(tǒng)配置NAT。3． 將部署2臺(tái)物理服務(wù)器分別上聯(lián)2臺(tái)DELL交換機(jī)，將披露系統(tǒng)、中信股份門戶網(wǎng)站、Veeam服務(wù)器部署在SmartCLOUD vONE私有云上，在交換機(jī)上為這3個(gè)系統(tǒng)分別創(chuàng)建3個(gè)獨(dú)立Vlan，在Cisco3945路由器配置3個(gè)子接口用于對(duì)應(yīng)不同的Vlan，并為每個(gè)Vlan提供網(wǎng)關(guān)功能。3． 集團(tuán)管理信息部的核心交換機(jī)6509將通過BGP協(xié)議收到上海寶山災(zāi)備中心的路由，并將其轉(zhuǎn)發(fā)到內(nèi)網(wǎng)EIGRP網(wǎng)絡(luò)4． 在集團(tuán)管理信息部?jī)?nèi)網(wǎng)部署Veeam代理服務(wù)器，此代理服務(wù)器將單獨(dú)劃分一個(gè)Vlan專用于數(shù)據(jù)備份，但此Vlan需要與vCenter通信 上海寶山機(jī)房部署方式1． 上海寶山機(jī)房采用2臺(tái)Cisco3945路由器連接MPLS VPN網(wǎng)絡(luò)，帶寬為20M，路由器分別下聯(lián)2臺(tái)DELL交換機(jī)，2臺(tái)路由器為內(nèi)網(wǎng)提供高可用服務(wù)。 集團(tuán)管理信息部部署方式1． 針對(duì)此次系統(tǒng)災(zāi)備項(xiàng)目，集團(tuán)信息管理部將采用現(xiàn)有網(wǎng)絡(luò)設(shè)備完成災(zāi)備數(shù)據(jù)的轉(zhuǎn)發(fā)，不增加硬件設(shè)備。2. 將災(zāi)備服務(wù)器部署在上海寶山機(jī)房，使其與集團(tuán)管理信息部采用MPLS VPN（中信第二張網(wǎng)）互聯(lián)，并在此網(wǎng)絡(luò)上進(jìn)行災(zāi)備數(shù)據(jù)的傳輸和生產(chǎn)站點(diǎn)恢復(fù)運(yùn)營(yíng)后數(shù)據(jù)的回傳。 SQL Server數(shù)據(jù)庫設(shè)計(jì)針對(duì)生產(chǎn)站點(diǎn)的SQL Server服務(wù)器集群，設(shè)計(jì)如下：在災(zāi)備中心部署x86架構(gòu)下的單機(jī)SQL Server數(shù)據(jù)庫，首先在生產(chǎn)站點(diǎn)的SQL Server設(shè)定數(shù)據(jù)庫定時(shí)備份策略，定時(shí)生成數(shù)據(jù)庫備份文件并傳輸生產(chǎn)站點(diǎn)的SQL Server備份文件到災(zāi)備站點(diǎn)SQL Server服務(wù)器上，通過計(jì)劃任務(wù)定時(shí)執(zhí)行批處理文件的方式進(jìn)行備份文件的定時(shí)恢復(fù)；（中企通信會(huì)在此次項(xiàng)目中提供具備SQL Server數(shù)據(jù)庫的定時(shí)備份、遠(yuǎn)程傳輸、定時(shí)導(dǎo)入功能的批處理文件程序）數(shù)據(jù)庫服務(wù)器IP地址方面，配置不同于生產(chǎn)站點(diǎn)SQL Server集群的地址；當(dāng)生產(chǎn)站點(diǎn)發(fā)生災(zāi)難、SQL Server集群服務(wù)失效時(shí)，中企通信后臺(tái)運(yùn)維人員將手工更改災(zāi)備站點(diǎn)的SQL Server服務(wù)器IP地址為生產(chǎn)站點(diǎn)的SQL Server集群IP地址，完成數(shù)據(jù)庫服務(wù)的切換。 針對(duì)身份驗(yàn)證系統(tǒng)和域名解析系統(tǒng)，中企會(huì)在災(zāi)備站點(diǎn)部署一套處于開機(jī)狀態(tài)的TDS系統(tǒng)和DNS系統(tǒng)，其中，TDS系統(tǒng)作為集團(tuán)身份驗(yàn)證系統(tǒng)的一個(gè)Slave節(jié)點(diǎn)定期從TDS的Master節(jié)點(diǎn)獲取更新數(shù)據(jù)；DNS系統(tǒng)的IP地址和生產(chǎn)站點(diǎn)DNS系統(tǒng)的IP地址保持一致，以此確保災(zāi)備站點(diǎn)啟用后，身份驗(yàn)證功能和域名解析功能處于可用狀態(tài)。 方案設(shè)計(jì)思路1. 信息披露系統(tǒng)和股份門戶網(wǎng)站采用主備模式來實(shí)現(xiàn)異地災(zāi)備；基于兩個(gè)業(yè)務(wù)系統(tǒng)的RTO/RPO要求，針對(duì)信息披露系統(tǒng)，采用冷備模式；針對(duì)股份門戶網(wǎng)站，做鏡像站點(diǎn)設(shè)計(jì)，災(zāi)備模式采用冷備模式；生產(chǎn)站點(diǎn)發(fā)生災(zāi)難時(shí)，兩個(gè)系統(tǒng)均需要進(jìn)行手工切換；2. 生產(chǎn)站點(diǎn)和災(zāi)備站點(diǎn)的復(fù)制策略可以針對(duì)每臺(tái)虛擬服務(wù)器（信息披露系統(tǒng)的web服務(wù)器、HFM服務(wù)器和數(shù)據(jù)管理服務(wù)器）進(jìn)行自定義，并提供vmware虛擬化架構(gòu)下定時(shí)復(fù)制和增量復(fù)制的功能，針對(duì)每次復(fù)制任務(wù)得執(zhí)行結(jié)果要有日志記錄功能，出現(xiàn)異常時(shí)具有報(bào)警提示；3. 股份門戶網(wǎng)站web服務(wù)器的內(nèi)容通過網(wǎng)站后臺(tái)進(jìn)行統(tǒng)一發(fā)布；4. 股份門戶網(wǎng)站的CMS服務(wù)器在災(zāi)備站點(diǎn)處于開啟狀態(tài)，使用文件定時(shí)同步（4小時(shí)/次）的方式滿足RPO的要求；5. 針對(duì)信息披露系統(tǒng)的Oracle數(shù)據(jù)庫，在災(zāi)備中心部署x86架構(gòu)下的Oracle數(shù)據(jù)庫，通過自動(dòng)化腳本的方式實(shí)現(xiàn)災(zāi)備站點(diǎn)數(shù)據(jù)的定時(shí)更新；6. 針對(duì)股份門戶的SQL Server數(shù)據(jù)庫，在災(zāi)備中心部署單機(jī)版SQL Server數(shù)據(jù)庫服務(wù)器，通過自動(dòng)化腳本的方式實(shí)現(xiàn)災(zāi)備站點(diǎn)數(shù)據(jù)的定時(shí)更新；7. 針對(duì)TDS和DNS，在災(zāi)備站點(diǎn)的虛擬服務(wù)器中，部署TDS節(jié)點(diǎn)，通過MPLS VPN內(nèi)網(wǎng)同步用戶數(shù)據(jù)；在DNS服務(wù)器上對(duì)信息披露系統(tǒng)的域名進(jìn)行A記錄的設(shè)定；8. 有不同的恢復(fù)方案應(yīng)對(duì)不同的災(zāi)難場(chǎng)景 災(zāi)備中心VM規(guī)劃災(zāi)備中心規(guī)劃圖：災(zāi)備中心VM規(guī)劃列表：災(zāi)備中心VM規(guī)劃系統(tǒng)名稱服務(wù)器名稱操作系統(tǒng)應(yīng)用程序生產(chǎn)站點(diǎn)IP負(fù)載均衡IP災(zāi)備站點(diǎn)IP啟動(dòng)順序信息披露系統(tǒng) Web服務(wù)器windows 2008 R2 （64位）Foundation　HFM服務(wù)器windows 2008 R2 （64位）HFM Bivison　　數(shù)據(jù)管理服務(wù)器windows 2008 R2 （64位）Bivison　　報(bào)表分析服務(wù)器windows 2008 R2 （64位）BIEE　　Oracle服務(wù)器　Oracle 11g　　中信股份門戶Web服務(wù)器windows 2012 R2 （64位）IIS 　　CMS服務(wù)器 windows 2012 R2 （64位）CMS　　數(shù)據(jù)庫服務(wù)器windows 2012 R2 （64位）SQL Server 201　　TDS身份驗(yàn)證系統(tǒng)TDS服務(wù)器windows 2008 R2 （64位）IBM Tivoli　　待規(guī)劃　域名解析系統(tǒng)DNS服務(wù)器windows 2008 R2 （64位）MS DNS　　　vmware虛擬化管理平臺(tái)vCenter服務(wù)器 windows 2008 R2 （64位）vCenter　　待規(guī)劃　veeam備份控制臺(tái)veeam備份控制臺(tái)服務(wù)器windows 2008 R2 （64位）veeam backup manager　　待規(guī)劃　 信息披露系統(tǒng)災(zāi)備設(shè)計(jì) 方案設(shè)計(jì)拓?fù)鋱D 虛擬服務(wù)器層面216。第3章 業(yè)務(wù)系統(tǒng)災(zāi)備建設(shè)方案中企通信提供一個(gè)完整的異地災(zāi)備解決方案：使用異地?cái)?shù)據(jù)中心的SmartCLOUD?vONE私有云服務(wù)以及生產(chǎn)站點(diǎn)和災(zāi)備站點(diǎn)之間MPLS VPN網(wǎng)絡(luò)連接的服務(wù)來