【正文】 中國(guó)光大ⅩⅩ銀行信用卡中心存儲(chǔ)容災(zāi)實(shí)施方案　2011年08月　目錄1. 信用卡中心容災(zāi)系統(tǒng)MGM設(shè)計(jì)方案概述 4 容災(zāi)系統(tǒng)MGM實(shí)施拓?fù)浞桨?4 IBM DS8000 MGM介紹 7 IBM TPC for Replication介紹 102. 信用卡中心容災(zāi)系統(tǒng)MGM硬件構(gòu)成及部署 11 北京主站新購(gòu)硬件調(diào)查 11 上海主站新購(gòu)硬件調(diào)查 12 MGM容災(zāi)系統(tǒng)硬件部署 133. 信用卡中心容災(zāi)系統(tǒng)MGM數(shù)據(jù)傳輸及管理設(shè)計(jì) 16 MGM SAN網(wǎng)絡(luò)及以太網(wǎng)絡(luò)連接方式 16 MGM數(shù)據(jù)復(fù)制傳輸光纖連接示意圖 16 TPCR以太網(wǎng)絡(luò)連接示意圖 17 TPCR/TPCD以及DS8100以太網(wǎng)絡(luò)的連接 18 北京主站信用卡業(yè)務(wù)系統(tǒng)核心SAN網(wǎng)絡(luò)規(guī)劃 18 主機(jī)系統(tǒng)至本地磁盤之間的光纖連接 18 開放系統(tǒng)至本地磁盤之間的光纖連接 21 本地磁盤之間的光纖連接（MM鏈路） 27 上海主站信用卡備用業(yè)務(wù)系統(tǒng)核心SAN網(wǎng)絡(luò)規(guī)劃 28 備用主機(jī)系統(tǒng)至災(zāi)備磁盤之間的光纖連接 28 備用開放系統(tǒng)至災(zāi)備磁盤之間的光纖連接 30 北京與上海之間的數(shù)據(jù)復(fù)制傳輸SAN網(wǎng)絡(luò)規(guī)劃（GM鏈路） 33 SAN路由器的端口規(guī)劃圖 34 SAN路由器的端口使用對(duì)照表 35 SAN路由器的分區(qū)設(shè)置 36 Metro Global Mirror磁盤鏡像關(guān)系 37 主機(jī)平臺(tái)Metro Global Mirror磁盤鏡像關(guān)系 37 開放平臺(tái)Metro Global Mirror磁盤鏡像關(guān)系 384. 信用卡中心容災(zāi)系統(tǒng)MGM的構(gòu)建過(guò)程 39 （第一步）驗(yàn)證建立MGM容災(zāi)系統(tǒng)的前提條件 39 （第二步）HMC IP配置、SAN網(wǎng)絡(luò)配置和DS8100 License配置 40 （第三步）配置三臺(tái)DS8100的Server網(wǎng)絡(luò)地址 43 （第四步）搭建TPCD和TPCR服務(wù)器 45 （第五步）登錄TPCR的圖形化用戶界面 46 （第六步）在TPCR平臺(tái)上添加三臺(tái)DS8100 47 （第七步）使用TPCR創(chuàng)建MM Session 47 建立新的Metro Mirror Session 47 向Metro Mirror Session中添加Copy Sets 48 啟動(dòng)H1H2 Metro Mirror Session 48 （第八步）在TPCR中“軟移除”MM Session中的Copy Sets 48 （第九步）在TPCR中移除MM Session 49 （第十步）使用TPCR創(chuàng)建MGM Session 49 建立新的Metro Global Mirror Session 49 向Metro Global Mirror Session中添加Copy Sets 49 啟動(dòng)H1224。H2H3 Metro Global Mirror Session 50 （第十一步）添加MGM容災(zāi)系統(tǒng)的PPRC PATH 50 （第十二步）在TPCR服務(wù)器上部署容災(zāi)切換腳本 51 （第十三步）配置三臺(tái)DS8100的HMC服務(wù) 51 （第十四步）配置TPC平臺(tái)管理三臺(tái)DS8100 51 發(fā)現(xiàn)CIMOM與設(shè)備 51 探查設(shè)備 52 收集設(shè)備性能數(shù)據(jù) 53 測(cè)試拓?fù)浣Y(jié)構(gòu)查看器（Topology Viewer） 54 定制事件行為與TPC for Disk報(bào)告 555. 信用卡中心容災(zāi)系統(tǒng)MGM的驗(yàn)證 56 檢查Health Overview視圖 56 檢查MGM容災(zāi)系統(tǒng)Sessions視圖 58 檢查MGM容災(zāi)系統(tǒng)Storage Subsystems視圖 58 檢查MGM容災(zāi)系統(tǒng)ESS/DS Paths視圖 59 檢查Management Servers視圖 60 檢查Console視圖 616. MM容災(zāi)系統(tǒng)測(cè)試案例 63 測(cè)試范圍 63 測(cè)試項(xiàng)目 63 MM容災(zāi)架構(gòu)的功能測(cè)試 63 MM容災(zāi)架構(gòu)的性能測(cè)試 64 MM容災(zāi)架構(gòu)的切換測(cè)試 64 MM容災(zāi)架構(gòu)的場(chǎng)景測(cè)試 647. MGM容災(zāi)系統(tǒng)測(cè)試案例 67 測(cè)試范圍 67 測(cè)試項(xiàng)目 67 MGM容災(zāi)架構(gòu)的功能測(cè)試 67 MGM容災(zāi)架構(gòu)的性能測(cè)試 68 MGM容災(zāi)架構(gòu)的切換測(cè)試 68 MGM容災(zāi)架構(gòu)的場(chǎng)景測(cè)試 708. 項(xiàng)目實(shí)施計(jì)劃 76 MM階段的實(shí)施計(jì)劃 761. 信用卡中心容災(zāi)系統(tǒng)MGM設(shè)計(jì)方案概述 容災(zāi)系統(tǒng)MGM實(shí)施拓?fù)浞桨父鶕?jù)對(duì)中國(guó)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)建設(shè)目標(biāo)及環(huán)境需求的理解，我們將最終實(shí)現(xiàn)北京亦莊數(shù)據(jù)中心（以下簡(jiǎn)稱北京主站）和上海數(shù)據(jù)中心（以下簡(jiǎn)稱上海主站）基于IBM DS8000 Metro Global Mirror（以下簡(jiǎn)稱MGM）的信用卡業(yè)務(wù)容災(zāi)系統(tǒng)。其中北京主站部署兩架DS8100，進(jìn)行Metro Mirror同步復(fù)制；北京的第二架DS8100與部署在上海的第三架DS8100之間進(jìn)行Global Mirror異步復(fù)制，實(shí)現(xiàn)3架DS8100之間的級(jí)聯(lián)式數(shù)據(jù)復(fù)制架構(gòu)，同時(shí)在上海主站部署備用信用卡業(yè)務(wù)系統(tǒng)主機(jī)以及克隆的生產(chǎn)系統(tǒng)，建立完整的容災(zāi)體系。這一方案在保證本地兩臺(tái)存儲(chǔ)所有數(shù)據(jù)被同步更新的同時(shí)，利用異步數(shù)據(jù)復(fù)制機(jī)制，將數(shù)據(jù)傳送到遠(yuǎn)端的第三臺(tái)存儲(chǔ)。利用雙重在線存儲(chǔ)和完全的網(wǎng)絡(luò)切換能力，不僅保證數(shù)據(jù)的完全一致性，而且通過(guò)管理MGM的IBM Tivoli Storage Productivity Center for Replication（以下簡(jiǎn)稱TPCR）軟件，實(shí)現(xiàn)圖形化管理存儲(chǔ)容災(zāi)切換，簡(jiǎn)化了用戶管理。一旦生產(chǎn)的存儲(chǔ)發(fā)生宕機(jī)等災(zāi)難，首先本地的備份存儲(chǔ)擁有全部生產(chǎn)數(shù)據(jù)，實(shí)現(xiàn)零數(shù)據(jù)丟失，可以直接將生產(chǎn)系統(tǒng)切換到本地備份存儲(chǔ)，同時(shí)，這架存儲(chǔ)與遠(yuǎn)端的第三架存儲(chǔ)之間的異步數(shù)據(jù)傳輸不會(huì)中斷；如果本地的第二架存儲(chǔ)再次出現(xiàn)故障，此時(shí)在上海主站還擁有利用異步復(fù)制的數(shù)據(jù)，實(shí)現(xiàn)幾乎零數(shù)據(jù)丟失。另外，在主備系統(tǒng)的光纖鏈路中還提供冗余通道，以備數(shù)據(jù)傳輸通道出現(xiàn)故障時(shí)提供冗余保護(hù)。在物理結(jié)構(gòu)上，用戶的生產(chǎn)中心（即北京主站）將構(gòu)建以一臺(tái)IBM System z10 BC商業(yè)級(jí)服務(wù)器（2098E10）為主的核心業(yè)務(wù)生產(chǎn)主機(jī)系統(tǒng)。該主機(jī)系統(tǒng)通過(guò)FICON接口直連至生產(chǎn)的DS8100存儲(chǔ)，執(zhí)行信用卡中心核心業(yè)務(wù)系統(tǒng)的生產(chǎn)任務(wù)；同時(shí)，該主機(jī)系統(tǒng)通過(guò)FICON接口還直連了本地備份的DS8100，在災(zāi)難發(fā)生時(shí)，可以快速地將應(yīng)用切換到本地備份的DS8100上。在遠(yuǎn)程災(zāi)備站點(diǎn)（即上海主站），同樣使用一臺(tái)IBM System z10 BC商業(yè)級(jí)服務(wù)器（2098E10）作為信用卡中心核心業(yè)務(wù)系統(tǒng)的災(zāi)備主機(jī)，該主機(jī)系統(tǒng)克隆了生產(chǎn)節(jié)點(diǎn)的操作系統(tǒng)、數(shù)據(jù)庫(kù)軟件和應(yīng)用軟件，同樣也是通過(guò)FICON接口直連至本地的DS8100存儲(chǔ)。除了主機(jī)平臺(tái)的業(yè)務(wù)系統(tǒng)以外，光大ⅩⅩ銀行信用卡中心還有開放平臺(tái)的業(yè)務(wù)系統(tǒng)，在北京主站，開放平臺(tái)的業(yè)務(wù)系統(tǒng)運(yùn)行在以兩架IBM 2498 B24交換機(jī)為核心的SAN網(wǎng)絡(luò)架構(gòu)中，該SAN網(wǎng)絡(luò)的前端連接到六臺(tái)IBM P6 550小型機(jī)，后端連接本地生產(chǎn)存儲(chǔ)DS8100，運(yùn)行開放平臺(tái)的生產(chǎn)業(yè)務(wù)，同時(shí)在這個(gè)SAN網(wǎng)絡(luò)中，還連接了本地備份存儲(chǔ)DS8100，在災(zāi)難發(fā)生時(shí)，可以快速地將應(yīng)用切換到本地備份的DS8100上。在上海主站，開放平臺(tái)的備用業(yè)務(wù)系統(tǒng)構(gòu)建在僅由一臺(tái)IBM 2498 B24交換機(jī)組成的SAN網(wǎng)絡(luò)架構(gòu)中，使用一臺(tái)IBM P6 550小型機(jī)承擔(dān)所有開放平臺(tái)的備用業(yè)務(wù)系統(tǒng)的運(yùn)行，通過(guò)該SAN網(wǎng)絡(luò)，連接至本地的 DS8100存儲(chǔ)。北京主站進(jìn)行Metro Mirror的兩臺(tái)DS8100之間通過(guò)光纖線直連，形成本地同步容災(zāi)鏈路；北京主站和上海主站之間的異步容災(zāi)鏈路通過(guò)FCIP協(xié)議設(shè)備來(lái)構(gòu)建，在每個(gè)站點(diǎn)部署兩臺(tái)IBM SAN Router（IBM SAN04BR），每臺(tái)SAN Router均通過(guò)FC端口連接至該站點(diǎn)的每臺(tái)DS8100上，同時(shí)該SAN Router通過(guò)GE端口通過(guò)租用的傳輸鏈路（電信和網(wǎng)通）連接至另一站點(diǎn)的SAN Router上，形成了2條物理的遠(yuǎn)程容災(zāi)鏈路，用于Global Mirror的數(shù)據(jù)傳輸。另外，在每個(gè)站點(diǎn)將部署一臺(tái)TPCR容災(zāi)管理服務(wù)器，兩臺(tái)TPCR服務(wù)器之間建立高可用配置，并部署相應(yīng)的切換腳本，利用以太網(wǎng)管理以DS8000為核心的容災(zāi)系統(tǒng)。下圖為中國(guó)光大ⅩⅩ銀行信用卡中心業(yè)務(wù)系統(tǒng)基于IBM DS8100的存儲(chǔ)容災(zāi)方案（MGM）邏輯拓?fù)鋱D。圖：中國(guó)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)（MGM）邏輯拓?fù)鋱D根據(jù)對(duì)客戶現(xiàn)有系統(tǒng)的調(diào)查了解和新購(gòu)主機(jī)、存儲(chǔ)等設(shè)備的需求，光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)MGM的構(gòu)建過(guò)程大致分為以下幾個(gè)階段：1） 根據(jù)前端業(yè)務(wù)需求和容災(zāi)需求，規(guī)劃并部署所有的存儲(chǔ)設(shè)備IBM DS8100：l 在北京主站，根據(jù)前端業(yè)務(wù)需求，規(guī)劃并部署本地生產(chǎn)存儲(chǔ)設(shè)備IBM DS8100H1的邏輯配置；l 在北京主站，根據(jù)前端業(yè)務(wù)需求和容災(zāi)需求，規(guī)劃并部署本地備用存儲(chǔ)設(shè)備IBM DS8100H2的邏輯配置；l 在上海主站，根據(jù)前端業(yè)務(wù)需求和容災(zāi)需求，規(guī)劃并部署遠(yuǎn)程災(zāi)備存儲(chǔ)設(shè)備IBM DS8100H3J3的邏輯配置；2） 北京主站與上海主站的以太網(wǎng)絡(luò)建設(shè)：l 構(gòu)建北京主站信用卡中心生產(chǎn)業(yè)務(wù)系統(tǒng)及其存儲(chǔ)設(shè)備IBM DS8100（2架）的以太網(wǎng)架構(gòu)；l 構(gòu)建上海主站信用卡中心備用業(yè)務(wù)系統(tǒng)及其存儲(chǔ)設(shè)備IBM DS8100（1架）的以太網(wǎng)架構(gòu)；3） 北京主站與上海主站的光纖網(wǎng)絡(luò)建設(shè)：l 在北京主站，建立生產(chǎn)主機(jī)至本地生產(chǎn)存儲(chǔ)設(shè)備IBM DS8100H1的光纖連接（主機(jī)平臺(tái)使用FICON直連，開放平臺(tái)使用SAN交換機(jī)連接）；l 在北京主站，建立生產(chǎn)主機(jī)至本地備用存儲(chǔ)設(shè)備IBM DS8100H2的光纖連接（主機(jī)平臺(tái)使用FICON直連，開放平臺(tái)使用SAN交換機(jī)連接）；l 在北京主站，建立本地生產(chǎn)存儲(chǔ)設(shè)備IBM DS8100H1至本地備用存儲(chǔ)設(shè)備IBM DS8100H2的光線連接，使用FCP連接，建立MM容災(zāi)鏈路l 在上海主站，建立遠(yuǎn)程災(zāi)備主機(jī)至遠(yuǎn)程災(zāi)備存儲(chǔ)設(shè)備IBM DS8100H3J3的光纖連接（主機(jī)平臺(tái)使用FICON直連，開放平臺(tái)使用SAN交換機(jī)連接）；l 構(gòu)建北京主站與上海主站之間的SAN Fabric網(wǎng)絡(luò)，將兩個(gè)數(shù)據(jù)中心連接起來(lái)；4） 北京主站和上海主站的TPC建設(shè)：l 在北京主站，部署兩臺(tái)SSPC設(shè)備，添加相應(yīng)的license，一臺(tái)使用TPC for Disk功能（以下簡(jiǎn)稱TPCD），另外一臺(tái)使用TPCR功能；l 在上海主站，部署一臺(tái)SSPC設(shè)備，添加相應(yīng)的license，同時(shí)使用TPC for Disk功能（以下簡(jiǎn)稱TPCD）和TPCR功能；l 搭建北京主站與上海主站TPCR之間的高可用配置；5） 在搭建好的IBM TPCR平臺(tái)上部署信用卡中心容災(zāi)系統(tǒng)MGM：l 在搭建好的IBM TPCR平臺(tái)上添加北京主站的兩臺(tái)IBM DS8100存儲(chǔ)設(shè)備；l 在搭建好的IBM TPCR平臺(tái)上添加上海主站的一臺(tái)IBM DS8100存儲(chǔ)設(shè)備；l 在搭建好的IBM TPCR平臺(tái)上，根據(jù)容災(zāi)需求構(gòu)建基于IBM DS8000 MGM的信用卡中心容災(zāi)系統(tǒng)；l 啟動(dòng)MGM容災(zāi)系統(tǒng)，三架DS8100開始數(shù)據(jù)同步，實(shí)現(xiàn)兩地三中心式數(shù)據(jù)保護(hù)；6） 在北京主站和上海主站搭建好的IBM TPCD平臺(tái)上部署針對(duì)IBM DS8100存儲(chǔ)設(shè)備的性能監(jiān)控任務(wù)：l 在北京主站搭建好的IBM TPCD平臺(tái)上添加信用卡中心生產(chǎn)業(yè)務(wù)系統(tǒng)的存儲(chǔ)設(shè)備——2架DS8100并部署相應(yīng)的存儲(chǔ)設(shè)備性能監(jiān)控任務(wù)；l 在上海主站搭建好的IBM TPCD平臺(tái)上添加信用卡中心災(zāi)備業(yè)務(wù)系統(tǒng)的存儲(chǔ)設(shè)備——1架DS8100并部署相應(yīng)的存儲(chǔ)設(shè)備性能監(jiān)控任務(wù)；7） 在北京主站和上海主站現(xiàn)有的IBM TPCR服務(wù)器上部署容災(zāi)切換腳本。8） 針對(duì)新部署的信用卡中心容災(zāi)系統(tǒng)MGM進(jìn)行相關(guān)的測(cè)試及驗(yàn)證工作。9） 完成相關(guān)文檔的編寫和培訓(xùn)工作。 IBM DS8000 MGM介紹IBM企業(yè)級(jí)存儲(chǔ)系統(tǒng)DS8000的磁盤層疊式數(shù)據(jù)復(fù)制技術(shù)（Metro Global Mirror，簡(jiǎn)稱MGM）是一個(gè)3節(jié)點(diǎn)、多用途的數(shù)據(jù)復(fù)制解決方案，支持IBM z和p系列服務(wù)器，如下圖所示，節(jié)點(diǎn)A到本地節(jié)點(diǎn)B進(jìn)行Metro Mirror同步復(fù)制，本地節(jié)點(diǎn)B到遠(yuǎn)端節(jié)點(diǎn)C進(jìn)行Global Mirror異步復(fù)制。 Metro/Global Mirror原理IBM DS8000 MGM技術(shù)可以為您建立兩地三中心式容災(zāi)解決方案：在本地生產(chǎn)中心的DS8000存儲(chǔ)相應(yīng)的業(yè)務(wù)數(shù)據(jù)，通過(guò) Metro Mirror數(shù)據(jù)同步復(fù)制技術(shù)將數(shù)據(jù)復(fù)制到同城災(zāi)備中心的DS8000，可以實(shí)時(shí)保證數(shù)據(jù)的一致性。同時(shí)位于同城災(zāi)備中心的DS8000的同一份數(shù)據(jù)可以同異地遠(yuǎn)端的DS8000通過(guò)Global Mirror數(shù)據(jù)異步復(fù)制技術(shù)進(jìn)行數(shù)據(jù)鏡像，實(shí)現(xiàn)異地的數(shù)據(jù)備份及保護(hù)。當(dāng)同城災(zāi)備中心發(fā)生故障時(shí)，生產(chǎn)中心的DS8000可以向異地災(zāi)備中心的DS8000通過(guò)Global Mirror數(shù)據(jù)異步復(fù)制技術(shù)同步數(shù)據(jù)，實(shí)現(xiàn)異地的數(shù)據(jù)備份及保護(hù)。生產(chǎn)中心及災(zāi)備中心的數(shù)據(jù)庫(kù)服務(wù)器均由Power服務(wù)器來(lái)承擔(dān)，當(dāng)生產(chǎn)中心所在地發(fā)生災(zāi)難時(shí)，生產(chǎn)中心的Power 服務(wù)器AIX操作系統(tǒng)的PowerHA/XD功能將應(yīng)用切換到同城災(zāi)備/異地災(zāi)備中心的Power數(shù)據(jù)庫(kù)服務(wù)器，同時(shí)災(zāi)備中心的Power服務(wù)器接管災(zāi)備中心的存儲(chǔ)，從而恢復(fù)數(shù)據(jù)的訪問(wèn)及業(yè)務(wù)的連續(xù)性。異地災(zāi)備中心生產(chǎn)中心同城災(zāi)備中心方案技術(shù)優(yōu)勢(shì)：n 同城范圍鏡像數(shù)據(jù)可以不丟失；n 異地鏡像數(shù)據(jù)根據(jù)災(zāi)難情形，盡可能降低數(shù)據(jù)丟失機(jī)率；n 鏡像網(wǎng)絡(luò)中斷恢復(fù)后，任意兩站點(diǎn)之間可以通過(guò)增量方式實(shí)現(xiàn)再同步，無(wú)需重傳；n 生產(chǎn)中心應(yīng)用系統(tǒng)響應(yīng)時(shí)間只受本地的兩個(gè)中心的距離影響。n 同城RPO=0，距離Max 300公里，n 異地RPO最短