【正文】 中國光大ⅩⅩ銀行信用卡中心存儲容災實施方案　2011年08月　目錄1. 信用卡中心容災系統(tǒng)MGM設計方案概述 4 容災系統(tǒng)MGM實施拓撲方案 4 IBM DS8000 MGM介紹 7 IBM TPC for Replication介紹 102. 信用卡中心容災系統(tǒng)MGM硬件構成及部署 11 北京主站新購硬件調查 11 上海主站新購硬件調查 12 MGM容災系統(tǒng)硬件部署 133. 信用卡中心容災系統(tǒng)MGM數(shù)據(jù)傳輸及管理設計 16 MGM SAN網(wǎng)絡及以太網(wǎng)絡連接方式 16 MGM數(shù)據(jù)復制傳輸光纖連接示意圖 16 TPCR以太網(wǎng)絡連接示意圖 17 TPCR/TPCD以及DS8100以太網(wǎng)絡的連接 18 北京主站信用卡業(yè)務系統(tǒng)核心SAN網(wǎng)絡規(guī)劃 18 主機系統(tǒng)至本地磁盤之間的光纖連接 18 開放系統(tǒng)至本地磁盤之間的光纖連接 21 本地磁盤之間的光纖連接（MM鏈路） 27 上海主站信用卡備用業(yè)務系統(tǒng)核心SAN網(wǎng)絡規(guī)劃 28 備用主機系統(tǒng)至災備磁盤之間的光纖連接 28 備用開放系統(tǒng)至災備磁盤之間的光纖連接 30 北京與上海之間的數(shù)據(jù)復制傳輸SAN網(wǎng)絡規(guī)劃（GM鏈路） 33 SAN路由器的端口規(guī)劃圖 34 SAN路由器的端口使用對照表 35 SAN路由器的分區(qū)設置 36 Metro Global Mirror磁盤鏡像關系 37 主機平臺Metro Global Mirror磁盤鏡像關系 37 開放平臺Metro Global Mirror磁盤鏡像關系 384. 信用卡中心容災系統(tǒng)MGM的構建過程 39 （第一步）驗證建立MGM容災系統(tǒng)的前提條件 39 （第二步）HMC IP配置、SAN網(wǎng)絡配置和DS8100 License配置 40 （第三步）配置三臺DS8100的Server網(wǎng)絡地址 43 （第四步）搭建TPCD和TPCR服務器 45 （第五步）登錄TPCR的圖形化用戶界面 46 （第六步）在TPCR平臺上添加三臺DS8100 47 （第七步）使用TPCR創(chuàng)建MM Session 47 建立新的Metro Mirror Session 47 向Metro Mirror Session中添加Copy Sets 48 啟動H1H2 Metro Mirror Session 48 （第八步）在TPCR中“軟移除”MM Session中的Copy Sets 48 （第九步）在TPCR中移除MM Session 49 （第十步）使用TPCR創(chuàng)建MGM Session 49 建立新的Metro Global Mirror Session 49 向Metro Global Mirror Session中添加Copy Sets 49 啟動H1224。H2H3 Metro Global Mirror Session 50 （第十一步）添加MGM容災系統(tǒng)的PPRC PATH 50 （第十二步）在TPCR服務器上部署容災切換腳本 51 （第十三步）配置三臺DS8100的HMC服務 51 （第十四步）配置TPC平臺管理三臺DS8100 51 發(fā)現(xiàn)CIMOM與設備 51 探查設備 52 收集設備性能數(shù)據(jù) 53 測試拓撲結構查看器（Topology Viewer） 54 定制事件行為與TPC for Disk報告 555. 信用卡中心容災系統(tǒng)MGM的驗證 56 檢查Health Overview視圖 56 檢查MGM容災系統(tǒng)Sessions視圖 58 檢查MGM容災系統(tǒng)Storage Subsystems視圖 58 檢查MGM容災系統(tǒng)ESS/DS Paths視圖 59 檢查Management Servers視圖 60 檢查Console視圖 616. MM容災系統(tǒng)測試案例 63 測試范圍 63 測試項目 63 MM容災架構的功能測試 63 MM容災架構的性能測試 64 MM容災架構的切換測試 64 MM容災架構的場景測試 647. MGM容災系統(tǒng)測試案例 67 測試范圍 67 測試項目 67 MGM容災架構的功能測試 67 MGM容災架構的性能測試 68 MGM容災架構的切換測試 68 MGM容災架構的場景測試 708. 項目實施計劃 76 MM階段的實施計劃 761. 信用卡中心容災系統(tǒng)MGM設計方案概述 容災系統(tǒng)MGM實施拓撲方案根據(jù)對中國光大ⅩⅩ銀行信用卡中心容災系統(tǒng)建設目標及環(huán)境需求的理解，我們將最終實現(xiàn)北京亦莊數(shù)據(jù)中心（以下簡稱北京主站）和上海數(shù)據(jù)中心（以下簡稱上海主站）基于IBM DS8000 Metro Global Mirror（以下簡稱MGM）的信用卡業(yè)務容災系統(tǒng)。其中北京主站部署兩架DS8100，進行Metro Mirror同步復制；北京的第二架DS8100與部署在上海的第三架DS8100之間進行Global Mirror異步復制，實現(xiàn)3架DS8100之間的級聯(lián)式數(shù)據(jù)復制架構，同時在上海主站部署備用信用卡業(yè)務系統(tǒng)主機以及克隆的生產系統(tǒng)，建立完整的容災體系。這一方案在保證本地兩臺存儲所有數(shù)據(jù)被同步更新的同時，利用異步數(shù)據(jù)復制機制，將數(shù)據(jù)傳送到遠端的第三臺存儲。利用雙重在線存儲和完全的網(wǎng)絡切換能力，不僅保證數(shù)據(jù)的完全一致性，而且通過管理MGM的IBM Tivoli Storage Productivity Center for Replication（以下簡稱TPCR）軟件，實現(xiàn)圖形化管理存儲容災切換，簡化了用戶管理。一旦生產的存儲發(fā)生宕機等災難，首先本地的備份存儲擁有全部生產數(shù)據(jù)，實現(xiàn)零數(shù)據(jù)丟失，可以直接將生產系統(tǒng)切換到本地備份存儲，同時，這架存儲與遠端的第三架存儲之間的異步數(shù)據(jù)傳輸不會中斷；如果本地的第二架存儲再次出現(xiàn)故障，此時在上海主站還擁有利用異步復制的數(shù)據(jù)，實現(xiàn)幾乎零數(shù)據(jù)丟失。另外，在主備系統(tǒng)的光纖鏈路中還提供冗余通道，以備數(shù)據(jù)傳輸通道出現(xiàn)故障時提供冗余保護。在物理結構上，用戶的生產中心（即北京主站）將構建以一臺IBM System z10 BC商業(yè)級服務器（2098E10）為主的核心業(yè)務生產主機系統(tǒng)。該主機系統(tǒng)通過FICON接口直連至生產的DS8100存儲，執(zhí)行信用卡中心核心業(yè)務系統(tǒng)的生產任務；同時，該主機系統(tǒng)通過FICON接口還直連了本地備份的DS8100，在災難發(fā)生時，可以快速地將應用切換到本地備份的DS8100上。在遠程災備站點（即上海主站），同樣使用一臺IBM System z10 BC商業(yè)級服務器（2098E10）作為信用卡中心核心業(yè)務系統(tǒng)的災備主機，該主機系統(tǒng)克隆了生產節(jié)點的操作系統(tǒng)、數(shù)據(jù)庫軟件和應用軟件，同樣也是通過FICON接口直連至本地的DS8100存儲。除了主機平臺的業(yè)務系統(tǒng)以外，光大ⅩⅩ銀行信用卡中心還有開放平臺的業(yè)務系統(tǒng)，在北京主站，開放平臺的業(yè)務系統(tǒng)運行在以兩架IBM 2498 B24交換機為核心的SAN網(wǎng)絡架構中，該SAN網(wǎng)絡的前端連接到六臺IBM P6 550小型機，后端連接本地生產存儲DS8100，運行開放平臺的生產業(yè)務，同時在這個SAN網(wǎng)絡中，還連接了本地備份存儲DS8100，在災難發(fā)生時，可以快速地將應用切換到本地備份的DS8100上。在上海主站，開放平臺的備用業(yè)務系統(tǒng)構建在僅由一臺IBM 2498 B24交換機組成的SAN網(wǎng)絡架構中，使用一臺IBM P6 550小型機承擔所有開放平臺的備用業(yè)務系統(tǒng)的運行，通過該SAN網(wǎng)絡，連接至本地的 DS8100存儲。北京主站進行Metro Mirror的兩臺DS8100之間通過光纖線直連，形成本地同步容災鏈路；北京主站和上海主站之間的異步容災鏈路通過FCIP協(xié)議設備來構建，在每個站點部署兩臺IBM SAN Router（IBM SAN04BR），每臺SAN Router均通過FC端口連接至該站點的每臺DS8100上，同時該SAN Router通過GE端口通過租用的傳輸鏈路（電信和網(wǎng)通）連接至另一站點的SAN Router上，形成了2條物理的遠程容災鏈路，用于Global Mirror的數(shù)據(jù)傳輸。另外，在每個站點將部署一臺TPCR容災管理服務器，兩臺TPCR服務器之間建立高可用配置，并部署相應的切換腳本，利用以太網(wǎng)管理以DS8000為核心的容災系統(tǒng)。下圖為中國光大ⅩⅩ銀行信用卡中心業(yè)務系統(tǒng)基于IBM DS8100的存儲容災方案（MGM）邏輯拓撲圖。圖：中國光大ⅩⅩ銀行信用卡中心容災系統(tǒng)（MGM）邏輯拓撲圖根據(jù)對客戶現(xiàn)有系統(tǒng)的調查了解和新購主機、存儲等設備的需求，光大ⅩⅩ銀行信用卡中心容災系統(tǒng)MGM的構建過程大致分為以下幾個階段：1） 根據(jù)前端業(yè)務需求和容災需求，規(guī)劃并部署所有的存儲設備IBM DS8100：l 在北京主站，根據(jù)前端業(yè)務需求，規(guī)劃并部署本地生產存儲設備IBM DS8100H1的邏輯配置；l 在北京主站，根據(jù)前端業(yè)務需求和容災需求，規(guī)劃并部署本地備用存儲設備IBM DS8100H2的邏輯配置；l 在上海主站，根據(jù)前端業(yè)務需求和容災需求，規(guī)劃并部署遠程災備存儲設備IBM DS8100H3J3的邏輯配置；2） 北京主站與上海主站的以太網(wǎng)絡建設：l 構建北京主站信用卡中心生產業(yè)務系統(tǒng)及其存儲設備IBM DS8100（2架）的以太網(wǎng)架構；l 構建上海主站信用卡中心備用業(yè)務系統(tǒng)及其存儲設備IBM DS8100（1架）的以太網(wǎng)架構；3） 北京主站與上海主站的光纖網(wǎng)絡建設：l 在北京主站，建立生產主機至本地生產存儲設備IBM DS8100H1的光纖連接（主機平臺使用FICON直連，開放平臺使用SAN交換機連接）；l 在北京主站，建立生產主機至本地備用存儲設備IBM DS8100H2的光纖連接（主機平臺使用FICON直連，開放平臺使用SAN交換機連接）；l 在北京主站，建立本地生產存儲設備IBM DS8100H1至本地備用存儲設備IBM DS8100H2的光線連接，使用FCP連接，建立MM容災鏈路l 在上海主站，建立遠程災備主機至遠程災備存儲設備IBM DS8100H3J3的光纖連接（主機平臺使用FICON直連，開放平臺使用SAN交換機連接）；l 構建北京主站與上海主站之間的SAN Fabric網(wǎng)絡，將兩個數(shù)據(jù)中心連接起來；4） 北京主站和上海主站的TPC建設：l 在北京主站，部署兩臺SSPC設備，添加相應的license，一臺使用TPC for Disk功能（以下簡稱TPCD），另外一臺使用TPCR功能；l 在上海主站，部署一臺SSPC設備，添加相應的license，同時使用TPC for Disk功能（以下簡稱TPCD）和TPCR功能；l 搭建北京主站與上海主站TPCR之間的高可用配置；5） 在搭建好的IBM TPCR平臺上部署信用卡中心容災系統(tǒng)MGM：l 在搭建好的IBM TPCR平臺上添加北京主站的兩臺IBM DS8100存儲設備；l 在搭建好的IBM TPCR平臺上添加上海主站的一臺IBM DS8100存儲設備；l 在搭建好的IBM TPCR平臺上，根據(jù)容災需求構建基于IBM DS8000 MGM的信用卡中心容災系統(tǒng)；l 啟動MGM容災系統(tǒng)，三架DS8100開始數(shù)據(jù)同步，實現(xiàn)兩地三中心式數(shù)據(jù)保護；6） 在北京主站和上海主站搭建好的IBM TPCD平臺上部署針對IBM DS8100存儲設備的性能監(jiān)控任務：l 在北京主站搭建好的IBM TPCD平臺上添加信用卡中心生產業(yè)務系統(tǒng)的存儲設備——2架DS8100并部署相應的存儲設備性能監(jiān)控任務；l 在上海主站搭建好的IBM TPCD平臺上添加信用卡中心災備業(yè)務系統(tǒng)的存儲設備——1架DS8100并部署相應的存儲設備性能監(jiān)控任務；7） 在北京主站和上海主站現(xiàn)有的IBM TPCR服務器上部署容災切換腳本。8） 針對新部署的信用卡中心容災系統(tǒng)MGM進行相關的測試及驗證工作。9） 完成相關文檔的編寫和培訓工作。 IBM DS8000 MGM介紹IBM企業(yè)級存儲系統(tǒng)DS8000的磁盤層疊式數(shù)據(jù)復制技術（Metro Global Mirror，簡稱MGM）是一個3節(jié)點、多用途的數(shù)據(jù)復制解決方案，支持IBM z和p系列服務器，如下圖所示，節(jié)點A到本地節(jié)點B進行Metro Mirror同步復制，本地節(jié)點B到遠端節(jié)點C進行Global Mirror異步復制。 Metro/Global Mirror原理IBM DS8000 MGM技術可以為您建立兩地三中心式容災解決方案：在本地生產中心的DS8000存儲相應的業(yè)務數(shù)據(jù)，通過 Metro Mirror數(shù)據(jù)同步復制技術將數(shù)據(jù)復制到同城災備中心的DS8000，可以實時保證數(shù)據(jù)的一致性。同時位于同城災備中心的DS8000的同一份數(shù)據(jù)可以同異地遠端的DS8000通過Global Mirror數(shù)據(jù)異步復制技術進行數(shù)據(jù)鏡像，實現(xiàn)異地的數(shù)據(jù)備份及保護。當同城災備中心發(fā)生故障時，生產中心的DS8000可以向異地災備中心的DS8000通過Global Mirror數(shù)據(jù)異步復制技術同步數(shù)據(jù)，實現(xiàn)異地的數(shù)據(jù)備份及保護。生產中心及災備中心的數(shù)據(jù)庫服務器均由Power服務器來承擔，當生產中心所在地發(fā)生災難時，生產中心的Power 服務器AIX操作系統(tǒng)的PowerHA/XD功能將應用切換到同城災備/異地災備中心的Power數(shù)據(jù)庫服務器，同時災備中心的Power服務器接管災備中心的存儲，從而恢復數(shù)據(jù)的訪問及業(yè)務的連續(xù)性。異地災備中心生產中心同城災備中心方案技術優(yōu)勢：n 同城范圍鏡像數(shù)據(jù)可以不丟失；n 異地鏡像數(shù)據(jù)根據(jù)災難情形，盡可能降低數(shù)據(jù)丟失機率；n 鏡像網(wǎng)絡中斷恢復后，任意兩站點之間可以通過增量方式實現(xiàn)再同步，無需重傳；n 生產中心應用系統(tǒng)響應時間只受本地的兩個中心的距離影響。n 同城RPO=0，距離Max 300公里，n 異地RPO最短